Harald Schirmer - es kommt nicht nur darauf an, was wir tun, sondern WIE wir es tun!

Fragebögen ein Relikt aus einer vereinfachten Welt?

Denk mal mitFragebögen sind ja nach wie vor eine verbreitete Möglichkeit Einschätzungen von Zielgruppen zu erhalten. Sie dienen der quantitativen und manchmal qualitativen Sammlung von Informationen. Heute ist es nicht nur technisch möglich sondern vielmehr sollten wir verpflichtet sein, uns mit Individuen auseinandersetzen – im Dialog in der Diskussion und mit hoher Offenheit und Beteiligung, sowie einem transparenten Prozess und Ergebnisdarstellung. All das kann ein Fragebogen – auch wenn er web-basiert ist – nicht leisten. Geht es um die rein quantitative Abfrage, ist ein Fragebogen doch nur ein statistisches Schätzmittel / eine begrenzte Stichprobe mit hohem Fehlerpotential – dafür ist heute Big Data wesentlich besser geeignet, da man hier Live-Echtzeitdaten erhalten kann, die wesentliche schwerer von der Zielgruppe beeinflusst werden kann – natürlich unter Wahrung der Persönlichkeitsrechte…

Persönlich stehe ich dem echten Mehrwert von Fragebögen eher zweifelnd gegenüber, weil:

  • nur bestimmte Leute diese ausfüllen (oder besser ein bestimmter Menschentyp)
  • wenn man sie gewissenhaft ausfüllt, sehr viel Aufwand dahinter steckt – und man praktisch nichts zurückbekommt (um von anderen zu lernen)
  • besonders bei Freitext-Fragen (qualitativ) ich bisher noch kaum eine wirklich erhellende Zusammenfassung gesehen habe
  • kein Dialog bzw. keine Vertiefung entsteht (ist auch nicht so gedacht – aber damit hört der Fragebogen da auf, wo es spannend wird)
  • das Frageboden Design (Struktur, User Interface) ist meist sehr „lieblos“ ist (es macht keinen Spass die Textwüsten auszufüllen)
  • Die technische Umsetzung ist sehr oft unprofessionell bzw nicht intelligent gelöst ist (Abhängigkeiten, sinnenhafte Zusammenhänge, richtige Wahl der Funktionen…)

 

Speziell bei den Fragen sehe ich kritisch: (es bedarf großer Expertise und Perspektivenwechsel um wirklich gute Fragen zu stellen)

  • oft leiten Fragen am Kenntnisstand bzw der Vorprägung des Fragenden entlang
  • Ursachen und Wirkung werden teils vermischt
  • zu starke Einengung der möglichen vorgegebenen Antworten erlauben es nicht eigene Antworten zu geben
  • Fragen werden in einer Form gestellt, die eine bestehende (oder gewünschte) These bestätigen sollen

 

Ich habe früher selbst auch Fragebögen genutzt, aber eher um:

  • effizient  (für beide Seiten) einheitliche Antworten zu bekommen – z.B. für Planungen
  • einen direkt spürbaren/erlebbaren Mehrwert – auf Basis der Rückmeldungen zu generieren
  • über Freitextfragen Impulse zu erhalten (dafür nutze ich inzwischen allerdings fast ausschließlich soziale Netze)

 

Big Data und Soziale Netzwerke (mir ist bewußt das auch hier noch nicht die Gesamtheit der Bevölkerung erreicht werden kann) sind in meinen Augen heute wesentlich besser für Erhebungen geeignet.

Was denkt Ihr darüber?

 

 

Beitragsinfo:

Published:

Edited:

Dein Feedback:

11 Antworten

  1. Avatar von Alexander Klier

    Also ich finde auch nicht, dass die Idee dahinter ein Relikt ist. Das Problem ist aus meiner Sicht eher, dass sich mittlerweile alle darauf kaprizieren quantitative Umfragen zu machen statt qualitativ zu forschen (wofür man auch Fragebögen und Fragen braucht). Und das auch noch mit zum Teil miserablen Fragestellungen, bei denen man davon ausgehen kannn, dass es keinen Erkenntnisgewinn gibt.
    Übrigens bin ich der Meinung, dass gerade der qualitative Bereich nicht durch Big Data ersetzbar ist. Oder zumindest in absehbarer nicht sein wird ;-). Und dann kommen die Diskussionen dazu …

    1. Avatar von haraldschirmer

      Dank Dir Alexander – quantitative Erhebungen sind halt so schön einfach … man bekommt eine Zahl und kann die grafisch darstellen… genau das, was man für die Vorstandspräsentation auf einer halben Seite (meist zur Bestätigung der eigenen Meinung) braucht. Du sprichst „Forschungsinteresse“ an. Bin ich zu pessimistisch, wenn ich dieses bei den moisten Fragebögen nicht unterstelle? Sicher ist es hilfreich einen Überblick zu haben, was im Unternehmen los ist, je belastbarer um so besser – nur wie Du schreibst – dazu ist es wichtig eine (viele) gute Frage(n) zu formulieren. Genau hier sehe ich (wie auch bei Big Data) die große Gefahr. Heute sammeln wir an vielen Stellen noch „wild“ Daten und versuchen sie im Anschluss zu interpretieren – Wesentlich sinnvoller (und aufwändiger) ist es doch, zu erst zu überlegen, was man mit den Antworten anfangen möchte, und was man damit verändern kann. Frei nach Huxley: „Wer eine Frage ordentlich formuliert, hat oft schon die Antwort“ – das ist eine „Problemlösungskompetenz“ die ich als sehr wertvoll empfinde. Oft kann man viele Fragen kombinieren, weglassen oder mit leichten Veränderungen „reicher“ machen – wenn man die Perspektive zum Gefragten wechselt. Glaubt man der IBM, ist analytisches „verstehen“ an der Schwelle zur Marktfähigkeit – womit beliebig große qualitative Datenmengen „verstehbar“ werden. Beobachtet man Facebook, Amazon und Co ist ja das verstehen von Substantiven und Verben schon verfügbar – bei den Adjektiven klappt es wohl noch nicht so gut. Was mir mehr Sorgen bereitet ist die Interpretation dessen, was hier konsolidiert wird – und da kommen wir doch schnell in gefährliche Schlussfolgerungen, oder?

      1. Avatar von Alexander Klier

        Lieber Harald, du bist sicher nicht zu pessimistisch, wenn Du unterstellst, dass viele gar kein Forschungsinteresse haben. Die meisten Fragebögen bzw. auch telefonischen Umfragen, die ich kenne, haben explizit einen Marketinghintergrund. Auch schön quantitativ.
        Qualitative Forschung ist teuer, nicht nur wegen dem Personal, das man dafür braucht, sondern auch wegen des Zeitaufwandes. Dazu gehört auch, sich genau zu überlegen, was man wissen will – da hast Du vollkommen recht.
        Ich glaube ja noch nicht so recht daran, dass man mehr wie eine (sehr genaue) Mustererkennung mit den semantischen Analysen hinbekommt. Muster wiederum sind noch nicht selbsterklärend. Wenn man es genau wissen will, was sich dahinter verbirgt und was letztlich kausale Beweggründe für Menschen sind, diese Muster zu haben oder zu erzeugen, dann muss man was tun? Genau: Sie fragen. Damit würde sich der Kreis doch wieder schließen. Und die Zukunft der qualitativen Forschung wäre gesichert ;-).

      2. Avatar von Marzena Gniep
        Marzena Gniep

        Einige Beispiele, was ich mit dem höheren Potential und Hebel meine: Wenn ich auf meine bisherige Studien- und Praxiserfahrung zurückblicke, merke ich, dass die teilweise schon vorhandenen Kooperationen zwischen Unternehmen und Hochschulen oftmals nicht effektiv ausgenutzt werden. Viele Studiengänge haben (Forschungs)projekte in ihrem Studienplan vorgesehen, die sich sehr gut in Unternehmen durchführen lassen. Es ist eine Win-Win Situation, wenn Studenten die empirischen Methoden (sei es qualitativ oder quantitativ), welche sie an der Uni lernen, in einem Projekt anwenden können unter der Leitung eines erfahrenen Professors und eine real existierende Problemstellung eines Unternehmens bearbeiten können. Leider gehen solche Projektarbeiten im unternehmerischen Arbeitsalltag unter, da das operative Tagesgeschäft natürlich eine viel höhere Prio bekommt als irgendein Studi-Projekt. Wenn ein Unternehmen solche Projekte mehr als Chance sehen würde (und nicht nur als eine lieblose Personalmarketingaktion), so würde es doch kostenlos/für ein sehr geringes Budget bestenfalls neue Erkenntnisse für aktuelle Problemstellungen bekommen + sich einen externen Blick einholen können. Dies ist aber nur mit einer guten Betreuung möglich und es müssen genügend Informationen bereitgestellt werden + ein Zugang zur Datenbasis sichergestellt werden.

        Ein anderes Beispiel: Abschlussarbeiten. Es werden sehr viele Abschlussarbeiten in Unternehmen vergeben und ich habe das Gefühl, dass oftmals Bacheloranden/Masteranden eher als Praktikanten eingesetzt werden und vor lauter Mitarbeit bei dem operativen Tagesgeschäft kaum mehr Zeit bleibt für die Abschlussarbeit. Eine gute Abschlussarbeit, insbesondere wenn sie eine Datenerhebung inkludiert, setzt voraus, dass der Student genügend Zeit hat, sich mit der Literatur intensiv auseinanderzusetzen und genügend Spielraum hat, um kreativ und innovativ denken zu können und natürlich gut betreut wird. Da wundert es mich nicht, wenn die Fragebögen schlecht sind und der Erkenntnisgewinn ausbleibt – und die Abschlussarbeit in irgendeiner Schublade verschwindet, ohne dass sie von irgendjemandem durchgelesen wurde… Dann kann man es meiner Meinung nach gleich lassen.

        Ich bin froh, dass ich genau diesen Freiraum, die Zeit und die notwendige Unterstützung/Betreuung hatte und bin mir sicher, dass die Erkenntnisse aus meiner Umfrage sehr gut genutzt werden könnten – ob dies auch getan wird, das steht auf einem anderen Blatt und wird sich erst noch zeigen.

      3. Avatar von haraldschirmer

        Das ist doch mal eine schöne Werbung für die Continental AG – freut mich, dass Du es hier anders erlebt hast. Ich kann Deine Punkte auch sehr gut nachvollziehen – es sagt ja auch etwas darüber aus, wer mit welcher Ressource an Umfragen arbeitet… von manchen wird es als lästige Administration gesehen, andere empfinden es als spannende Forschung … dementsprechend sehen auch die Ergebnisse dann aus. Das ist in meinen Augen auch ein großes Risiko, wenn wir Big Data künftig immer mehr nutzen – wenn hier nicht mit großer Sorgfalt herangegangen wird, werden Entscheidungsträger fragwürdige Grundlagen bekommen (schlimmstenfalls ohne es zu merken oder beurteilen zu können)

  2. Avatar von Marzena Gniep
    Marzena Gniep

    Ich denke, dass es auf die Fragestellung bzw. das Erkenntnisinteresse ankommt. Sicherlich könnte man bereits viele Fragestellungen mit den vorhandenen Daten / Big Data viel besser beantworten als mit einer limitierten Umfrage – wobei da der Datenschutz eine große Rolle spielt.

    Leider wird man heutzutage mit schlechten Umfragen überflutet, deshalb trifft Deine Beschreibung auf viele Fragebögen zu…

    …ABER wenn eine Umfrage sehr gut gemacht ist (also valide und reliabel ist) und eine hohe Rücklaufquote hat, kann man unglaublich viele neue Erkenntnisse gewinnen. Natürlich muss man danach auch Taten folgen lassen, ansonsten kann man es gleich sein lassen.

    Wenn die Umfrageergebnisse nach der Auswertung allen Teilnehmern/Betroffenen zur Verfügung gestellt werden und die Ergebnisse zudem die richtigen Adressaten erreichen (die Verantwortungsträger einer Funktion/Organisation,…), dann können diese Ergebnisse meiner Meinung nach eine gute Grundlage für Veränderungen sein. Bestenfalls bekommt man endlich ein Meinungsbild zu Tabu-Themen, die im offenen Austausch nur vereinzelt (wenn überhaupt) angesprochen werden, weil der Einzelne Bedenken hat, mit einer Einzelmeinung schlecht aufzufallen oder schlimmstenfalls negative Konsequenzen fürchtet.

    Deshalb denke ich nicht, dass Fragebögen ein Relikt aus einer vereinfachten Welt sind, wenn sie nicht ‚missbraucht‘ werden.

    P.s. Ich werde Dich gerne mit den Ergebnissen meiner Umfrage vom Gegenteil überzeugen 😉

    1. Avatar von haraldschirmer

      Danke Marzena, jetzt hast Du mich natürlich sehr NeuGierig auf Deinen Fragebogen und Deine Ergebnisse gemacht – also sehr gerne nehme ich das Angebot an. Ich kann auch Deine Rückmeldung sehr gut nachvollziehen – und wenn wir mit Auftraggebern VOR dem Fragebogen sprechen, ist das auch überlicherweise der Tenor. Für mich wäre jedoch jetzt eine Frage interessant: Wie ist die Relation von Zeit und Euro, die in den Fragebogen und Auswertung fließen im Verhältnis zu den darauf folgenden Aktionen?
      Mag sein, das mir hier vieles verborgen bleibt – nur nach 20 Jahren Fragebogen (auf beiden Seiten) habe ich große Zweifel, das Fragebogen als Change-Initiierung wirklich genutzt werden, oder nur ein einfaches (oft auch aufwändiges) Mittel in der Kategorie „Aktionissmus“ sind. Zuhören ist oft wesentlich zielführender – nur hört man dann Dinge, die die Menschen wirklich bewegen – und da traut sich oft keiner ran…
      Davon ausgenommen – und da bin ich völlig bei Dir – wenn es um neue Erkenntnisse, bzw Evaluierungen geht, die sich auf erfolgte Veränderungen beziehen – hier gibt es sicher sehr viel zu lernen.
      Bei Fragen die Zukunft betreffend, wäre ich schon wieder kritisch frei nach dem Zitat von Henry Ford: „Hätte ich die Menschen gefragt, hätten Sie schnellere Pferde gewünscht“ – genau das erlebe ich fast täglich in der Digitalen Transformation: Menschen wenden bekannte Methoden und Gelerntes auf unbekannte Senarien in einer Welt, die sie nicht kennen (oft auch ablehnen) an. Das Ergebnis ist schlicht eine Projektion des Heute ins Morgen… das mag in manchen Bereichen sinnvoll sein – nicht aber in disruptiven Veränderungen wie wir sie derzeit erleben.

      1. Avatar von Marzena Gniep
        Marzena Gniep

        Ich kann Deine Frage absolut nachvollziehen. Wenn man eine große Mitarbeiterumfrage, bestenfalls noch mit externen Beratern durchführt, kann ich mir vorstellen, dass die Kosten bei weitem den Nutzen (aus den daraus resultierenden Taten) übersteigen. Meiner Meinung nach könnten die Kosten aber um einiges reduziert werden, wenn es z.B. engere Kooperationen zwischen Unternehmen und Universitäten/Instituten gäbe. Aber auch hier – und da stimme ich Dir zu – wird der Austausch meistens eher zu Personalmarketingzwecken genutzt und nicht zur tiefgründigen Untersuchung von wichtigen Fragestellungen, was ich dem von Dir benannten Aktionismus zuschreibe.

        Du kannst natürlich auf viel mehr Erfahrung zurückblicken als ich und siehst, wie das Instrument Fragebogen im Unternehmenskontext eingesetzt wird. Ich habe hier eher eine Sicht, die sicherlich auch von der Uni geprägt ist und bin vielleicht noch zu euphorisch (bis ich jahrelang mit der Praxis/Realität konfroniert gewesen sein werde). Trotzdem glaube ich, dass das Potential viel größer sein könnte – der Hebel müsste nur richtig betätigt werden. Und wenn es am Ende nur die oftmals angesprochenen ‚repräsentativen Ergebnisse‘ sind (die es aus wissenschaftlicher Sicht nicht wirklich gibt), die einer Veränderungsmaßnahme eine höhere Authentiztität in Verbindung mit einer hoffentlich transparenten Kommunikation verleihen – kann es an der ein oder anderen Stelle für eine höhere Akzeptanz sorgen als der Meinungsaustausch mit einer einzelnen Personen. Dies sind aber alles Effekte, die man schwer messen kann.

        Und ja, für disruptive Veränderungen braucht es schon mehr als einen Fragebogen. Aber man sollte auch nicht nur auf ein Pferd setzen und möglichst die ganze Bandbreite bedienen, um neuartige Innovationen schaffen zu können (Persönlicher Austausch und Zusammenarbeit mit diversen Teams innerhalb des Unternehmens, aber auch außerhalb mit externen Fach- und Führungkräften, vielleicht auch einen Fragebogen an der ein oder anderen Stelle, Analyse von Big Data und und und

      2. Avatar von haraldschirmer

        Liebe Marzena, bitte behalte Dir bitte Deine Euphorie und Passion – die ist es, die den Unterschied macht! Vielen Dank für Deine Detaillierung – ich empfinde es als sehr wertvoll gemeinsam zu dem „Wert“ von Umfragen zu diskutieren – mit Absicht habe ich die Titelaussage ja in Frage gestellt. Selbst nutze ich vereinzelt Fragebogen – zu den genau von Dir beschriebenen Szenarien. In einer (leider) sehr stark Zahlenorientierten Logikwelt, ist ein Prozentsatz oder eine Zahl als Argument sehr wertvoll – auch wenn – wie Du beschreibst – die Representativität meist nur vorgeschoben ist (siehe auch aktuelle Wahlergebnis-Interpretation)
        Den Austausch mit Universitäten sehe ich in beide Richtungen für sehr sinnvoll – auch mit anderen Firmen, um gemeinsam besser zu werden. Du sprichst ein höheres Potential und einen richtigen Hebel an – wie würdest Du den näher definieren?

  3. Avatar von Joachim Niemeier

    An vielen Fragebögen sieht man auch, dass sich die Autoren noch zu wenig mit den Grundlagen und Prozessen der empirischen Forschung befasst haben. Viele empirische Arbeiten sind auch dadurch geprägt dass jeder wieder neu beginnt, so entsteht selten Exzellenz.

    Aber viel wichtiger finde ich den Punkt, dass die Auswertung der Fragebogens eigentlich erst der Beginn eines Diskurses sein kann. Ich erinnere mich an Mitarbeiterbefragungen, bei denen wir nach der Ergebnispräsentation erstmal in Teams begonnen haben zu erkunden, was hinter den Zahlen eigentlich an Realität zu finden ist, warum die Faktenlage jetzt so ist wie sie ist und was man daraus lernen kann.

    1. Avatar von haraldschirmer

      Vielen Dank Joachim – da stimme ich Dir aus ganzem Herzen zu – wenn nur halb so viel Energie in die, aus den Fragebogenergebnissen abgeleiteten Aktionen (wenn solche überhaupt definiert werden) fließen würde, gäbe es viele Verbesserungen. Aber Tools und Prozesse sind halt schneller eingeführt als kulturellen Wandel nachhaltig zu etablieren 😉 bzw Lösungen bis zur Etablierung zu verfolgen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert