Suche
Suche Menü

10 Fehler, die man bei der Erstellung von Fragebögen unbedingt vermeiden sollte

Viele Studierende führen im Rahmen der Erstellung ihrer Bachelor- oder Master-Arbeiten eine empirische Erhebung durch – und dies inzwischen häufig in Form einer Online-Befragung, zu der leider ebenfalls häufig selbstselektiv (und damit nicht repräsentativ – aber das ist ein Thema für einen anderen Artikel) über Facebook, Twitter, XING und andere Social Networks rekrutiert wird. Da ich im Rahmen von Forschung und Lehre selbst viel mit Erhebungen zu tun habe, sehe ich mir solche studentischen Fragebögen stets gerne an. Den meisten merkt man an, dass Herzblut und Hirnschmalz in die Fragen geflossen sind, weshalb es umso bedauerlicher ist, wenn die Aussagekraft der Erhebung am Ende durch rein „handwerkliche“, leicht vermeidbare Fehler bei der Frageformulierung unnötig eingeschränkt wird. Zehn geradezu typische Fehler, die mir in den letzten Jahren besonders oft aufgefallen sind, sollen nachfolgend anhand von Beispielen aus einer fiktiven Erhebung aufgezeigt und besprochen werden.

„The quality of the questions asked will have an impact on the quality of the answers received.“ Aus: Smith, L. (2003) Best practices for online research. Quirk’s Market Research Review, 7.

1) Die Doppelfrage

Welches ist der höchste Bildungsabschluss, über den Sie verfügen oder den Sie derzeit anstreben?

Diese Frage kombiniert zwei Fragestellungen miteinander, nämlich die nach dem höchsten erzielten und die nach dem höchsten angestrebten Bildungsabschluss. Ein Proband, der zum Beispiel über die Mittlere Reife verfügt, derzeit aber auch noch das Abitur in der Abendschule nachholt, wird bei der Beantwortung dieser Frage ebenso Probleme haben wie eine Probandin mit Abitur, die aktuell studiert. Ist nur eine Antwort zugelassen, müssen sich die Probanden zwingend für eine der beiden Teilfragen entscheiden – und da man nicht sicher wissen kann, welcher Proband welche Teilfrage beantwortet hat, sind die erhobenen Daten nahezu wertlos. Von 100 befragten Personen geben am Ende vielleicht 43 ihren aktuell höchsten Abschluss und 57 den höchsten angestrebten Abschluss an – und das wild durcheinander. Es versteht sich von selbst, dass man mit solchen Daten nicht viel anfangen kann.

Lösung: Niemals zwei (oder sogar noch mehr) Fragen in einer Fragestellung miteinander kombinieren. Wenn man wirklich beide Angaben benötigt (der Fragebogen soll ja auch nicht unnötig lang werden), sollte man stets zwei getrennte Fragen formulieren.

2) Fehlende Antwortkategorien

Welches ist der höchste akademische Abschluss, über den Sie derzeit verfügen?

a) Bachelor
b) Master
c) Magister
d) Promotion

Beim Betrachten dieser Frage fällt sofort auf, dass keine Non-Option („Ich verfüge nicht über einen akademischen Abschluss.“) vorhanden ist, womit alle Nicht-Akademiker – sollten solche denn in der vorab definierten Grundgesamtheit enthalten sein – die Frage schon mal nicht beantworten können und hier vermutlich gar nichts ankreuzen werden. Damit gehen sie als „missing values“ – als fehlende Werte – in die Analyse ein, d.h. man kann in der Auswertung nicht zwischen den „echten“ Verweigerern (Probanden, die die Frage nicht beantworten wollten) und solchen Probanden unterscheiden, die die Frage schlicht nicht beantworten konnten. Für die vor 1995 geborenen Akademiker fehlt außerdem die Option „Diplom“, die von Studierenden, die mit dem Bologna-System aufgewachsen sind, in der Tat gerne vergessen wird.

Lösung: Für jede Frage in einem Fragebogen sollte man gründlich prüfen, ob eventuell noch Antwortoptionen fehlen bzw. ob auch die Einbindung einer Non-Option sinnvoll wäre. Dies kann beispielsweise im Rahmen eines Pre-Tests geschehen, bei dem Kommilitonen oder andere Testpersonen den Fragebogen versuchsweise ausfüllen und sich notieren, wo noch Antwortoptionen fehlen oder welche Fragen unverständlich sind. Es gilt: Viele Augen sehen mehr!

3) Sich überschneidende Antwortkategorien

Welcher Altersgruppe gehören Sie an?

a) 15 – 20 Jahre
b) 20 – 25 Jahre
c) 25 – 30 Jahre
d) 30 – 35 Jahre

Wie schon bei Doppelfragen müssen manche Probandinnen und Probanden auch bei sich überschneidenden Antwortkategorien praktisch willkürlich entscheiden, wo sie ihr Kreuz setzen: Kreuzt man als 25-Jähriger Antwortoption b) oder doch eher Antwortoption c) an?

Lösung: Vorgegebene Antwortkategorien dürfen sich – insbesondere dann, wenn nur eine Antwort zugelassen ist – niemals überschneiden. In der Regel lässt sich das aber erfreulicherweise ziemlich einfach ausschließen – man muss nur alle Fragen und Antwortoptionen vor der Freigabe des Fragebogens unter Beachtung dieser Regel noch einmal gründlich durchlesen (bzw. durchlesen lassen).

4) Viel zu viele Fragen

Hat man kein teures Incentive im Angebot oder befragt man keine besonders motivierte Gruppe von Probandinnen oder Probanden, sollte man nicht davon ausgehen, dass Befragte bereit sind, mehr als 5 bis maximal 10 Minuten in einen Fragebogen zu investieren. Dabei gilt stets: Je kürzer, desto weniger Abbrecher und damit desto mehr auswertbare Daten. Man glaubt oft gar nicht, wie viele Studierende diesen Aspekt bei der Erstellung von Fragebögen übersehen: Ich habe schon Fragebögen mit einem Umfang von 10 oder mehr A4-Seiten zu Gesicht bekommen, deren Beantwortung ganz locker 30, 45 oder gar 60 Minuten und mehr in Anspruch genommen hätte – und ich bezweifele stark, dass die jeweiligen Studierenden hier am Ende mehr als nur eine Handvoll an vollständig ausgefüllten Fragebögen auswerten konnten. Zu vermeiden sind auch unrealistische Angaben zur Befragungsdauer: Wer auf der Befragungs-Startseite verspricht, dass das Ausfüllen „maximal 5 Minuten“ in Anspruch nehmen wird, und dann 50 Einzelfragen serviert, muss mit vielen Frust-Abbrechern rechnen.

Lösung: Grundsätzlich sollte man jede Befragung so kurz wie möglich halten und nur abfragen, was man auch wirklich für die Bearbeitung der jeweiligen Forschungsfragen benötigt. Mit jeder zusätzlichen Frage steigt das Risiko, dass Probandinnen und Probanden die Befragung aus Zeitmangel oder Frust abbrechen – und eine hohe Abbruchquote stellt wiederum die Aussagekraft der Ergebnisse insgesamt in Frage.

5) Falsch gewähltes Skalenniveau

Bewerten Sie Ihre Zufriedenheit mit dem Produkt auf einer Schulnoten-Skala von 1 (sehr gut) bis 6 (ungenügend).

Was an dieser Frage falsch ist? Im Grunde gar nichts – bis der Student mir nach Durchführung der Erhebung im Gespräch eröffnet, dass die Antworten in eine Varianzanalyse einfließen sollen. Für die sind aber nur metrisch skalierte Merkmale zulässig – und da Schulnoten nun mal ordinal skaliert sind, lässt sich die vorgesehene Analyse mit den erhobenen Daten gar nicht durchführen – hätte man nur mal vorher darüber nachgedacht. Solche Fehler kommen in der Praxis leider häufig vor, da die Erarbeitung der Fragen und die Aufstellung eines Auswertungsplans oft fälschlicherweise getrennt voneinander oder – noch schlimmer – in Teams sogar durch unterschiedliche Personen erfolgen. Tatsächlich aber hängt eines vom anderen ab, weshalb man sich bei der Formulierung der Fragen stets schon darüber im Klaren sein sollte, mit welchen statistischen Methoden man die Antworten später auswerten möchte.

Lösung: Am besten ist, man notiert sich die vor dem Hintergrund der Forschungsfrage(n) gewünschte Vorgehensweise bei der Auswertung (d.h. welche Mittelwerte sollen berechnet, welche Grafiken erstellt, welche Analysen durchgeführt werden?) während der Formulierung des Fragebogens neben die Fragenentwürfe und prüft jeweils kritisch, ob die vorgesehene Berechnung mit den zu erwartenden Daten – nicht nur im Hinblick auf das Skalenniveau – überhaupt möglich sein wird.

6) Abschreckende Einstiegsfrage(n)

Geben Sie bitte Ihr Jahresbruttoeinkommen (möglichst genaue Angabe) aus nichtselbständiger Tätigkeit für das Jahr 2015 an.

Grundsätzlich sollte man sich gut überlegen, welche Fragen man seinen Probandinnen und Probanden überhaupt zumuten möchte. Fragen, die etwa auf das Einkommen, das Sexualverhalten oder auf andere hochpersönliche Themen abzielen, werden erfahrungsgemäß nur äußerst ungern beantwortet und führen bisweilen sogar zu Befragungsabbrüchen. Besonders kritisch ist es dabei, wenn eine solche Frage direkt zu Beginn einer Befragung – möglichweise sogar als Einstiegsfrage – gestellt wird. In solchen Fällen kann bei Probanden leicht der Eindruck entstehen, der Großteil des Fragebogens bestehe womöglich aus Fragen, die man gar nicht beantworten möchte, was wiederum mit hoher Wahrscheinlichkeit zum Befragungsabbruch führt. Setzt man solche Fragen – wenn man sie denn überhaupt stellen muss – dagegen ans Ende einer Befragung, ist die Chance dafür größer, dass es nur zu einer Nichtbeantwortung der jeweiligen Fragen – und nicht gleich zu einem Abbruch der kompletten Befragung – kommt.

Lösung: Abschreckende Fragen sind bitte nur dann zu stellen, wenn es unbedingt sein muss – und in solchen Fällen idealerweise eher gegen Ende der Befragung. An den Befragungsanfang sollte man dagegen eine möglichst unverfängliche „Eisbrecherfrage“ setzen, die Interesse an der weiteren Bearbeitung des Fragebogens weckt – hier darf man ausnahmsweise sogar einen nicht benötigten Sachverhalt abfragen, wenn dieser einen guten Einstieg in die Erhebungsthematik bietet.

7) Unüberlegte Verwendung von Fachbegriffen

Rechnen Sie sich selbst der Altersgruppe der ‚Best Ager‘ zu?

Die korrekte Beantwortung dieser Beispielfrage setzt voraus, dass alle Probandinnen und Probanden den Begriff ‚Best Ager‘ weitehend gleich interpretieren. Ist dies nicht der Fall, werden einige Probanden die Frage entweder fehlerhaft beantworten (weil sie den Begriff falsch interpretieren) oder aber die Antwort verweigern (weil sie die Frage nicht verstehen). Beides führt nachvollziehbarerweise zu einer vermeidbaren Verringerung der Datenqualität.

Lösung: Fachbegriffe sollten nur dann verwendet werden, wenn (z.B. bei einer Befragung ausschließlich von Industriespezialisten) sicher davon auszugehen ist, dass sie allen Probandinnen und Probanden gut vertraut sind. Im Zweifelsfalle sind umgangssprachliche Ausdrücke zu bevorzugen, sofern sie hinreichend präzise sind. Ist die Verwendung eines erklärungsbedürftigen Fachbegriffs (z.B. bei einer Erhebung zum Thema Lichtverschmutzung) dagegen unumgänglich, sollte der Frage eine entsprechende Definition vorangestellt werden.

8) Zu allgemeine Formulierungen

Was halten Sie von Umweltschutz?

a) Finde ich eher wichtig.
b) Finde ich weniger wichtig.

Der Bezugsrahmen dieser Frage bleibt unklar: Will man die Meinung der Probanden zum Umweltschutz im eigenen Lebensumfeld, zum Umweltschutz in der Industrie oder zur Umweltschutzpolitik der Regierung erfragen? Ähnlich nebulös sind auch die beiden stark subjektiven Antwortmöglichkeiten „eher wichtig“ und „weniger wichtig“. Genau wie bei der Doppelfrage kann man daher auch bei dieser Frage nicht wissen, welchen Bezugsrahmen die Probanden gewählt und damit welche Frage sie überhaupt beantwortet haben.

Lösung: Fragen sollten stets möglichst eindeutig formuliert werden – eine der größten Herausforderungen bei der Fragebogenerstellung überhaupt. Auch hier helfen ein Pre-Test und das anschließende Gespräch mit den Testpersonen: Haben alle die Frage identisch interpretiert?

9) Matrixfragen mit Matrizen größer 5×5

Für unerfahrene Fragebogendesigner sind Matrixfragen auf den ersten Blick äußerst verführerisch, gestatten Sie doch die Unterbringung einer Vielzahl von einzelnen Fragestellungen in einer einzigen Frage, wodurch der Aufwand der Beantwortung zunächst optisch verschleiert wird. Matrizen werden jedoch schnell unübersichtlich, sobald die Zahl der Reihen oder Spalten die 5 überschreitet. Bei großen Matrizen können sich Probanden „verlaufen“ und Kreuze an falschen Stellen setzen oder die Frage aus Frust überspringen. Mir sind in Erhebungen schon Matrizen untergekommen, die so groß waren, dass man während der Beantwortung am Bildschirm horizontal sowie gleichzeitig auch vertikal scrollen musste – die meisten Probanden werden so etwas nicht mitmachen. Auch bei Fragebögen auf Papier ist keinesfalls davon auszugehen, dass jemand zu einem Lineal greift, um nachvollziehen zu können, in welcher Zeile oder Spalte ein Kreuz zu setzen ist.

Lösung: Matrizen sollten nur im Ausnahmefall mehr als 5×5 Felder umfassen. Müssen mehr Inhalte erhoben werden, kann eine größere Ausgangsmatrix in zwei Matrizen geteilt werden.

10) Leading Questions

Die Vorratsdatenspeicherung (VDS) gilt als effizientes Instrument gegen internationalen Terrorismus und Menschenhandel. Finden Sie, dass das Bundesverfassungsgericht das Verbot der VDS angesichts der jüngsten Gewalttaten wieder aufheben sollte?

Das Schwierigste zum Schluss: Fragen sollten stets so objektiv wie möglich formuliert werden und die Probandinnen und Probanden nicht schon in Richtung einer bestimmten Antwort lenken. Die beispielhafte Fragestellung verhindert eine objektive Beantwortung etwa gleich auf doppelte Art und Weise: Sie weist auf den potentiellen Nutzen der Vorratsdatenspeicherung hin, erwähnt gleichzeitig aber keine potentiellen Nachteile. Darüber hinaus erleichtert Sie den Probanden das „Ja“, indem sie die passende Rechtfertigung („wegen der jüngsten Gewalttaten“) gleich mitliefert. Eine objektivere Fragestellung würde auf beide Taschenspielertricks verzichten: „Finden Sie, dass das Bundesverfassungsgericht das Verbot der Vorratsdatenspeicherung wieder aufheben sollte?“

Lösung: Fragen sollten möglichst objektiv formuliert werden – was wesentlich leichter gesagt als getan ist. Bereits subtile Entscheidungen können Probandinnen und Probanden erheblich beeinflussen. So ist beispielsweise „Wie würden Sie die Beziehung zu Ihrem Ehepartner beschreiben?“ eine bessere, da neutralere Frageformulierung als „Welche Probleme haben Sie mit Ihrem Ehepartner?“, die bereits auf die Negativa fokussiert. Fragen wirklich objektiv zu formulieren ist eine Kunst, die man allerdings erst mit den Jahren richtig erlernt – zumal stets die Gefahr besteht, dass die eigenen Erwartungen an das Ergebnis einer Erhebung unbewusst in Fragen einfließen. Auch hier kann ein Pre-Test helfen, Formulierungsfehler zu vermeiden.

Welche typischen Formulierungsfehler in Fragebögen fehlen noch? Um Ergänzungen und Hinweise in den Kommentaren wird gebeten.


Die hier vorgestellten Inhalte und Aufgaben sind Teil der Vorlesung „Grundlagen der Statistik“ im berufsbegleitenden Bachelor-Studiengang Betriebswirtschaftslehre an der Hochschule Harz.

Autor:

Christian Reinboth

Christian Reinboth ist Wirtschaftsinformatiker und einer der Mit-Gründer der HarzOptics GmbH, einem An-Institut der Hochschule Harz. Die Entwicklung und Planung umweltfreundlicher Beleuchtung sowie die statistische Datenanalyse sind wesentliche Schwerpunkte seiner Forschungs- und Lehrtätigkeit.

2 Kommentare Schreibe einen Kommentar

  1. Aufgrund meiner langjährigen Erfahrung in der Marktforschung weiß ich, wie schwierig es ist, einen wirklich guten Fragebogen zu erstellen. Diese Aufgabe wird von vielen Studierenden unterschätzt. Es scheint so einfach zu sein, ein paar Fragen zu formulieren. Irgendwo werden schon Kreuze gemacht. Doch leider haben die Ergebnisse bei fehlerhaften Fragebogendesign nur eine geringe Aussagekraft. In Ergänzung zu der Fehlerliste von Christian Reinboth ist auf die Überforderung der Befragten durch Fremdwörter, Schachtelsätze oder komplizierte Grammatikkonstruktionen (z. B. doppelte Verneinung) hinzuweisen. Gerade Fragebögen aus einem akademischen Kontext weisen oft diese Mängel auf. Tipp: Veranstalten Sie vor Beginn der Untersuchung eine „Fragebogenkonferenz“ (so haben wir es in der Mafo genannt) mit mehreren Teilnehmern (etwa 3 bis 5) und lesen Sie den Fragebogen laut vor. Wort für Wort. Versetzen Sie sich in die Situation der Zielgruppe und fragen Sie sich bei jedem Satz, ob er richtig verstanden wird oder Anlass für Fehlinterpretationen liefert.

    Antworten

  2. Genau, Uwe. Ein Test des Fragebogens ist imho unerlässlich. Gerade dann, wenn wenig Erfahrung mit der Gestaltung existiert.

    Antworten

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.