Mythen und Fallstricke in der Marktforschung

Verzerrungen sind der Feind jeder Umfrage. Aber wie lassen sich diese vermeiden?

Häufig besteht das Ziel einer Umfrage darin, Erkenntnisse zu gewinnen, die ausgehend von einer untersuchten Stichprobe auf Zielgruppe(n), wie beispielsweise Kunden(-segmente) oder Mitarbeiter übertragen werden können.

Jedoch lauern unter anderem innerhalb der Datenerhebung oder der Frageformulierung falsche Vorstellungen und besonders verbreitete, verzerrende Fallstricke, die die Aussagekraft einer Untersuchung verringern können.

1000 Teilnehmer müssen es aber schon sein, sonst ist die Umfrage nicht repräsentativ

Im Rahmen von Untersuchungen hört man häufig die Aussage: „1000 Teilnehmer müssen es aber schon sein, sonst ist die Umfrage nicht repräsentativ!“
Um diese falsche Annahme zu entzaubern, lohnt sich ein kurzer Blick in die Theorie. Ob Umfrageergebnisse als repräsentativ – ein Begriff über den sich heftig diskutierten lässt – angesehen werden können, hängt vom Gesamtfehler der Stichprobe ab. Und dieser setzt sich aus der Summe von Stichprobenfehler und systematischen Fehlern (auch als Verzerrung oder Bias bezeichnet) der Schätzfunktion zusammen. Während sich der Stichprobenfehler – das ist die zufällige Abweichung des Schätzers vom Erwartungswert des Schätzers – mit steigender Stichprobengröße sehr wohl verringert, ist dies bei der systematischen Verzerrung nicht der Fall. Letztere ist definiert als die Differenz zwischen dem Erwartungswert des Schätzers und dem wahren Wert in der Grundgesamtheit.
Gründe für eine systematische Verzerrung liegen unter anderem in der Nichterreichbarkeit von Teilen der Grundgesamtheit: Wenn man beispielsweise einen Stand auf den Fendt Saaten-Union Feldtagen aufbaut und die Besucher nach ihrer Landtechnik-Lieblingsmarke befragt, wird man wahrscheinlich keine generellen Aussagen über die Beliebtheit von Landtechnik-Marken unter deutschen Landwirten ableiten können. Da kann man selbst 10.000 Besucher befragen!

Viel hilft viel

Andere verzerrende Gründe können beispielsweise in der Selbstselektion der Teilnehmer oder auch dem (un-)bewussten Einfluss des Untersuchers und seiner Umgebung liegen.
Stellen Sie sich folgendes Beispiel vor: Ein Redakteur berichtet in einem Online-Artikel über ein konfliktbelastetes Thema, wie die neue Düngerverordnung oder den Milchpreis. Am Ende des Artikels wird die Teilnahme an einer thematisch in Wechselwirkung stehenden redaktionell gesteuerten Umfrage beworben. Diese Vorgehensweise begünstigt primär zwei verzerrende Faktoren:

1. Sie verändern wahrscheinlich allgemein und auf tendenziell einseitige Weise im Speziellen den Wissenstand des künftigen Umfrageteilnehmers (Versuchsleiterartefakt) und somit womöglich auch dessen Einstellung (Framing- oder Rahmungseffekt).

2. Sie ziehen damit überwiegend Umfrageteilnehmer an, die von der Thematik besonders betroffen sind und somit auch am Gegenstand der Befragung interessiert sind (Selbstselektion).

Ähnliches geschieht auch häufig im Fragebogen selbst, sobald der Untersucher Fragestellungen mit (subjektiven) Hintergrundinformationen versieht, um das Ergebnis (un-)bewusst zu beeinflussen (Versuchsleiterartefakt):
„Fleischersatzprodukte werden gerade unter verantwortungsvollen Verbrauchern immer beliebter. Viele Lebensmittelhersteller investieren daher in ihr Sortiment. Neue Produkte imitieren mittlerweile sogar einen perfekten Fleischgeschmack und eine natürliche Konsistenz. Konsumieren Sie bereits Fleischersatzprodukte oder haben Sie dies vor?“ (fiktives Beispiel)
Ergebnisse solcher Umfragen können daher schwerlich auf die Grundgesamtheit der internetnutzenden Landwirte oder die der Verbraucher übertragen werden.

Die Fragen und Antwortmöglichkeiten kann ich mir doch selber ausdenken

Daneben können auch andere Aspekte, wie die Fragenformulierung und -positionierung sowie das Fragebogendesign verzerren und damit einen grundlegenden Einfluss auf die Qualität des Befragungsergebnisses haben.

Stellen Sie sich vor, Ihre Kollegen und Sie stehen im Rahmen einer Produktneuentwicklung vor der Aufgabe einen Fragebogen zu konzipieren, um Kundenwünsche zu identifizieren.

Vor dieser Aufgabe standen auch Mitarbeiter des Unternehmens Konica in den 70er-Jahren. Durch eine direkte Befragung konnten sie allerdings lediglich herausfinden, dass Kunden nur geringfügige Änderungen am Produkt wünschten. In einem darauffolgenden Besuch eines Fotolabors stellten diese jedoch erhebliche Mängel, wie unscharfe Bilder, Unter- und Überbelichtung oder gänzlich unbelichtete Filmrollen fest.

Auf Basis dieser Erfahrungen entwickelte Prof. Noriaki Kano ein Modell, das ein tiefes Verständnis für die Problemwelt des Kunden und seine latenten, unausgesprochenen Bedürfnisse beinhaltet. Dieses hilft, Wünsche (Erwartungen) von Kunden zu erfassen und bei der Produktentwicklung zu berücksichtigen.

Die Anwendung des Kano-Modells ermöglicht konkret die Zuordnung von Produktmerkmalen in die fünf Kategorien Basis-, Leistungs-, Begeisterungs-, unerhebliche sowie Zurückweisungsmerkmale. Besonders erfolgsversprechend ist hierbei die Identifikation von Begeisterungsmerkmalen, da diese das Produkt gegenüber der Konkurrenz auszeichnen. Selbst eine geringe Differenzierung gegenüber der Konkurrenz kann hierbei zu einem enormen Nutzen führen.