Es gibt vielfältige Anlässe für eine Umfrage. Man möchte wissen, wie den Kunden ein Produkt gefällt, wie zufrieden die eigenen Mitarbeiter sind oder ob es Unterschiede bezüglich der Arbeitszufriedenheit zwischen Abteilungen gibt. Auch ein Feedback, wie die Teilnehmer einen Workshop/Vortrag/Seminar fanden oder ob sich ein Sachverhalt über die Zeit verändert hat können interessant sein. Dies sind nur einige Beispiele die verdeutlichen, dass Umfragen sehr unterschiedlich sein können. Es reicht nicht aus, sich aus dem Bauch heraus ein paar Fragen zu überlegen und manchmal muss es hoch wissenschaftlich bei der Konzeption zugehen. Eine Umfrage sollte individuell Ihre Informationsbedürfnisse zugeschnitten sein – es sei denn, Sie wollen sich im Rahmen eines Benchmarks mit anderen vergleichen oder können auf Standardfragebögen zu bestimmten Themen zurückgreifen.

Ziel und Zweck der Umfrage

Bevor Sie sich in die Umfragekonzeption stürzen, sollten Sie zunächst den konkreten Zweck bzw. das Ziel der Umfrage festsetzen. Auch den Rahmen des gesamten Umfrageprozesses sollten Sie sich bewusst machen und abstecken. Dabei hilft es, „das Pferd von hinten aufzuzäumen“. Stellen Sie sich die Fragen: Was ist Ziel und Zweck der Umfrage? Und wie gehe ich mit den Umfrageergebnissen um?
Umfragen können eine positive Wirkung auf die Teilnehmer haben, indem anhand der Umfrage gezeigt wird, dass man an ihrer Meinung interessiert ist. Die positive Wirkung kann jedoch schnell ins Negative umschlagen, wenn die Teilnehmer sehen, dass sich am Anschluss an die Umfrage nichts verändert bzw. die Umfrageergebnisse ungenutzt bleiben und in der Schublade landen.

Eine gute Planung vorab ist die halbe Miete

Der Umfrageprozess umfasst nicht nur die Umfragekonzeption, -durchführung und –auswertung, sondern vor allem auch die Kommunikation vorab, während und nach der Umfragedurchführung. Er endet schließlich mit der Umsetzung von Maßnahmen, die aus den Umfrageergebnissen angestoßen werden. Planen Sie daher schon vor der Umfragekonzeption genügend Ressourcen (Personal, Zeit) für die Phase nach der Umfrageauswertung ein, um diesem negativen Effekt vorzubeugen.

Wenn Sie nun mit der Umfragekonzeption starten möchten, überlegen Sie zuerst, ob die Umfrage einmalig oder wiederholt durchgeführt werden soll. Es ist auch wichtig festzulegen, ob Sie einen Fragebogen neu konzipieren (lassen) möchten, oder ob es bereits standardisierte Fragebögen zu ihrem interessierenden Thema gibt. Manchmal ist es auch hilfreich, einen bereits bestehenden Fragebogen für Ihre Bedürfnisse zu modifizieren.
Aber warum ist es überhaupt so wichtig, einen individuell passenden Fragebogen zu nutzen? Die Begründung liegt darin, dass Sprache häufig Interpretationsmöglichkeiten bietet (eine Führungkraft kann zum Beispiel ein Abteilungsleiter oder ein Bereichsleiter sein), dass die Gedanken- und Gefühlswelt von vielen Elementen aus der Umwelt beeinflusst wird und somit beispielsweise auch Zeit und Raum Einfluss auf das Antwortverhalten haben können (man hat einen schlechten Tag oder gerade etwas Aufwühlendes erlebt). Man könnte Gefahr laufen, nicht das zu messen, was man eigentlich messen möchte (Validität). Die Ergebnisse wären somit nicht richtig bzw. nicht aussagekräftig und könnten zu falschen Maßnahmen führen. Dies wiederum hätte zur Folge, dass die ganze Umfrage hinfällig wäre.

Als Auftraggeber einer Umfrage kennen Sie Ihr Unternehmen, Ihre Mitarbeiter, Ihre Produkte und Dienstleistungen und ggf. Ihre Kunden am besten. Wenn Sie die Umfragekonzeption an einen externen Dienstleister geben, ist es hilfreich, Informationen über die „Sprache“ im Unternehmen und über die Unternehmenskultur an den Dienstleister weiterzugeben. Diese Informationen sind wichtig für die das Sprachliche, die Formulierungen im Fragebogen. Damit zeigen Sie den zu befragenden Teilnehmern, dass Sie sich Gedanken gemacht haben und dass Ihnen deren Meinung wichtig ist. Dafür ist eine enge Abstimmung zwischen Ihnen bzw. dem/der Beauftragten aus Ihrem Unternehmen für die Umfrage und dem Dienstleister nötig. Das heißt auch, hier sollten Sie Kapazität für Termine, Telefonate und Emails einplanen und zur Verfügung stellen.

Zielgruppe und Teilnehmer

Wie sieht eigentlich meine Zielgruppe aus und wo finde ich sie? Sollten Sie sich auch zu Beginn des Umfrageprozesses fragen. Die Zielgruppe kann je nach interessierendem Gebiet sehr unterschiedlich sein. Ob ein Produkt gerne genutzt wird könnten die Kunden beantworten. Wie es um die Mitarbeiterzufriedenheit bestellt ist können die eigenen Mitarbeiter beantworten, wie das Konferenzprogramm gestaltet war können am besten die Konferenzteilnehmer sagen. Die Zielgruppe hat Einfluss auf die Formulierung von Fragen und Antworten in der Umfrage. Doch dazu kommen wir später.

Dann stellt sich die Frage, wie viele und wo ich die Teilnehmer finde. Manchmal ist es möglich und richtig, alle betreffenden Personen zur Umfrage einzuladen. Wenn beispielsweise die Arbeitszufriedenheit von Mitarbeitern in einer Abteilung interessiert, dann sollten alle Mitarbeiter dieser Abteilung befragt werden. Weiterhin ist es auch möglich, eine Stichprobe zu machen, um bei repräsentativen Daten auf eine größere Anzahl von Personen schließen zu können. Hier sollte man noch unterscheiden, ob die Teilnehmer bestimmte Kriterien erfüllen müssen oder ob es beliebige Personen sein können und ob die Auswahl zufällig geschehen soll. Natürlich ist es auch möglich, Gruppen zu vergleichen. Dann kann man beispielsweise die Arbeitszufriedenheit der einen Abteilung der Arbeitszufriedenheit der anderen Abteilung gegenüberstellen.

Exploratives oder konfirmatorisches Vorgehen

Als nächster Schritt ist zu überlegen, ob man grundsätzlich erst einmal Informationen zu einem Thema erheben möchte und somit explorativ vorgeht, oder ob man schon Thesen/Behauptungen hat, die es zu prüfen gilt (konfirmatorisches Vorgehen). Wenn man z.B. wissen möchte, welche Aspekte für eine hohe Mitarbeiterzufriedenheit zuträglich sind, kann man explorativ vorgehen und die Mitarbeiter mit einem offenen Textfeld befragen. Nimmt man hingegen an, dass das Führungsverhalten von Führungskräften den größten Einfluss von vielen verschiedenen Aspekten auf die Zufriedenheit hat, gibt man diese Aspekte an und lässt sie durch die Mitarbeiter bewerten. Eine weitere Vorgehensweise stellt das Experteninterview dar, um erste Informationen zu sammeln und sich einen Überblick über ein interessierendes Thema zu verschaffen. Auch eine Literaturrecherche zum Thema ist sehr zu empfehlen.

Auswahl des Umfragemediums

Weiterhin sollte man dann festlegen, mit welchem Medium die Umfrage durchgeführt werden soll. Telefonumfragen bieten sich an, wenn davon auszugehen ist, dass Teilnehmer eher persönlich angesprochen werden sollten und die Teilnahmewahrscheinlichkeit an einer Umfrage per Online- oder Papierfragebogen als gering eingeschätzt wird. Der Onlinefragebogen ist von allen Medien am wenigsten aufwändig. Durch die elektronische Erfassung der Antwortdaten kann eine Menge Kapazität für das Eintippen der Daten in den Computer für die Auswertung eingespart werden. Auch die Fehler, die durch das manuelle Erfassen auftreten können, gibt es bei einer Onlineumfrage nicht. Die Ergebnisse können einfach in ein entsprechendes Dateiformat transformiert und ausgewertet werden. Häufig bietet sich Excel an. Je nach Umfrage und statistischen Methoden sind aber auch SPSS oder das open source tool „R“ sehr hilfreich.

Die Umfrageerstellung

Für die Umfragekonzeption ist ein Vorgehen vom Groben ins Detaillierte anzuwenden. Aufgestellte Hypothesen sollten operationalisiert (messbar gemacht) werden, sodass schließlich eindeutige Fragen entstehen. Bei explorativem Vorgehen werden offene Fragen gestellt und ausreichend Platz für die Antworten eingeplant. Bei konfirmatorischem Vorgehen werden Fragen oder Behauptungen präsentiert und anhand einer Antwortskala bewertet. Eine Kombination von Fragen mit Antwortskala und offenen Fragen mit Textfeld ist auch dann denkbar, wenn vermutet wird, dass in den Antwortmöglichkeiten möglicherweise nicht alle Alternativen enthalten sind oder den Teilnehmern Platz für Anmerkungen gegeben werden soll.

Die Anzahl an Fragen und die Fragebogenlänge hängen stark vom Thema ab und kann zwischen wenigen Minuten und etwa eineinhalb Stunden liegen. Die Fragebogenlänge sollte immer individuell eingeschätzt werden. Sie sollte den Teilnehmern gut zumutbar sein, um nicht die Ergebnisse durch Demotivation zu verfälschen, weil der Fragebogen zu lang ist.
Die Anrede während des Fragebogens sollte Zielgruppenspezifisch geschehen. Die Anrede per „Du“ oder per „Sie“ ist abzuwägen, außerdem sollte man sich über das Gendering Gedanken machen. Manchmal ist es sinnvoll, sowohl die weibliche als auch die männliche Form zu verwenden, manchmal kann aber auch einfach nur die männliche Form angewandt werden, ggf. noch mit einem Hinweis, dass dies der Einfachheit halber geschieht und damit alle Geschlechter angesprochen werden.

Zur Einleitung in einen Fragebogen empfiehlt sich ein Einleitungs- bzw. Begrüßungstext. Dort können Ziel/Zweck der Umfrage und Person bzw. Organisation vorgestellt werden, von der die Umfrage ausgeht. Ein Hinweis, dass es keine richtigen oder falschen Antworten gibt, ist außerdem hilfreich, sodass ehrliche Antworten gegeben werden. Ggf. ist die Zusicherung der Anonymität ein wichtiger Bestandteil. Auch Instruktionen für das Vorgehen im Fragebogen können Teil der Einleitung sein.

Das Layout sollte übersichtlich gestaltet sein. Dies gelingt, indem nicht zu viele Informationen auf einer Seite präsentiert werden und man bspw. bei Onlinefragebögen häufiges „Scrollen“ vermeidet. Verschiedene Themenbereiche im Fragebogen sollten gut strukturiert und sichtbar sein.

Datenschutz und Datensicherheit

Ein wichtiger zu beachtender Punkt ist auch der Datenschutz und die Datensicherheit. Häufig werden Umfragen anonym durchgeführt. Dies muss über verschiedene Aspekte ermöglicht werden. Dazu gehört auch, dass die Weitergabe der Daten an Dritte ausgeschlossen wird. Eine verschlüsselte Übertragung der Daten bei Onlinefragebögen trägt zur Datensicherheit bei. Bei Papierfragebögen sollte es ermöglicht werden, dass der Fragebogen ungestört ausgefüllt und z.B. in einer abschließbaren Box sicher eingeworfen werden kann. Eine Telefonumfrage kann beispielsweise durch spezielle Telefonsysteme anonym durchgeführt werden, sodass keine persönlichen Daten der Teilnehmer dem Durchführenden der Umfrage zugänglich gemacht werden.

Der Pretest vor der Feldphase

Bevor die Umfrage schließlich durchgeführt wird (ins Feld geht), ist ein Pretest (Vorabtest) sehr empfehlenswert. Hier wird der Fragebogen einigen der Zielgruppe entsprechenden Personen vorgelegt. Dies dient dazu, besser einschätzen zu können, ob die Fragen und Antwortmöglichkeiten erschöpfend und verständlich sind, ob Fragen eindeutig sind, nicht zu schwer und nicht zu leicht zu beantworten sind (dies könnte sonst Verzerrungen in den Ergebnissen hervorrufen). Auch eine Einschätzung der richtigen Fragebogenlänge kann so besser getätigt werden und ob es ausreichend große Textfelder für offene Fragen gibt.

Die Umfrage kann starten

Dann ist es endlich so weit und der Fragebogen kann verschickt oder die Telefonumfrage gestartet werden. Hier gibt es verschiedene Kommunikationswege, um zur Umfrage einzuladen. E-Mail, Telefonanruf, Brief oder Präsentsein vor Ort sind einige Beispiele.

Die Dauer der Umfrage richtet sich wieder nach der Art der Umfrage. Bei Onlineumfragen bietet es sich an, nach etwa 1-2 Wochen nachzufassen und eine Erinnerung zur Teilnahme an der Umfrage zu verschicken. Bei einem Feedbackbogen nach einer Veranstaltung sollte die Zeit direkt nach der Veranstaltung genutzt werden. Eine Telefonumfrage dauert so lange, bis entsprechende Teilnehmer durchtelefoniert sind.

Die Umfrageauswertung

Die Auswertung wird ebenfalls vor dem Start der Umfrage geplant und wird nun nach Ablauf der Umfragedauer ausgeführt. Hier gibt es verschiedene Vorgehensweisen, technische und statistische Möglichkeiten. Manche Tools enthalten bereits Auswertungsmöglichkeiten, aber auch eine Auswertung per Excel ist durchaus gängig. Häufig ist die Generierung von Diagrammen zur Deutung der Ergebnisse hilfreich, da sie mehr aussagen als schlichte Zahlen.

Nach der Auswertung: Maßnahmen und deren Umsetzung

Nach der Auswertung sollten die Ergebnisse interpretiert und in den Kontext eingebunden werden. Hieraus lassen sich dann beispielsweise durch einen Workshop, durch die Bearbeitung in Gremien etc. zielführende Maßnahmen ableiten. Hier kommt eine arbeitsintensivere Phase auf Sie zu, denn nun werden die gewonnenen Daten verarbeitet. Auch hierfür sollten Sie ausreichende personelle Ressourcen einplanen und die zeitnahe Bearbeitung der Umfrageergebnisse sollte einen hohen Stellenwert einnehmen. Denn beispielsweise sind bei einer Mitarbeiterumfrage die Mitarbeiter sehr interessiert an den Ergebnissen. Eine geeignete Kommunikationsstrategie hilft, Gerüchten, Befürchtungen u.ä. vorzubeugen.

Zusammenfassung

Sie sehen, eine Umfrage durchzuführen kann sehr komplex sein und die Planung nimmt einen hohen Stellenwert ein. Nehmen Sie sich lieber ein bisschen mehr Zeit für die Konstruktion und die Überarbeitung nach dem Pretest. So erhalten sie eine vernünftige Umfrage und nach der Durchführung auch aussagekräftige Daten, mit denen Sie weiter arbeiten können.