"Wir möchten von Ihnen hören."
"Wie waren wir?"
"Sagen Sie uns, wie wir sind!"
"Wie war Ihre Erfahrung?"
Manchmal scheint es, als würde Woche für Woche ein neuer Stapel an Feedback-Umfragen bei uns eintreffen. Organisationen wollen wissen, was wir über die Interaktionen denken, die wir mit ihren Produkten und Diensten hatten. Sie bitten um "einen kurzen Moment Ihrer Zeit", um eine "kleine" Befragung zum Nutzererlebnis auszufüllen.
Bis vor kurzem haben UX-Teams nicht viel Interesse an dieser Art von Umfragen gezeigt, denn es ging darin stets um das Marketing für das Produkt, nicht um das Design. Aber das organisationale Interesse an Initiativen wie Voice of the Customer, Customer Experience (CX) und neuerdings Customer Centricity hat Design-Teams dazu getrieben, dem Thema mehr Aufmerksamkeit zu widmen.
Das Interesse geht mit großartigen Intentionen einher. Die Leute hinter den Umfragen möchten ernsthaft wissen, ob das Unternehmen seine Versprechen gehalten hat. Sie suchen jede noch so kleine Information, die ihnen helfen könnte, ihre UX-Designs zu verbessern.
Doch die Daten, die sie sammeln, und die Art und Weise, wie sie diese erheben, bieten ihnen womöglich nicht das, was sie sich erhoffen. Im besten Fall werden die Umfragen als das angesehen, was sie sind, und bekommen im Unternehmen nicht viel Gewicht beigemessen. Im schlimmsten Fall werden ernsthafte und teure Entscheidungen auf Basis von Umfragedaten getroffen, die die Organisationen unwissentlich in eine falsche Richtung manövrieren. Es ist wichtig, dass wir verstehen, welche Herausforderungen mit diesen Daten einhergehen, wie wir sie am besten nutzen können und was wir an der Erhebung verändern müssen, um unsere Datenqualität zu erhöhen.
Der Unterschied zwischen quantitativen und qualitativen Daten
Bei einer zurückliegenden Konferenz habe ich einen Redner gehört, der dem Publikum erklärte, dass qualitative Daten (gewonnen durch Methoden wie Usability-Tests) stets subjektiv und quantitative Daten (aus Umfragen) stets objektiv seien. Leider ist diese weit verbreitete Ansicht nicht ganz wahr.
In einem Usability-Test könnten die Beobachter feststellen, dass einem User eine bestimmte Fehlermeldung vier Mal präsentiert wird. Das nennen wir objektive Daten, denn es spielt keine Rolle, welcher Beobachter sie gesammelt hat. Jeder Beobachter würde zum selben Ergebnis darüber kommen, wie oft die Fehlermeldung erschienen ist. Da würde es keine Diskussion geben.
Allerdings könnten die Beobachter desselben Tests zu unterschiedlichen Einschätzungen kommen, was den Frustrationsgrad des Nutzers aufgrund der wiederholten Fehlermeldung betrifft. Hier sprechen wir von subjektiven Daten, weil es keine objektiven Kriterien für die Wahrnehmung von Nutzerfrustration gibt.
Der Sitzungsmoderator könnte die Teilnehmer jeweils bitten, laut zu sagen, wie frustriert sie sind – beispielsweise auf einer Skala von eins bis fünf. Obwohl ein beliebiger Beobachter einen Teilnehmer die Zahl vier sagen hören würde, wären dies subjektive Daten, denn es gibt keine objektiven Kriterien, die alle Teilnehmer heranziehen könnten. Der nächste Teilnehmer könnte ebenfalls vier sagen, obwohl er aus ganz anderen Gründen frustriert ist.
Was objektive von subjektiven Daten unterscheidet, ist das Vorhandensein einer Reihe unzweideutiger Kriterien, die es einem beliebigen Auswerter ermöglichen, die Daten gleichermaßen zu klassifizieren. Wenn wir jemanden beobachten, wie er ein Produkt kauft, können wir normalerweise übereinstimmend sagen, welchen Preis er gezahlt hat, denn die Summe wurde auf dem Bildschirm klar angezeigt und bei der anschließenden Transaktion eingezogen. Jedoch haben wir keinen Standardweg, um zu sagen, ob das Nutzererlebnis des Kaufs erfreulich oder ärgerlich war. Das ist subjektiv.
Subjektive Daten sind nichts Schlechtes. Aber wir müssen sie als das betrachten, was sie wirklich sind: Meinungen darüber, was passiert ist. Daran ist ganz klar nichts Faktisches - anders als bei objektiven Daten. Für eine Entscheidungsfindung macht diese Differenzierung einen großen Unterschied.
Gefällt es Ihnen, mit uns Geschäfte zu machen?
Im Kern versuchen die Organisationen, die uns diese Feedback-Umfragen schicken, zu erfahren, ob uns das Interagieren mit ihren Produkten oder Diensten gefallen hat. Wenn es so ist: Würden wir es wieder tun? Wenn es nicht so ist: Wie könnten sie das Erlebnis verbessern?
Es gibt unterschiedliche Wege zu erfragen, ob uns etwas gefallen hat. Natürlich können sie eine einfache Frage der Marke "Wie waren wir?" stellen. Oftmals wählen sie aber eine eher institutionell klingende Sprache a la "Wie zufrieden waren Sie mit Ihrem Einkaufserlebnis?" Am schlimmsten ist es, wenn sie auf verschwurbelte Art und Weise fragen, wie wahrscheinlich es ist, dass wir sie einem Freund oder Kollegen empfehlen - wie beim Net Promoter Score.
Unabhängig davon, wie die Frage formuliert ist, suchen die Leute, die uns fragen, eigentlich dieselbe Antwort: Hat Ihnen die Interaktion mit uns gefallen? Ob es eine Skala mit zehn Punkten gibt (oder im Fall des NPS eine Elfer-Skala) oder ob es eine schlichte Ja-oder-nein-Frage ist – die Idee bleibt dieselbe. Machen unsere Kunden gerne Geschäfte mit uns?
"Gefällt mir" ist für sich allein nicht hilfreich
Das Problem besteht darin, dass es nicht hilfreich ist, nur zu wissen, ob Kunden uns mögen oder nicht. Es sagt uns nichts darüber, was wir anders machen müssen. Wenn alle uns mögen, wissen wir nicht, was sie an uns mögen. Wenn wir auf unserem weiteren Weg Veränderungen vornehmen, ruinieren wir vielleicht gerade die Sache, die ihnen an uns wirklich gefällt.
Wenn alle uns sagen, dass es ihnen nicht gefallen hat, wissen wir nicht, womit unsere Nutzer hadern. Wir wissen nicht, wie wir das Kundenerlebnis verbessern könnten. Ohne weitere Informationen sind wir ratlos, was wie ändern und was wir nicht ändern sollten.
Die Daten in eine Skala zu packen, hilft hier auch nicht. Es wurschteln die Daten bloß durcheinander. Wenn wir bei einer Skala von -5 (gefällt nicht) bis +5 (gefällt) einen Durchschnittswert von -3,7 erhalten, wissen wir nur, dass -3,7 ein kleines bisschen positiver ist als ein Schnitt von -4,2. Wir haben nach wie vor keine Daten, die uns sagen, wie wir den Durchschnittswert verbessern könnten. Und ein Durchschnittswert ist aggregiert. Wenn wir die individuellen Bewertungen nicht verstehen, sind die aggregierten Bewertungen nur aggregierter Unsinn.
Aggregierte Bewertungen sagen nichts über individuelle Unterschiede. Es könnte völlig verschiedene Gründe dafür geben, warum zwei Kunden die Interaktion mit uns nicht gefallen hat. Zahlen vermitteln uns keinerlei Ahnung davon.
Der Vorteil der Verknüpfung mit Verhaltensdaten
Was ist, wenn wir die Frage, "ob ein Nutzer uns mag oder nicht", mit unseren Daten darüber kombinieren, wie sie unser Produkt oder unseren Dienst nutzen? (Das wollen wir nicht die Kunden fragen – es wäre wieder subjektiv. Stattdessen verwenden wir native Analysen unserer tatsächlichen Nutzungsdaten.) Beispielsweise könnte eine Airline die Meinung des Kunden zum Service damit verknüpfen, ob dieser Kunde in letzter Zeit geflogen ist.
Diese beiden Datenelemente könnten wir in vier Gruppen segmentieren:
Kunden, die das Produkt genutzt haben und sagen, dass sie uns mögen. Diese Kunden sind interessant, weil die Nutzung des Produkts sie glücklich zu machen scheint. Wenn wir weitere Untersuchungen anstoßen, um zu erfahren, welche Aspekte des Produkts sie glücklich machen, könnte uns das helfen, die Vorteile auch anderen Leuten besser zu erklären.
Kunden, die das Produkt genutzt haben und sagen, dass sie uns nicht mögen. Das könnten wohl Kunden sein, die zu einem Konkurrenten wechseln werden, wenn wir das, was ihnen an uns nicht gefällt, nicht beheben.
Kunden, die das Produkt nicht nutzen, aber sagen, dass sie uns mögen. Hmmm. Unser Produkt hat bestimmte Potenziale, die diesen Leuten gefallen. Weitere Untersuchungen könnten erklären, was sie davon abhält, tatsächlich Nutzen aus unseren Angeboten zu ziehen.
Kunden, die das Produkt nicht nutzen und sagen, dass sie uns nicht mögen. Irgendwie haben sich diese Kunden ihren Eindruck von uns gebildet, aber kürzliche Nutzung ist nicht der Grund. Was müsste geschehen, damit sie uns ausprobieren? Würde das einen Unterschied bewirken, wie sie über uns denken?
Es ist hilfreich, diese Daten zu segmentieren, aber in der Regel entstehen daraus mehr Fragen als belastbare Antworten. Nur zu wissen, ob uns jemand mag und ob er uns genutzt hat, hilft uns nicht dabei, Verbesserungen zu planen.
Im zweiten Teil des Artikels stellt der Autor eine Methode vor, um die Enttäuschung durch Verlust zu erfassen, und zeigt Möglichkeiten, um diese Technik noch zu erweitern.
Dieser Artikel wurde im Original am 17. Juli 2019 unter dem Titel Unconventional Techniques for Better Insights from Satisfaction Surveys von Jared M. Spool veröffentlicht. Jared M. Spool gehört zu den führenden User-Experience-Experten unserer Zeit. Seine Website erreichen Sie unter http://www.uie.com. Weitere Artikel von Jared M. Spool finden Sie im UX-Special von //SEIBERT/MEDIA.
