Drei verbotene Fragen bei einem User-Test

Der Teilnehmer kämpfte. Eigentlich war er ein Großkunde, der in der Vergangenheit schon massenhaft Artikel auf dieser Seite gekauft hatte. Aber heute kam er mit dem Bestellprozess einfach nicht zurecht. Verwirrung herrschte auf beiden Seiten: Der Kunde verstand nicht, was die Website ihm zu sagen versuchte, und die Website verstand nicht, was der Kunde wollte.

Das Team verbrachte einige schmerzliche Minuten damit, den armen User-Test-Teilnehmer dabei zu beobachten, wie er kaum Fortschritte machte. Seine Entschlossenheit führte letztendlich dazu, dass er die Bestellung abschließen konnte. Aber einfach war das nicht.

„Normalerweise ist es nicht so schlimm“, kommentierte der Kunde. „Ich hatte auch vorher schon immer wieder mal Probleme, aber heute fühlt sich das alles besonders kompliziert an.“ Letztlich war es einfach eine Verkettung unglücklicher Umstände.

Neben mir saß ein Team-Mitglied, das zunehmend besorgter wurde. Als Support-Chef des Online-Shops konnte er die Leiden des Käufers nachvollziehen. Das hier war kein Nutzererlebnis, das man seinen Kunden wünscht, insbesondere keinem loyalen Stammkunden wie diesem Teilnehmer.

Im passenden Moment wendete sich der Moderator an die Beobachter und fragte: „Hat jemand irgendwelche Fragen?“

„Ja, ich habe eine“, brach es aus dem Kundenservice-Chef hervor. „Glauben Sie… Ich meine, wenn Sie zu Hause gewesen wären und das alles über sich hätten ergehen lassen müssen, diesen ganzen Ärger … und es gäbe keinen Raum voller Leute, die Sie beobachten … Denken Sie, Sie hätten in diesem Fall die kostenlose Nummer angerufen, die auf jedem Bildschirm angezeigt wurde? Hätten Sie mit der Support-Abteilung telefoniert?“

Das war es, was der Support-Chef glauben wollte: dass Kunden bei einer traumatischen Erfahrung wie dieser nicht einfach aufgeben, sondern seine Leute anrufen und um Hilfe bitten würden. Schließlich hatte er dafür gesorgt, dass die Service-Mitarbeiter genau für derlei Probleme geschult waren und den Kunden mit viel Aufmerksamkeit und guten Ergebnissen überschütten würden. Der Mann musste dort einfach anrufen wollen.

Der Teilnehmer dachte für einige Momente sorgfältig nach. Man konnte praktisch sehen, wie er sich die Situation in seinem behaglichen Heim vorstellte. Schließlich sagte er mit sehr ruhiger Stimme: „Ich glaube schon. Ja. Ich hätte die Nummer angerufen.“

Der Support-Chef lehnte sich glücklich in seinem Stuhl zurück – mit dem Gedanken, dass sein Team in diesem Fall für Rettung gesorgt hätte.

Dann fragte ich: „Haben Sie früher jemals dort angerufen, wenn Sie Probleme hatten, eine Bestellung aufzugeben?“

„Nein, habe ich nicht“, antwortete der Kunde sofort.

Das war nun also das Rätsel: Der Kunde sagte, er würde den Support anrufen, aber er sagte auch, dass er dies noch nie getan habe, selbst dann nicht, als er ähnliche Probleme wie heute hatte. Was sollten wir nun glauben?

1. Nach der Zukunft fragen

Ohne es zu wissen, hatte der Service-Chef eine der Regeln für gute Fragen an User-Test-Teilnehmer gebrochen: nicht nach der Zukunft fragen.

Wenn sie zur Zukunft befragt werden, versuchen viele Leute, ehrlich zu antworten. Sie werden das beschreiben, was sie selbst als ihre ideale Reaktion ansehen. Sie möchten denken, dass sie sich auf die logischste, effektivste Art und Weise verhalten. Kurz gesagt, sie möchten denken, dass sie das Richtige tun.

Doch im Eifer des Gefechts sind die Menschen nicht immer so logisch. Sie gehen nicht unbedingt den Optimalweg.

Natürlich möchten wir das zukünftige Nutzerverhalten voraussagen und die Anwendung dementsprechend entwickeln. Wahrscheinlich erhalten wir jedoch keine brauchbaren Ergebnisse, wenn wir einen User-Test-Teilnehmer dazu befragen.

Ich habe festgestellt, dass die beste Vorgehensweise, etwas über das zukünftige Nutzerverhalten zu erfahren, darin besteht, das Nutzerverhalten in der Vergangenheit zu betrachten. Die Teilnehmer zu fragen, was sie in der Vergangenheit getan haben, ist der bessere Weg zu richtigen Antworten.

Anstatt die Frage „Denken Sie, Sie werden Nachrichten in verschiedenen Ordnern speichern?“ zu stellen, sollten wir es lieber mit dieser probieren: „Wenn Sie mit Ihren Nachrichten fertig sind, was machen Sie dann mit ihnen?“ Ich konzentriere mich in User-Tests auf das, was die Teilnehmer in der Vergangenheit getan haben, und versuche aus diesem Verhalten zu schlussfolgern, was sinnvoll ist.

Die Frage nach der Zukunft gehört zu denjenigen, die man meiner Erfahrung nach Probanden nicht stellen sollte.

2. Fragen, wie der Teilnehmer ein Feature gestalten würde

„Wenn wir eine Möglichkeit einbauen würden, Dateien mit Anmerkungen zu versehen, wie müsste das aussehen?“ „Was wäre der richtige Weg, um diese Menüoptionen zu organisieren?“ „Welche weiteren Felder sollten wir in dieses Formular einfügen?“ „Wie sollten diese Daten Ihrer Meinung nach angezeigt werden?“

Ich habe diese Fragen viele Male gehört. (Ich habe sie sogar selbst gelegentlich gestellt.) Letztendlich wollen die Produkt-Teams eine effektive Anwendung für den Nutzer entwickeln. Also besteht der beste Weg darin, den Nutzer zu fragen, wie die Anwendung aussehen sollte, richtig? Falsch.

Nutzer sind keine Designer oder Entwickler. (Wenn sie es wären, würden sie uns nicht brauchen.) Sie wissen nicht, wie man mit Einschränkungen und Bedingungen umgeht. Sie haben solche Probleme noch nie richtig durchdacht.

Es ist sehr unwahrscheinlich, dass ihre Antworten zu einer guten Anwendung führen würden. Sie würden das nennen, was ihnen als Erstes einfiele, und selbst bis dahin würde es leider sehr lange dauern.

Ich habe das letztens gerade gesehen. Ein erfahrenes Team sprach mit einem langjährigen Kunden. „Wie würden Sie …?“ fragte der Team-Leiter.

Die Körperhaltung des Probanden veränderte sich schlagartig. Während er vorher dem Team zugewandt gesessen und den Leuten fest in die Augen geschaut hatte, lehnte er sich nun entspannt in seinem Stuhl zurück und guckte in die Luft. „Hmmm, ich glaube, ich würde …“, murmelte er in der Hoffnung, ihm würde eine brillante Idee zufliegen.

Aber leider war der Vorschlag nicht brillant, sondern allzu simpel und mit den unzähligen vorgegebenen Rahmenbedingungen nicht vereinbar.

Das Team erkannte das Problem und merkte, dass “Wie-sollte-Fragen” keinen Erkenntnisgewinn bringen. Sie wussten, was zu tun ist.

3. Die Antwort in die Frage legen

„Klicken Sie diesen Button nicht an, weil er nicht gut zu sehen ist?“

Dies ist eine schwierige Situation für viele Beobachter. Wir sehen den Teilnehmern zu und sie tun nicht das, was wir als optimales Vorgehen erkannt haben. Unser Gehirn rattert: Was könnten die Gründe dafür sein? Wir müssen es herausfinden. Wir müssen fragen.

„Warum haben Sie diesen Button nicht angeklickt?“ ist auch nur unwesentlich besser. Die Frage enthält zwar nicht die Gründe, von denen wir ausgehen, aber sie impliziert, dass der Teilnehmer etwas falsch gemacht hat. Er wird ihnen einen Grund nennen, aber vielleicht nur, weil Sie darauf hingewiesen haben, und nicht, weil es das ist, was er gerade wirklich denkt.

Seien Sie kreativ, wenn Sie erkunden wollen, ob und wie der Test-Teilnehmer die Oberfläche versteht. Wenn ich zum Beispiel wissen möchte, warum die Teilnehmer einen bestimmten Button nicht angeklickt haben, bitte ich sie, über die Funktionen der einzelnen Buttons zu sprechen. Auf diese Weise assoziieren sie den speziellen Button nicht mit der Aktion, die sie gerade durchgeführt haben (und ich erfahre etwas über ihr allgemeines Verständnis von der Anwendung).

Eine schlechte Frage ist nicht das Ende der Welt

Es ist keine Untat, diese Fragen zu stellen. Wir verstoßen damit nicht gegen die Genfer Konventionen. Wir werden nicht von der Usability-Polizei abgeführt.

Allerdings hat das Stellen der falschen Fragen auch seinen Preis. Bei der Durchführung von Nutzerforschung ist die begrenzte Zeit, die das Usability-Team mit einem Teilnehmer verbringt, das höchste Gut. Dies sind die wertvollsten Momente. Es zählt also jede Sekunde.

Wenn Sie eine der genannten Fragen stellen, verschwenden Sie einen dieser wertvollen Momente. Sie kosten Zeit und bringen nichts. Der Teilnehmer versucht es (und gibt sich dabei in der Regel sehr viel Mühe), aber der Versuch zahlt sich nicht aus und der Uhrzeiger rast.

Wenn Sie lernen, sich auf die richtigen Fragen zu konzentrieren, können Sie das Beste aus jeder User-Test-Session machen.

Dieser Artikel wurde im Original am 18. August 2010 unter dem Titel Three Questions You Shouldn’t Ask During User Research von Jared M. Spool veröffentlicht. Jared M. Spool gehört zu den führenden Usability-Experten unserer Zeit. Seine Website erreichen Sie unter http://www.uie.com. Weitere Artikel von Jared M. Spool finden Sie im Usability-Special von //SEIBERT/MEDIA.

Hinterlassen Sie eine Antwort

Kommentare