Remote-User-Tests mit OpenHallway: Alternative zur klassischen Nutzerforschung

Ein User-Test bietet die Möglichkeit, realen Nutzern bei der Interaktion mit einer Anwendung zuzuschauen und dadurch systematisch Feedback darüber zu erhalten, welche Probleme bei der Nutzung auftreten. Doch User-Tests sind nicht nur bei der Usability-Analyse und -Optimierung bereits bestehender Applikationen sinnvoll, sondern gerade auch im Rahmen des gesamten Software-Entwicklungsprozesses.

Die zentrale Frage lautet: Soll eine Anwendung im Elfenbeinturm erstellt werden in der Hoffnung, dass sie eben funktioniert, wenn man sie schließlich auf den Markt wirft, oder sollen die Nutzer möglichst früh in den Entwicklungsprozess integriert werden, um sicherzustellen, dass die Anwendung von Beginn an nach den Bedürfnissen der Zielgruppen entwickelt wird? Es empfiehlt sich definitiv, die Weichen zur Marktreife frühzeitig richtig zu stellen. Aber wie?

Der User-Test als Königsdisziplin der Usability-Forschung: Eher selten angewendet

Nutzerforschung ist ein essenzieller Bestandteil erfolgreicher Software-Projekte. Dennoch sind klassische User-Tests bei der Anwendungsentwicklung eher die Ausnahme als die Regel. Dafür gibt es auch nachvollziehbare Gründe.

Zahlreiche klassische User-Tests im Rahmen der Software-Entwicklung sind nicht mit jedem Budget vereinbar, gerade bei Start-up-Unternehmen. Zudem ist die Durchführung von User-Tests immer auch eine Frage von Know-how und Ausstattung: Man benötigt ein Usability-Labor, das entsprechend ausgestattet ist, man braucht eine Software und muss wissen, wie diese angewendet wird, geeignete Teilnehmer müssen rekrutiert und sinnvolle Aufgaben entwickelt werden, etc.

Dieses Wissen und die gesamte Infrastruktur intern aufzubauen, um selbst User-Tests durchführen zu können, ist für die meisten Unternehmen kaum praktikabel. Und ein professioneller User-Test, der mithilfe von externen Fachleuten stationär durchgeführt wird, kann zwischen 7.000 und 20.000 Euro kosten. Zugleich stellen Anbieter von Usability-Dienstleitungen aber auch fest, dass die Ergebnisse und Empfehlungen, die aus aufwändigen nutzerbasierten Tests hervorgehen, am Ende doch nicht berücksichtigt werden: Der User-Test ist zwar angeordnet bzw. politisch durchgesetzt und durchgeführt worden, der entstandene Maßnahmenkatalog allerdings fängt in der Schublade Staub.

Von Fall zu Fall bietet sich deshalb der sog. Remote-User-Test als vergleichsweise budgetschonende und schlanke Alternative zum klassischen User-Test an.

Der Remote-User-Test als Alternative

Remote-User-Tests sind nutzerbasierte Usability-Tests „aus der Ferne“, bei denen die Teilnehmer an beliebigen Rechnern mit Internetzugang arbeiten. Sie werden in den Entwicklungsprozess integriert und geben Feedback, ohne dass eine klassische User-Test-Umgebung mit Labor und Moderator aufgebaut werden muss: Die Teilnehmer befinden sich in ihrer vertrauten Nutzungsumgebung, während sie mit der Anwendung interagieren.

Auch bei Remote-User-Tests arbeiten Probanden zuvor festgelegte Aufgaben ab und ist es möglich, die Aktivitäten der Nutzer bei der Arbeit mit der Applikation inklusive ihrer Anmerkungen zu den Oberflächen aufzuzeichnen.

Während klassische User-Tests grundsätzlich moderiert sind, wird beim Remote-User-Testing zwischen moderierten und nicht moderierten Tests unterschieden, also quasi der Verlagerung der Laborsituation inklusive Moderation ins Web und der Methode, Probanden ohne Testleiter Aufgaben durchführen zu lassen.

OpenHallway: Webbasierte Nutzerforschung

//SEIBERT/MEDIA verwendet für Remote-User-Tests im Rahmen der Entwicklung und Weiterentwicklung des Egotracking-Tools TwentyFeet die Software OpenHallway des gleichnamigen Herstellers. Die durchgeführten Versuche sind bei uns in der Regel nicht-moderierte Remote-Tests: Es gibt also keinen Testleiter, der sich mit dem Probanden auseinandersetzt und mit ihm kommuniziert, die Tests laufen automatisch ab.

Und so funktionieren Datenerhebungen mit OpenHallway: Ausgewählte User erhalten per E-Mail wichtige Instruktionen und Aufgaben sowie einen Link zu einer Website, die sie testen sollen. (Technische Voraussetzungen sind ein Mikrofon und Java.) Hier meldet sich der Teilnehmer mit Namen und E-Mail-Adresse an und drückt auf „Start Recording“. Von nun an werden der Bildschirm und die Aussagen des Probanden per Screen-Recording aufgenommen, der User soll seine Aktionen über sein Mikrofon kommentieren und dabei möglichst die Methode lauten Denkens anwenden.

Die so gewonnenen Daten werden zentral gespeichert und stehen unmittelbar nach Abschluss der Sitzung zur Auswertung bereit. Aufgenommene Videos der Tests können zudem online geteilt und ggf. dem Kunden sofort zugeschickt werden.

Remote-Nutzerforschung als Ersatz für klassische User-Tests?

Können Remote-Tests nun „richtige“ User-Tests tatsächlich ersetzen? Grundsätzlich kommt es auf den Zusammenhang an, in dem Nutzerforschung betrieben werden soll. Muss etwa bei der iterativen Entwicklung einer Software über den gesamten Prozess hinweg mithilfe hochfrequenten User-Testings schnell und kurzfristig Nutzerfeedback generiert werden? Dann hat die Durchführung von webbasierten Tests mit Tools wie OpenHallway tatsächlich einige Vorteile:

Vorteile

  • Hochwertige Ergebnisse sind möglich, da der Teilnehmer in der Regel zu Hause an seinem eigenen Rechner arbeitet und die Nutzungssituation somit realistischer ist als in der Laborsituation, die bei einem klassischen User-Test erzeugt wird.
  • Tests sind ohne Versuchsleiter möglich, die Einbindung vieler Probanden ist unabhängig von der Verfügbarkeit eines Moderators.
  • Zeit- und terminunabhängiger als ein klassischer User-Test: Teilnehmer können Tests (innerhalb des festgelegten Zeitfensters) durchführen, wann sie möchten.
  • Preiswerte Methode im Vergleich zum aufwändigen richtigen User-Test, mehr Tests in einem vergleichbar langen Zeitraum
  • Ortsunabhängige Integration von Nutzern (besonders interessant bei Anwendungen, die ein internationales Publikum ansprechen sollen)
  • Schnelle und punktuelle Durchführung während eines Entwicklungsprozesses, kurzfristig wertvolles Feedback generieren

Oder soll bspw. eine bestehende Intranet-Software systematisch auf Usability-Probleme hin untersucht werden, um durch Optimierungen die Effektivität und die Effizienz der Arbeit mit dem System und damit die Produktivität der Mitarbeiter zu erhöhen? Dann bietet sich ein klassischer User-Test an, denn der Remote-User-Test ist keine Allzweckwaffe:

Nachteile

  • Keine Nachfragen und Hilfestellungen durch einen Moderator möglich
  • Rückschlüsse aus den Reaktionen des Probanden schwer oder überhaupt nicht möglich, da der Testleiter sie gar nicht oder nur via Webcam sieht
  • Keine Rahmen in Form eines Debriefings
  • Keine unmittelbare Kundenintegration in den Prozess, z.B. via Whiteboard
  • Bei nicht moderierten Tests keine Möglichkeit, zur Anwendung der sehr wichtigen Methode des lauten Denkens zu ermutigen

Als Faustregel schlagen wir vor:

Bei der iterativen Software-Entwicklung sind Remote-Tests in hoher Frequenz sinnvoll. Bei der Usability-Optimierung bestehender Websites, Intranets und Online-Anwendungen ist dagegen ein professionell von Experten durchgeführter und moderierter klassischer User-Test empfehlenswert, um tatsächlich alle Usability-Probleme aufzudecken.

Remote-User-Tests mir OpenHallway waren kürzlich auch Thema in einer unserer wöchentlich ausgestrahlten Live-Sessions zur Online-Beratung. Die praxisorientierte Live-Demonstration können Sie sich hier noch einmal ansehen:

Suchen Sie Wege, um Ihre Anwendung nutzerfreundlicher und damit erfolgreicher zu machen? Bitte sprechen Sie uns an. Gerne unterstützen wir Sie bei beiden Formen der Nutzerforschung: Ausführliche Informationen zur Preisgestaltung sowie eine Beispielkalkulation für ein Remote-User-Test-Projekt finden Sie in unserer Infothek. Ablauf und Preisbeispiele eines klassischen User-Tests haben wir ebenfalls für Sie dokumentiert.

Weiterführende Informationen

Der User-Test: Die Königsdisziplin der Usability-Forschung
Die politische Bedeutung von User-Tests
User-Test: Die wichtige Vorbereitung und das Aufstellen von Hypothesen
Nutzerforschung ist ein separates Projekt


Mehr über die Creative-Commons-Lizenz erfahren