Der User-Test: Die Königsdisziplin der Usability-Forschung [ 7:29 ] Jetzt abspielen | Play in Popup | Download

Grundsätzlich wünschen sich Auftraggeber, die Usability-Analysen durchführen lassen, eine einfache Anwendung und einen Return on Investment. Dass Usability ein Erfolgsfaktor für Unternehmen ist und einen hohen ROI hat, dürfte kaum jemand noch ernsthaft bestreiten.

Für Intranets hat Jakob Nielsen beispielsweise herausgefunden, dass die Kosten für Usability-Optimierungen das Achtfache an Nutzen in Euro zurückbringen – in einem Unternehmen mit 1.000 Mitarbeitern. Unternehmen mit 10.000 Mitarbeitern können auf das Zwanzigfache und Unternehmen mit mehr als 100.000 Mitarbeitern auf das Fünfzigfache hoffen. (vgl. Nielsen, Jakob; Giluz, Shuli: Usability Return on Investment, 2nd edition. Fremont: Nielsen Norman Group 2007.)

Um die notwendigen Maßnahmen durchführen zu können, muss man möglichst alle Schwachstellen und Problemquellen kennen. Hierfür zahlt sich die Investition in einen User-Test aus, in die klassische Variante und Königsdisziplin der Usability-Forschung.

Expertenanalysen: Schnell und günstig

Grundsätzlich gibt es in der Usability-Forschung zwei unterschiedliche Wege, Daten zu erheben: expertenbasierte Methoden und nutzerbasierte Tests. Bei professionell durchgeführten expertenbasierten Tests schaut sich ein erfahrener Experte mit einem breiten Wissen im Bereich Usability eine Anwendung systematisch an und macht Vorschläge, wie diese Anwendung optimiert werden kann. Dabei untersucht er, ob die Software mit bestimmten allgemeingültigen Usability-Prinzipien, den sog. Heuristiken, übereinstimmt, und prüft darüber hinaus, ob die Anwendung konkreten, empirisch abgesicherten Richtlinien entspricht.

Die Expertenanalyse ist eine günstige und schnelle Analysemöglichkeit; mit ihr lässt sich tatsächlich ein Großteil der Probleme einer Anwendung identifizieren.

Grenzen von expertenbasierten Tests

Allerdings stößt diese Methode an Grenzen. Studien belegen, dass einerseits nicht die komplette Fehlerquote ausgeschöpft wird und andererseits auch sog. False Positivs generiert werden, der Experte also Phänomene als Probleme identifiziert, die gar keine sind. Letzteres liegt insbesondere daran, dass auch sehr erfahrene Experten nicht in allen Fällen en detail erahnen können, wie echte Nutzer mit der Anwendung interagieren. Dies kann unter Umständen aber dazu führen, dass in Software-Veränderungen investiert wird, die unter Usability-Aspekten eigentlich nicht nötig sind.

Darüber hinaus generieren Expertenanalysen auch bei großer Ausreizung der Möglichkeiten nicht alle Fehlerquellen. Selbst wenn man eine Applikation von mehreren Experten analysieren lässt, findet man „nur“ zwischen 60 und maximal 90% der Probleme. Hier führt die Involvierung von immer mehr Fachleuten nur zu steigenden Kosten, nicht aber zu besseren Ergebnissen.

Um kein Missverständnis aufkommen zu lassen: Ein Fachmann, der über ein hohes Maß an Abstraktionsvermögen verfügt und insbesondere die Heuristiken sinnvoll anwenden kann, wird sehr viele Fehler aufdecken – eine professionelle Expertenanalyse wird immer entscheidend zur Verbesserung der Software beitragen, alle Fehler identifizieren jedoch nicht.

User-Tests: Echte Nutzer, die echte Probleme haben

Mithilfe eines User-Tests lassen sich hingegen bis zu 100% aller tatsächlichen Probleme aufdecken. Im User-Test arbeitet man mit Probanden, die aus repräsentativen Zielgruppen rekrutiert werden. (Bei Tests an Intranet-Anwendungen sind das in der Regel Mitarbeiter des Unternehmens.) Diese Probanden interagieren mit der Anwendung und haben dabei bestimmte Aufgabenstellungen.

Dabei wenden die Teilnehmer die Methode lauten Denkens an: Sie werden vom Moderator angehalten und motiviert, ständig laut zu äußern, was ihnen durch den Kopf geht, was sie über die Anwendung denken, wo sie Probleme sehen und was sie für Verbesserungsvorschläge haben. Auf diese Weise erfährt der Testleiter sehr viel über das System und darüber, wie es verbessert werden kann.

Das entscheidende Argument für einen User-Test: Hier nutzen „echte“ User eine Anwendung, die Beobachter erkennen die „echten“ Fehler, die diese User während der Nutzung machen. Es ist nicht nötig, die angesprochenen Heuristiken auf eine Software anzuwenden, sondern es stellt sich klipp und klar heraus, was an der Anwendung konkret schlecht funktioniert. Diese Probleme können nicht wegdiskutiert werden. Vor allem wenn mehrere User die gleichen Fehler machen, handelt es sich dabei um die wirklichen Schwachstellen der Anwendung und es besteht definitiv Handlungsbedarf.

Überzeugende Ergebnisse in Bild und Ton

Der Ablauf des User-Tests und alle Aktivitäten der einzelnen Teilnehmer werden in Bild und Ton per Video dokumentiert. Aus diesem Material entstehen Highlight-Videos, die dem Kunden im Rahmen der Abschlusspräsentation zur Verfügung gestellt werden. In diesen sehen Kunden „Schwarz auf Weiß“, an welchen Stellen der Applikation die Nutzer scheitern und welche Probleme sie frustrieren:

Video: Beispiel eines Highlight-Videos von //SEIBERT/MEDIA

Die durchführende Agentur muss also den Auftraggeber nicht vom Vorhandensein von Problemen überzeugen, sie sind unmissverständlich und klar ersichtlich. Diese Eindeutigkeit und Hochwertigkeit der Ergebnisse machen den User-Test zur Königsdisziplin der Usability-Forschung.

Oft sind es Kleinigkeiten – häufig an der Oberfläche oder im Prozessablauf – die die User stören und die zu Problemen führen. Der User-Test führt zu detaillierten Ergebnissen: Was muss konkret an welcher Stelle verändert werden, um die Anwendung einfacher und besser zu machen?

Im Idealfall wünschen sich Kunden, dass einfache, überschaubare Änderungen – beispielsweise eine andere Positionierung eines bestimmten Elements, eine zusätzliche Erläuterung, eine kleine Veränderung in der Nutzerführung etc. – große Effekte erzielen. Häufig erfüllen User-Tests genau diese Erwartungen.

Weitere ausführliche Informationen, Hintergründe zu den Abläufen und Kontaktmöglichkeiten finden Sie auf unserer speziellen Seite zum Thema Expertenanalysen und auf unserer Landing-Page über User-Tests.

Weiterführende Informationen

Return on Investment von Usability
Usability-Maßzahlen: Den Erfolg messbar machen
Der Moderator als multiple Persönlichkeit: Drei Rollen bei der Durchführung von User-Tests
Usability-Engineering ist Qualitätssicherung
Die Usability-Website von //SEIBERT/MEDIA/CONSULTING