Der User-Test: Die Königsdisziplin der Usability-Forschung

30. November 2009 von Martin Seibert

Grundsätzlich wünschen sich Auftraggeber, die Usability-Analysen durchführen lassen, eine einfache Anwendung und einen Return on Investment. Dass Usability ein Erfolgsfaktor für Unternehmen ist und einen hohen ROI hat, dürfte kaum jemand noch ernsthaft bestreiten.

Für Intranets hat Jakob Nielsen beispielsweise herausgefunden, dass die Kosten für Usability-Optimierungen das Achtfache an Nutzen in Euro zurückbringen – in einem Unternehmen mit 1.000 Mitarbeitern. Unternehmen mit 10.000 Mitarbeitern können auf das Zwanzigfache und Unternehmen mit mehr als 100.000 Mitarbeitern auf das Fünfzigfache hoffen. (vgl. Nielsen, Jakob; Giluz, Shuli: Usability Return on Investment, 2nd edition. Fremont: Nielsen Norman Group 2007.)

Um die notwendigen Maßnahmen durchführen zu können, muss man möglichst alle Schwachstellen und Problemquellen kennen. Hierfür zahlt sich die Investition in einen User-Test aus, in die klassische Variante und Königsdisziplin der Usability-Forschung.

Expertenanalysen: Schnell und günstig

Grundsätzlich gibt es in der Usability-Forschung zwei unterschiedliche Wege, Daten zu erheben: expertenbasierte Methoden und nutzerbasierte Tests. Bei professionell durchgeführten expertenbasierten Tests schaut sich ein erfahrener Experte mit einem breiten Wissen im Bereich Usability eine Anwendung systematisch an und macht Vorschläge, wie diese Anwendung optimiert werden kann. Dabei untersucht er, ob die Software mit bestimmten allgemeingültigen Usability-Prinzipien, den sog. Heuristiken, übereinstimmt, und prüft darüber hinaus, ob die Anwendung konkreten, empirisch abgesicherten Richtlinien entspricht.

Die Expertenanalyse ist eine günstige und schnelle Analysemöglichkeit; mit ihr lässt sich tatsächlich ein Großteil der Probleme einer Anwendung identifizieren.

Grenzen von expertenbasierten Tests

Allerdings stößt diese Methode an Grenzen. Studien belegen, dass einerseits nicht die komplette Fehlerquote ausgeschöpft wird und andererseits auch sog. False Positivs generiert werden, der Experte also Phänomene als Probleme identifiziert, die gar keine sind. Letzteres liegt insbesondere daran, dass auch sehr erfahrene Experten nicht in allen Fällen en detail erahnen können, wie echte Nutzer mit der Anwendung interagieren. Dies kann unter Umständen aber dazu führen, dass in Software-Veränderungen investiert wird, die unter Usability-Aspekten eigentlich nicht nötig sind.

Darüber hinaus generieren Expertenanalysen auch bei großer Ausreizung der Möglichkeiten nicht alle Fehlerquellen. Selbst wenn man eine Applikation von mehreren Experten analysieren lässt, findet man „nur“ zwischen 60 und maximal 90% der Probleme. Hier führt die Involvierung von immer mehr Fachleuten nur zu steigenden Kosten, nicht aber zu besseren Ergebnissen.

Um kein Missverständnis aufkommen zu lassen: Ein Fachmann, der über ein hohes Maß an Abstraktionsvermögen verfügt und insbesondere die Heuristiken sinnvoll anwenden kann, wird sehr viele Fehler aufdecken – eine professionelle Expertenanalyse wird immer entscheidend zur Verbesserung der Software beitragen, alle Fehler identifizieren jedoch nicht.

User-Tests: Echte Nutzer, die echte Probleme haben

Mithilfe eines User-Tests lassen sich hingegen bis zu 100% aller tatsächlichen Probleme aufdecken. Im User-Test arbeitet man mit Probanden, die aus repräsentativen Zielgruppen rekrutiert werden. (Bei Tests an Intranet-Anwendungen sind das in der Regel Mitarbeiter des Unternehmens.) Diese Probanden interagieren mit der Anwendung und haben dabei bestimmte Aufgabenstellungen.

Dabei wenden die Teilnehmer die Methode lauten Denkens an: Sie werden vom Moderator angehalten und motiviert, ständig laut zu äußern, was ihnen durch den Kopf geht, was sie über die Anwendung denken, wo sie Probleme sehen und was sie für Verbesserungsvorschläge haben. Auf diese Weise erfährt der Testleiter sehr viel über das System und darüber, wie es verbessert werden kann.

Das entscheidende Argument für einen User-Test: Hier nutzen „echte“ User eine Anwendung, die Beobachter erkennen die „echten“ Fehler, die diese User während der Nutzung machen. Es ist nicht nötig, die angesprochenen Heuristiken auf eine Software anzuwenden, sondern es stellt sich klipp und klar heraus, was an der Anwendung konkret schlecht funktioniert. Diese Probleme können nicht wegdiskutiert werden. Vor allem wenn mehrere User die gleichen Fehler machen, handelt es sich dabei um die wirklichen Schwachstellen der Anwendung und es besteht definitiv Handlungsbedarf.

Überzeugende Ergebnisse in Bild und Ton

Der Ablauf des User-Tests und alle Aktivitäten der einzelnen Teilnehmer werden in Bild und Ton per Video dokumentiert. Aus diesem Material entstehen Highlight-Videos, die dem Kunden im Rahmen der Abschlusspräsentation zur Verfügung gestellt werden. In diesen sehen Kunden „Schwarz auf Weiß“, an welchen Stellen der Applikation die Nutzer scheitern und welche Probleme sie frustrieren:

Video: Beispiel eines Highlight-Videos von //SEIBERT/MEDIA

Die durchführende Agentur muss also den Auftraggeber nicht vom Vorhandensein von Problemen überzeugen, sie sind unmissverständlich und klar ersichtlich. Diese Eindeutigkeit und Hochwertigkeit der Ergebnisse machen den User-Test zur Königsdisziplin der Usability-Forschung.

Oft sind es Kleinigkeiten – häufig an der Oberfläche oder im Prozessablauf – die die User stören und die zu Problemen führen. Der User-Test führt zu detaillierten Ergebnissen: Was muss konkret an welcher Stelle verändert werden, um die Anwendung einfacher und besser zu machen?

Im Idealfall wünschen sich Kunden, dass einfache, überschaubare Änderungen – beispielsweise eine andere Positionierung eines bestimmten Elements, eine zusätzliche Erläuterung, eine kleine Veränderung in der Nutzerführung etc. – große Effekte erzielen. Häufig erfüllen User-Tests genau diese Erwartungen.

Weitere ausführliche Informationen, Hintergründe zu den Abläufen und Kontaktmöglichkeiten finden Sie auf unserer speziellen Seite zum Thema Expertenanalysen und auf unserer Landing-Page über User-Tests.

Weiterführende Informationen

Return on Investment von Usability
Usability-Maßzahlen: Den Erfolg messbar machen
Der Moderator als multiple Persönlichkeit: Drei Rollen bei der Durchführung von User-Tests
Usability-Engineering ist Qualitätssicherung
Die Usability-Website von //SEIBERT/MEDIA/CONSULTING

Weitere Informationen zu User-Tests

8 Reaktionen zu diesem Beitrag

  1. Die politische Bedeutung von User-Tests | //SEIBERT/MEDIA Weblog

    [...] User-Test ist das zentrale Instrument zur Ermittlung von Schwächen einer Anwendung und zur Verbesserung der Usability einer Applikation. [...]


  2. User-Tests: Debriefings sind wichtig und haben sich durchgesetzt | //SEIBERT/MEDIA Weblog

    [...] User-Test ist die Königsdisziplin der Usability-Forschung: Beobachtet man echte Nutzer bei der Arbeit mit einer Anwendung, findet man die Usability-Probleme, [...]


  3. User-Tests: Whiteboards erleichtern die Systematisierung und erhöhen die Transparenz | //SEIBERT/MEDIA Weblog

    [...] Usability-Website von //SEIBERT/MEDIA/CONSULTING Der User-Test: Die Königsdisziplin der Usability-Forschung Die politische Bedeutung von User-Tests Return on Investment von Usability Der Moderator als [...]


  4. User-Tests: Die wichtige Vorbereitung und das Aufstellen von Hypothesen | //SEIBERT/MEDIA Weblog

    [...] Der User-Test: Die Königsdisziplin der Usability-Forschung [...]


  5. Webbasiertes Card-Sorting mit WebSort | //SEIBERT/MEDIA Weblog

    [...] User-Tests mit ausführlichen Informationen Expertenbasierte Usability-Analysen bei //SEIBERT/MEDIA Der User-Test: Die Königsdisziplin der Usability-Forschung Wann sind Akkordeon-Effekte auf Websites sinnvoll? Vorheriger Beitrag Dieser Eintrag [...]


  6. //SEIBERT/MEDIA Weblog » Blog Archiv » Usability-Analysen: Die Guided Usability Inspection bei //SEIBERT/MEDIA

    [...] User-Test als Königsdisziplin der Usability-Forschung haben wir an dieser Stelle bereits ausführlich behandelt. Doch nicht jedes Projekt lässt vom [...]


  7. //SEIBERT/MEDIA Weblog » Blog Archiv » Quantitative Usablility-Analysen mit der System Usability Scale (SUS)

    [...] Brooke: SUS – A Quick and Dirty Usability Scale Der User-Test: Die Königsdisziplin der Usability-Forschung Nutzerforschung ist ein separates Projekt Online-Umfragen: Die richtigen Tipps für Skalen [...]


  8. Iterative Softwareoptimierung mit Remote User Tests « Produktmanagement und Vermarktung von Internet-Anwendungen

    [...] somit Usabilityfehler vor Auslieferung der Software noch behoben werden. Die Herausforderung klassischer Usertests: Sie kosten gerne einmal einen fünfstelligen Betrag und sind mit einer ausführlichen Vor- und [...]


Eine Antwort hinterlassen





//SEIBERT/MEDIA besteht aus den vier Kompetenzfeldern Consulting, Design, Technologies und Systems und gehört zu den erfahrenen und professionellen Multimedia-Agenturen in Deutschland. Wir entwickeln seit 1996 mit heute über 65 Mitarbeitern Intranets, Extranet-Systeme, Web-Portale aber auch klassische Internet-Seiten. Seit 2005 konzipiert unsere Designabteilung hochwertige Unternehmensauftritte und kommunikative Konzepte. Beratungen im Bereich Online-Marketing und Usability runden das Leistungsportfolio ab.

Zu unseren teils weltweit agierenden Kunden gehören u.a. Accor, Allianz, Atlas MTT, BAD, Deutsche Klinik für Diagnostik, Deutsche Post, Hitachi, Honda Motor, Hotel InterContinental, Institut Fresenius, Kabel Deutschland, Lufthansa, SAP, SGS AG, STA Travel, StepStone sowie viele andere große und kleine interessante Unternehmen.