Die Methode der Untersuchung der Usability mit Hilfe von Probanden ist nicht nur für die Identifikation von Defiziten sondern auch für Sensibilisierung und Schulung der Tester wichtig. Das Beobachten von Usern im Umgang mit Webseiten eröffnet den Testern ganz neue Perspektiven und schult diese, Fehler zu erkennen, die für erfahrene User unvorstellbar sind.
Zwei Methoden der userbasierten Evaluation haben sich für bestehende Websites bewährt:
Thinking aloud (Lautes Denken)
Bei dieser Technik werden den Probanden Aufgaben gestellt, die auf der zu evaluierenden Website zu lösen sind. Der Testleiter regt den Probanden immer wieder an, ihm seine Eindrücke und Handlungen während der Evaluation mitzuteilen. Auf diese Art können mentale Modelle aufgedeckt werden, nach denen Websitebesucher vorgehen, um dort Probleme zu lösen oder Ihr Ziel zu erreichen.
Teaching back (constructive interaction)
Dieser Test ist von zweistufiger Natur. Im ersten Schritt bekommt ein Teil der Probanden die Aufgabe, sich mit der Website vertraut zu machen. In einem zweiten Schritt müssen diese Probanden weiteren Teilnehmern die Funktionalität der Website erklären. Der Erfolg dieser gegenseitigen Schulung hängt direkt von der Verständlichkeit des Systems ab.
Welche Defizite können aufgedeckt werden?
Usertests decken beispielsweise Verständnisprobleme auf, die aufgrund unstrukturierter Navigation oder schlechtem Wording auftreten. Übersehen die Probanden Elemente, geraten ins stocken oder wissen gar nicht mehr weiter, ist das ein starkes Indiz für einen schwere Defizite. Diese Defizite können zu völligem Orientierungsverlust auf einer Website führen.
Auch werden bei Tests oft technische Probleme aufgedeckt, die beispielsweise durch Fehleingaben von Besuchern produziert werden.
Die Vorgehensweise bei der userbasierten Evaluation gliedert sich in folgende Arbeitsschritte:
- Testvorbereitung
- Probandenacquise
- Testdurchführung:
- Testauswertung
- Reporting
Testvorbereitung
Egal für welche Testform man sich entscheidet, für die Beurteilung des beobachtetenn Verhaltens von Probanden auf Websites und für die Ausarbeitung von Aufgabenstellungen ist die Vertrautheit der Tester mit der zu untersuchenden Website entscheidend. Es müssen typische Aufgabenstellungen identifiziert und die optimalen Wege dorthin spezifiziert werden. Der Grad der Abweichung von diesem Weg kann später als Maßstab für den Erfolg dienen.
Probandenacquise
Wichtig für die Auswahl der Probanden ist ihre Zugehörigkeit zur Zielgruppe der Website und Ihre Unabhängigkeit vom Website betreibenden Unternehmen. Management und Mitarbeiter sind befangen im Umgang mit ihrer Website, da diese mit Firmenkultur, Fachjargon und der Website selbst vertraut sind. Somit ist kein objektives Bild möglich. Die einfachste Art der Probandenacquise ist das ansprechen von Personen auf der Strasse. Für eine relativ geringe Entlohnung sind viele Leute bereit, 2-3 Stunden für Ihren Test ihrer Zeit zu opfern.
Testdurchführung
In der Regel führen zwei Tester den Test durch. Ein Tester setzt sich zum Probanden, spricht mit ihm und regt ihn an, Kommentare darüber abzugeben, was gerade in ihm vorgeht und was er gerade tut. Der zweite Tester sitzt in größerer Entfernung oft am Monitor, um die „Prüfungssituation“ für den Probanden nicht zu verstärken. Für den Probanden stellt der Test meist eine Prüfungssituation dar, in der er naturgemäß nervös ist und Erwartungsdruck verspürt. Aus diesem Grund sollten die Tester den Probanden freundlich begegnen, und durch die Schaffung einer angenehmen, vertrauten Atmosphäre die Entspannung des Probanden bewirken.
Der erste Test sollte ein Vortest sein, um den Probanden mit der Technik und dem Verfahren vertraut zu machen. Erst danach sollten die eigentlich definierten Aufgaben durchgeführt werden.
Im Anschluss an den Test sollte der Proband nochmals zu seinen Erfahrungen und zu seinen Eindrücken befragt werden. Auch das liefert erneut wichtige Erkenntnisse, aus denen konkrete Optimierungspotentiale abgeleitet werden können.
Testauswertung und Reporting
Im Anschluss an den Test wird das Videomaterial ausgewertet, das optimalerweise synchron sowohl die aktuelle Situation auf der Website, als auch Mimik und Gestik des Probanden wiedergibt. Die Ergebnisse werden mit den Eindrücken und Kommentaren des Probanden und der Befragung verglichen, anschließend diskutiert und die Ergebnisse erfasst. Mit den Ergebnissen der übrigen Probanden ergibt sich ein Gesamtbild, dass in einem Reporting zusammengefasst wird.
Weitere Usertests
Während der Planungs- bzw. Entwicklungsphase im Usability Engineering gibt es weitere Usertests, die die Schaffung von Usability sicher stellen können und in frühen Phasen bereits grobe Missstände aufdecken können:
- Card Sorting
- Fokusgruppen
Bewertung:
Vorteile:
- Bei großer Anzahl Probanden ergibt sich ein repräsentatives Ergebnis
- Bereits eine geringe Anzahl von Probanden deckt grobe Mängel auf
Nachteile:
- Ungewohnte Umgebung
- Besucher sagen nicht zwangsläufig, was sie denken weil sie entweder nett sein möchten oder denken, dass die Tester positives Feedback erwarten