Moderierter und unmoderierter Test: welcher, wann?

Der Unterschied zwischen moderiertem und unmoderiertem Test

Der Unterschied ist, ob eine Person aus der Forschung in der Sitzung ist. Beide Arten des Usability-Tests tun dieselbe Arbeit: Sie geben echten Nutzern eine realistische Aufgabe und beobachten ihr Verhalten.

Beim moderierten Test ist die Moderation gleichzeitig mit der teilnehmenden Person in der Sitzung. Amy Schade schreibt im NN/g-Artikel, dass die Moderation nach der Aufgabe Zusatzfragen stellen kann, um ein Problem zu klären. Dieser Test kann im selben Raum stattfinden oder remote per Bildschirmfreigabe.

Beim unmoderierten Test gibt es keine Moderation. Laut Kathryn Whitentons NN/g-Artikel gibt eine Software der Person Anweisungen, zeichnet auf, was sie tut, und kann vorab geschriebene Fragen stellen. Sie sehen sich die Aufzeichnungen später an. Dieser Test findet naturgemäß remote statt.

Es gibt also drei Optionen: moderiert vor Ort, moderiert remote und unmoderiert remote. Der Begriff „Remote-Usability-Test“ umfasst die letzten beiden.

Moderierter Test: vor Ort oder remote?

Schade empfiehlt als allgemeine Regel den Test vor Ort, wenn er möglich ist. Im selben Artikel schreibt sie auch, dass ein Remote-Test besser ist, als gar nicht zu testen. Ist das Budget knapp, sind die Nutzer verstreut oder die Zeit kurz, können Sie remote testen.

Kate Moran und Kara Pernice sehen den moderierten Remote-Test als gute Option, wenn Teilnehmende nicht ins Testlabor kommen können. Laut den Autorinnen ist er oft günstiger und schneller als eine Studie vor Ort. Auch für die Teilnehmenden ist er bequemer.

Der Preis ist die Vorbereitung. Moran und Pernice schreiben, dass der vielleicht größte Nachteil die viele Vorarbeit ist. Ganz vorn steht die Einrichtung des Tools.

Ein Vorteil ist, dass die Person ihren eigenen Computer nutzt. Schade erklärt: Sie sehen die echte Umgebung der Person. Tritt aber ein Problem auf, ist es aus der Ferne schwer zu lösen.

In einer Remote-Sitzung ist auch Schweigen schwerer zu deuten. Schade schreibt, dass eine stille Person verwirrt, abgelenkt oder in den Inhalt vertieft sein kann. Vor Ort lässt sich die Körpersprache leichter lesen.

Wann welcher: die Methodenauswahl

Kurz gesagt: Lautet Ihre Frage „warum“, braucht es eine Moderation; lautet sie „funktioniert es“, meist nicht. Laut Whitenton ist der unmoderierte Test meist deutlich schneller, Ergebnisse können innerhalb weniger Stunden kommen. Auch Rückmeldungen von Dutzenden oder sogar Hunderten Nutzern gleichzeitig sind möglich.

Derselbe Artikel zieht aber zwei Grenzen. Ohne Moderation ist ein früher Prototyp schwer zu testen. Bei Aufgaben, die Vorstellungskraft, Entscheidungen oder emotionale Reaktionen verlangen, verhalten sich Teilnehmende weniger realistisch. Whitenton nennt als Beispiel den Unterschied zwischen Stöbern und tatsächlichem Kaufen.

Die Auswahl unten fasst diese Kriterien in fünf Fragen. Mit jeder Antwort werden die empfohlene Methode und die Wirkung jeder Antwort aktualisiert.

Methodenauswahl

Die Auswahl funktioniert mit JavaScript. Punkte und Begründung jeder Antwort stehen unten im Abschnitt „Die Logik der Auswahl“.

Die Punktetabelle ist meine Vereinfachung. Die Quellen stehen unten. Ihre Antworten werden nirgendwohin gesendet und nicht gespeichert.

Methodenauswahl: Fünf Antworten geben drei Methoden Punkte. Die Methode mit den meisten Punkten wird empfohlen, die Wirkung jeder Antwort steht darunter.

Die Logik der Auswahl

Die Auswahl arbeitet mit einer einfachen Punktetabelle. Jede Antwort gibt jeder der drei Methoden 0, 1 oder 2 Punkte. Die Punkte der fünf Antworten werden addiert, und die Methode mit der höchsten Summe wird empfohlen.

Bei Gleichstand wird zuerst der moderierte Remote-Test empfohlen, dann der Test vor Ort. Den moderierten Remote-Test stelle ich nach vorn, weil er Live-Nachfragen erhält und keine Reise verlangt. Liegt der unmoderierte Test vorn und widerspricht eine Ihrer Antworten dieser Methode, zeigt die Auswahl zusätzlich eine Warnung.

Die Punkte sind meine Vereinfachung. Hier die Tabelle:

1. Was ist Ihre Forschungsfrage?

• Warum bleiben Nutzer hängen?
  Punkte: vor Ort +2, moderiert remote +2, unmoderiert +0. Um den Grund zu verstehen, muss man reden. Die Moderation kann nach der Aufgabe Fragen stellen, die ins Detail des Problems gehen.
• Einige bestimmte Elemente
  Punkte: vor Ort +0, moderiert remote +0, unmoderiert +2. Schade hält den unmoderierten Test für passend, wenn sich die Studie auf einige bestimmte Elemente konzentriert.
• Eine Aufgabe mit Entscheidung oder Gefühl
  Punkte: vor Ort +2, moderiert remote +1, unmoderiert +0. Laut Whitenton verhalten sich Teilnehmende bei solchen Aufgaben ohne Moderation weniger realistisch. Ich bin hier lieber im selben Raum.

2. Wie weit ist der Prototyp?

• Früher oder unvollständiger Prototyp
  Punkte: vor Ort +2, moderiert remote +1, unmoderiert +0. Laut Whitenton ist ein früher Prototyp unmoderiert schwer zu testen. Es braucht jemanden, der den Prototyp erklärt und Teilnehmenden in Lücken weiterhilft.
• Klickbarer Prototyp
  Punkte: vor Ort +1, moderiert remote +2, unmoderiert +0. Leere Stellen kann die Moderation erklären. Weil sich der Prototyp per Link teilen lässt, funktioniert auch eine Remote-Sitzung.
• Live-Produkt
  Punkte: vor Ort +0, moderiert remote +1, unmoderiert +2. Laut Whitenton liefern unmoderierte Studien die besten Ergebnisse bei Live-Websites und -Apps oder bei sehr funktionsreichen Prototypen.

3. Müssen Sie nach der Aufgabe live nachfragen?

• Ja
  Punkte: vor Ort +2, moderiert remote +2, unmoderiert +0. Schade schreibt, dass man im unmoderierten Test keine detaillierten Fragen zu den Handlungen der Person stellen kann.
• Nein
  Punkte: vor Ort +0, moderiert remote +0, unmoderiert +2. Unmoderierte Tools können nach jeder Aufgabe vorab geschriebene Fragen zeigen. Diese Fragen bekommen alle gleich gestellt.

4. Wie sieht es mit Budget und Zeit aus?

• Knapp
  Punkte: vor Ort +0, moderiert remote +1, unmoderiert +2. Laut Whitenton ist der unmoderierte Test meist deutlich schneller. Sitzungen laufen gleichzeitig, Termine müssen nicht abgestimmt werden.
• Mittel
  Punkte: vor Ort +0, moderiert remote +2, unmoderiert +1. Moran und Pernice schreiben, dass der moderierte Remote-Test oft günstiger und schneller ist als eine Studie vor Ort.
• Großzügig
  Punkte: vor Ort +2, moderiert remote +1, unmoderiert +0. Schade empfiehlt als allgemeine Regel den Test vor Ort, wann immer er möglich ist.

5. Wie erreichen Sie die Teilnehmenden?

• Sie sind in derselben Stadt
  Punkte: vor Ort +2, moderiert remote +1, unmoderiert +0. Können Teilnehmende kommen, steht dem Test vor Ort nichts im Weg.
• In anderen Städten oder Ländern
  Punkte: vor Ort +0, moderiert remote +2, unmoderiert +2. Schade empfiehlt Remote-Tests für verstreute Nutzer. Beim unmoderierten Test müssen auch keine Termine über Zeitzonen abgestimmt werden.
• Eine breite Verbraucherzielgruppe
  Punkte: vor Ort +0, moderiert remote +1, unmoderiert +2. Laut Whitenton sind Panels schnell und einfach und passen zu breiten Verbraucherzielgruppen.
• Eine enge Fachzielgruppe
  Punkte: vor Ort +1, moderiert remote +2, unmoderiert +0. Laut Whitenton finden Sie Teilnehmende bei engen Zielgruppen oft selbst. Meiner Meinung nach holt ein Live-Gespräch mit wenigen Personen mehr aus jeder Sitzung heraus.

Warnungen erscheinen in drei Fällen: wenn Sie live nachfragen wollen, wenn Ihr Prototyp früh ist oder wenn die Aufgabe Entscheidung oder Gefühl verlangt. In allen drei Fällen ist der unmoderierte Test noch möglich, aber Sie müssen sorgfältiger vorbereiten.

Aufgaben schreiben: warum es im unmoderierten Test wichtiger ist

Whitenton schreibt es deutlich: Beim Schreiben der Aufgaben scheitern die meisten Forschenden. Im unmoderierten Test kann die Person nicht um Klärung bitten. Deshalb müssen die Aufgaben klarer sein als im moderierten Test.

Whitentons erste Empfehlung: keine fertigen Vorlagenaufgaben aus dem Tool nutzen. Schreiben Sie realistische Aufgaben für Ihr Produkt, die keine Hinweise enthalten. Sagen Sie der Person auch, wann sie aufhören soll.

Wählen Sie auch die Wörter der Nachfragen sorgfältig. Laut Whitenton kann eine breite Frage wie „Wie würden Sie diese Marke beschreiben?“ die Person vom getesteten System wegführen.

Schade sagt dasselbe: Unmoderierte Aufgaben müssen für sich allein verständlich sein und vorher erprobt werden. Eine Pilotsitzung ist hier Pflicht, weil während des Tests niemand da ist, der ein Problem behebt.

Planen Sie beim moderierten Remote-Test auch, wie Sie die Aufgabe übermitteln. Moran und Pernice geben Aufgaben lieber einzeln aus und lassen die Person sie laut vorlesen. Dass die Moderation die Aufgaben vorliest, nennen sie den am wenigsten empfehlenswerten Weg.

Unmoderierte Sitzungen können stiller verlaufen. Schade nennt den Grund: Niemand erinnert die Person daran, ihre Gedanken laut auszusprechen. Schreiben Sie die Anweisung zum lauten Denken deshalb ausdrücklich an den Anfang des Aufgabentexts.

Wie viele Teilnehmende und wie viele Einladungen

Mit wie vielen Personen Sie testen, hängt mehr vom Ziel der Studie ab als von der Methode. Das beschreibe ich gesondert im Ratgeber Wie viele Nutzer testen.

Schade schreibt, dass bei Remote-Studien mehr Teilnehmende nicht erscheinen können als bei Studien vor Ort. Ob eine unmoderierte Sitzung gut lief, wissen Sie außerdem erst, wenn Sie sie angesehen haben. Der Artikel empfiehlt, ein paar Personen mehr einzuladen, als Sie zu brauchen glauben.

Holen Sie Teilnehmende aus einem Panel, gibt es ein weiteres Risiko. Laut Whitenton kann es im Panel „professionelle Testnutzer“ geben. Laden Sie zusätzliche Personen ein und streichen Sie die Daten derer, die die Aufgabe nicht ernsthaft bearbeiten.

Die Wahl des Tools

Eine Marke empfehle ich hier nicht. Laut Whitenton ändern sich Funktionen und Preise der Tools oft.

Schreiben Sie zuerst Ihr Ziel auf und wählen Sie dann die Funktionen, die für dieses Ziel unverzichtbar sind. Probieren Sie das Tool in einem Pilot aus, denn ein Wechsel mitten in der Studie ist teuer.

Ein Tool für unmoderierte Tests muss die Person durch die Sitzung führen und aufzeichnen, was passiert. Für die Auswertung hält Whitenton Tags mit Zeitstempel, den Export von Notizen und das Erstellen von Videoclips für nützlich. Bei quantitativen Studien müssen sich die Rohdaten exportieren lassen.

Für den moderierten Remote-Test reicht ein Videocall-Tool, das Bildschirm und Ton teilt. Moran und Pernice schreiben, dass sich das Tool für Teilnehmende, Beobachter und Moderation leicht einrichten lassen muss. Prüfen Sie früh die Anforderungen an Betriebssystem und Browser.

Schalten Sie die Beobachter stumm. Öffnen Sie ihnen einen eigenen Kanal, in dem sie sich austauschen können.

Mobile Tests brauchen besondere Aufmerksamkeit. Laut demselben Artikel können Tools für mobile Tests Stabilitätsprobleme haben, und es ist schwer, jedes Gerät zu unterstützen.

Unabhängig vom Gerät empfehlen Moran und Pernice einen Tag vor der Sitzung einen 15-minütigen Online-Technikcheck mit der Person. Dabei zeigen Sie weder das eigentliche Produkt noch die Aufgaben.

Kosten und Zeit im Vergleich

Zahlen nenne ich hier nicht. Keine der drei Quellen, die ich geöffnet habe, nennt einen verallgemeinerbaren Wert in Geld oder Tagen. Die Richtung kann ich aber sagen:

• Moderiert vor Ort: Braucht Reisen und einen Raum. Schade schreibt, dass eine Reihe von Online-Studien viel günstiger sein kann als Reisen.
• Moderiert remote: Laut Moran und Pernice ist dieser Test oft günstiger und schneller als einer vor Ort. Zeit kosten die Einrichtung des Tools und der Technikcheck.
• Unmoderiert remote: Laut Whitenton meist der schnellste, Sitzungen laufen gleichzeitig. Die Planung muss aber sorgfältiger sein, weil während der Sitzung niemand das Vorgehen anpassen kann. Bei der qualitativen Auswertung müssen Sie zudem jede Aufzeichnung einzeln ansehen, denn laut Whitenton können mündliche und schriftliche Kommentare der Teilnehmenden irreführend sein.

Meine Notiz

Fragt mich ein Team „Was ist besser?“, frage ich zuerst nach der Forschungsfrage. Lautet sie „Warum springen Nutzer ab?“, beginne ich mit einem moderierten Test. Lautet sie „Findet man den neuen Button?“, reicht ein unmoderierter Test.

Sie können beide Methoden auch nacheinander nutzen. Einige moderierte Sitzungen zeigen die Probleme und den richtigen Aufgabentext. Dieselben Aufgaben geben Sie danach unmoderiert an mehr Personen.

Haben Sie kein Testbudget, bestimmen Sie zuerst den riskantesten Ablauf. Ein UX Audit Pro, das das ganze Produkt von Anfang bis Ende prüft, zeigt, für welchen Ablauf sich der Test lohnt.