Mit wie vielen Nutzern sollten Sie testen? Die 5-Nutzer-Regel

Kurz gesagt

Mit wie vielen Nutzern Sie testen, hängt davon ab, was Sie vom Test wollen. Suchen Sie Probleme, reichen 5 Personen. Wollen Sie eine Zahl verlässlich messen, sind selbst 20 Personen die Untergrenze.

Den Test selbst, also Aufgaben schreiben und Sitzungen leiten, beschreibe ich im Ratgeber zum Usability-Test. Diese Seite schaut nur auf die Stichprobengröße: Woher kommt die 5, und wann führt sie in die Irre?

• Die 5-Nutzer-Regel beruht auf einem Modell. Danach zeigen sich etwa 85 % der Probleme bei den ersten fünf Personen.
• Die Regel funktioniert mit wiederholten kleinen Tests. Sind Ihre Nutzer sehr unterschiedlich oder messen Sie eine Zahl, hilft sie nicht.

Woher kommt die 5-Nutzer-Regel?

Die Regel stammt aus Jakob Nielsens Text „Why You Only Need to Test with 5 Users“ vom 18. März 2000. Nielsen stützt die Zahl auf ein mathematisches Modell, das er 1993 mit Thomas K. Landauer veröffentlichte.

Laut Modell ist die Zahl der mit n Nutzern gefundenen Probleme:

N × (1 − (1 − L)ⁿ)

N ist die Gesamtzahl der Probleme im Design. L ist der Anteil der Probleme, den eine einzelne Person findet. Laut Nielsen liegt der typische Wert von L, als Durchschnitt vieler untersuchter Projekte, bei 31 %.

Warum knickt die Kurve bei 5?

Die erste Person zeigt etwa ein Drittel der Probleme. Die zweite wiederholt einen Teil davon, bringt aber auch neue. Mit jeder weiteren Person steigt die Wiederholung, und neue Befunde werden seltener.

Mit L = 31 % ergibt die Formel für 5 Personen 84,4 %. Nielsen rundet das in seinem Text auf 85 %. Auch den Anfang der Kurve nennt er klar: null Nutzer, null Erkenntnis.

Nielsen schreibt, dass Sie nach der fünften Person Zeit verschwenden. Laut demselben Text braucht es mindestens 15 Nutzer, um alle Probleme zu finden. Diese 15 Personen in einem einzigen Test zu sehen, empfiehlt er trotzdem nicht.

Die eigentliche Empfehlung: 3 × 5

Nielsen empfiehlt, das Budget für 15 Personen auf 3 Tests mit je 5 aufzuteilen. Für ihn ist das Ziel einer Usability-Studie, das Design zu verbessern. Schwächen nur zu dokumentieren, reicht nicht.

Die Probleme aus dem ersten Test beheben Sie. Der zweite Test findet den Großteil der übrigen 15 % und zeigt, ob die Korrekturen wirken. Ein neues Design bringt manchmal auch neue Probleme, und die sehen Sie nur, wenn Sie erneut testen.

Zeichnen Sie die Kurve selbst

Unten können Sie zwei Werte ändern: die Zahl der Nutzer und den Anteil, den eine Person findet. Die gestrichelte Linie ist die Kurve mit Nielsens Durchschnitt von 31 %. Achten Sie darauf, wie weit Ihre eigene Schätzung von dieser Linie abweicht.

Stichprobenrechner

84 %der Probleme gefunden

• Übersehen: 16 %
• Beitrag der zuletzt hinzugekommenen Person: 7 %
• Für 90 % nötig: 7 Personen, für 95 %: 9 Personen

Standardwerte: 5 Nutzer, L = 31 %.

• 1 Pers.31 %
• 2 Pers.52 %
• 3 Pers.67 %
• 4 Pers.77 %
• 5 Pers.84 %
• 6 Pers.89 %
• 8 Pers.95 %
• 10 Pers.98 %
• 12 Pers.99 %
• 15 Pers.99,6 %
• 20 Pers.99,9 %

Die Werte werden mit der Formel 1 − (1 − L)^n von Nielsen und Landauer berechnet und gerundet. Den Bereich 5 bis 60 für L habe ich gewählt. Das Modell nimmt an, dass ähnliche Nutzer das Produkt ähnlich nutzen.

Senken Sie L auf 15 % und lassen Sie 5 Nutzer stehen. Der gefundene Anteil fällt auf etwa 56 %, und für 90 % braucht es 15 Personen. Hier liegen Stärke und Schwäche der Regel: Alles hängt an L.

Schauen Sie auch auf die Zeile „Beitrag der zuletzt hinzugekommenen Person“. Bei L = 31 % bringt die fünfte Person etwa 7 % neuen Anteil, die zehnte etwa 1 %. Genau das ist der abnehmende Ertrag.

Warum ist L nicht in jedem Projekt 31 %?

31 % ist der Durchschnitt vieler Projekte. Das L in Ihrem Produkt kann deutlich davon abweichen. Der Text nennt keine Spanne, wie stark L von Projekt zu Projekt schwankt.

Die Formel hat auch eine Voraussetzung. Laut Nielsen gilt das Modell nur für Nutzer, die einander ähneln und die Website recht ähnlich nutzen. Auf einem Marktplatz erfüllen Käufer und Verkäufer diese Bedingung nicht.

Meine Beobachtung: L sinkt mit der Breite von Produkt und Aufgaben. Teste ich einen einzigen Bezahlablauf, bleiben die Teilnehmenden an denselben Stellen hängen. Teste ich zehn verschiedene Screens eines B2B-Panels, landet jede Person in einer anderen Ecke, und die Probleme überschneiden sich weniger.

Deshalb nutze ich die 5 für einen einzelnen Ablauf und eine einzelne Nutzergruppe. Wird der Umfang breiter, teile ich den Test in Abläufe auf.

Wann reichen 5 Nutzer nicht?

Die eigenen Texte von NN/g ziehen die Grenzen der 5 klar. Die Tabelle unten fasst die Empfehlungen aus drei Texten zusammen.

Art der Studie	Von NN/g empfohlene Zahl	Quelle
Qualitativer Usability-Test (Probleme finden)	5 Nutzer	Nielsen 2000, 2012
Zwei verschiedene Nutzergruppen	3–4 je Gruppe	Nielsen 2000, 2012
Drei oder mehr Gruppen	3 je Gruppe	Nielsen 2000
Quantitative Studie (Messungen wie Zeit, Erfolgsquote)	Mindestens 20	Nielsen 2006, 2012
Card Sorting	Mindestens 15 je Gruppe	Nielsen 2012
Eyetracking, für stabile Heatmaps	39	Nielsen 2012

Verschiedene Nutzergruppen

Richtet sich Ihr Produkt an sehr unterschiedliche Menschen, testen Sie jede Gruppe getrennt. Nielsen empfiehlt bei zwei Gruppen 3 bis 4 Personen je Gruppe, bei drei und mehr Gruppen 3 je Gruppe. Er ergänzt, dass es mindestens 3 Personen braucht, um die Vielfalt innerhalb einer Gruppe zu sehen.

Je mehr Gruppen, desto weniger Personen je Gruppe, weil sich das Verhalten zwischen den Gruppen überschneidet. Haben Sie Personas, beginnen Sie damit, die Gruppen festzulegen. Trennen Sie nur Gruppen, die das Produkt wirklich unterschiedlich nutzen.

Quantitative Studien

Messen Sie die Zeit für eine Aufgabe oder die Erfolgsquote, reichen 5 Personen nicht. Nielsens Text von 2006 empfiehlt für solche Studien 20 Nutzer und begründet das mit dem Konfidenzintervall.

Das Beispiel im Text nutzt ein 90-%-Konfidenzintervall. Bei 10 Nutzern beträgt die Fehlermarge ±27 % des Mittelwerts. Nimmt man von 20 Personen einen Ausreißer heraus und behält 19, sinkt die Fehlermarge auf ±19 %. Nielsen hält dieses Intervall für die meisten Zwecke für ausreichend.

Um die Fehlermarge auf ±10 % zu senken, braucht es Daten von 71 Nutzern. Weil Sie Ausreißer aussortieren, testen Sie mit 76 Personen. Laut Nielsen ist das in fast allen praktischen Projekten Geldverschwendung. Laut demselben Text kostet eine quantitative Studie etwa das Vierfache eines qualitativen Tests mit 5 Personen.

Nielsen empfiehlt, die ersten Studien qualitativ anzulegen. Auch der Vergleich eines Umfragewerts wie des SUS-Scores ist eine Messung. Ein Mittelwert aus wenigen Personen hat eine breite Fehlermarge.

Card Sorting und Eyetracking

Nielsens Text von 2012 empfiehlt für Card Sorting mindestens 15 Nutzer je Gruppe. Card Sorting zeigt beim Aufbau der Informationsarchitektur, wie Nutzer Inhalte gruppieren. Für stabile Heatmaps beim Eyetracking verlangt derselbe Text 39 Nutzer.

Kritik: Faulkner 2003

Die meistzitierte Kritik an der 5-Nutzer-Regel ist der Artikel von Laura Faulkner aus dem Jahr 2003. Er erschien in der Zeitschrift Behavior Research Methods, Instruments, & Computers.

Laut der Zusammenfassung auf PubMed testete Faulkner mit 60 Nutzern. Dann zog sie aus dieser Gruppe zufällige Teilgruppen mit 5 oder mehr Personen. Manche 5er-Gruppen fanden 99 % der Probleme, manche nur 55 %.

Mit mehr Personen wurde der schlechteste Fall besser. Bei 10 Nutzern stieg die niedrigste Fundquote auf 80 %, bei 20 Nutzern auf 95 %.

Widerlegt das Nielsen?

Meiner Meinung nach beantworten beide Studien verschiedene Fragen. Nielsen beschreibt den Durchschnitt: Ein typischer Test mit 5 Personen findet die meisten Probleme. Faulkner zeigt das Risiko: Ein einzelner Test mit 5 Personen kann je nach Glück auch sehr wenig finden.

Nielsens Empfehlung 3 × 5 fängt dieses Risiko teilweise auf. Ein Problem, das in der ersten Runde durchrutscht, zeigt sich in der zweiten oder dritten. Machen Sie dagegen nur einen Test und haken das Produkt als „getestet“ ab, wiegt Faulkners Warnung schwer.

Nielsens Aktualisierung von 2012

Nielsen kam 2012 auf das Thema zurück. Auf einer NN/g-Konferenz fragte er 217 Teilnehmende nach der Praxis in ihren Unternehmen. Die durchschnittliche Antwort waren 11 Nutzer pro Runde. Laut Nielsen ist das mehr als das Doppelte der empfohlenen Zahl.

Derselbe Text lässt Spielraum in beide Richtungen. Bei Projekten mit wenig Overhead können sogar 2 Nutzer pro Studie die beste Zahl sein. NN/g arbeitet in Beratungsprojekten dagegen oft mit etwa 8 Nutzern. Laut Nielsen rechtfertigt der Beratungscharakter ein paar Nutzer mehr.

Der Text korrigiert auch einen Irrtum: Eine große Gesamtzahl an Nutzern ändert die nötige Stichprobe nicht. Auch für eine Banking-App mit Millionen Nutzern sind 5 Personen im qualitativen Test ein gültiger Anfang.

Wie Sie Ihre eigene Zahl wählen

Plane ich einen Test, wähle ich die Zahl nicht aus einer Tabelle. Ich beantworte zuerst die Fragen unten, die Zahl ergibt sich daraus.

Suchen Sie Probleme oder messen Sie eine Zahl? Suchen Sie Probleme, bauen Sie einen qualitativen Test und beginnen Sie mit 5 Personen. Eine Frage wie „Ist der neue Bezahlablauf schneller als der alte?“ beantwortet dagegen nur eine quantitative Studie.

Wie viele verschiedene Nutzergruppen haben Sie? In einer App für Essensbestellungen sehen bestellende Kundschaft und Restaurantpersonal nicht dieselben Screens. Zwei Gruppen heißen zwei kleine Tests.

Was deckt der Test ab? Ein einzelner Ablauf ist ein enger Umfang, die Teilnehmenden bleiben an denselben Stellen hängen. Eine ganze App ist breit. Bei breitem Umfang erhöhen Sie entweder die Zahl der Personen oder teilen den Test in Abläufe.

Gibt es eine nächste Runde? Testen Sie nach den Korrekturen erneut, reichen 5 Personen je Runde. Haben Sie nur eine Chance, denken Sie an Faulkners Befund und erhöhen Sie die Zahl.

Welche Zahl Sie auch wählen, planen Sie ein paar Ersatzpersonen ein. Bei einem Test mit 5 Personen ist eine Person, die nicht kommt, ein Fünftel der Stichprobe.

Meine Notiz

Der häufigste Fehler, den ich in Teams sehe: Es wird gar nicht erst getestet. Die Sorge „Die Ergebnisse sind statistisch nicht signifikant“ verschiebt den ersten Test um Monate.

Um Probleme zu finden, braucht es aber keine Signifikanz. Ein Button, an dem eine Person dreimal hängen bleibt, ist Beweis genug, um ihn zu korrigieren.

Für einen Ablauf beginne ich mit 5 Personen und achte auf zwei Dinge. Zeigen die letzten zwei Teilnehmenden kein neues Problem, höre ich auf und korrigiere. Tauchen noch neue Probleme auf, ist L niedrig. Entweder ist der Ablauf zu breit oder die Teilnehmenden ähneln sich nicht.

Reicht Ihr Budget nicht einmal für eine Testrunde, können Sie mit einer Expertenprüfung beginnen. Eine heuristische Evaluation ersetzt keinen Nutzertest. Aber sie zeigt, welchen Ablauf Sie testen sollten, damit Sie die Zeit der 5 Personen nicht an offensichtliche Probleme verschwenden.

Wollen Sie mehrere Abläufe Ihres Produkts gleichzeitig ansehen lassen: Das UX Audit Pro prüft bis zu 10 Abläufe von Anfang bis Ende. Die Prioritätenliste daraus sagt auch, wo Sie Ihren ersten Test mit 5 Personen ansetzen.