Aufgabenerfolgsquote: Was sie misst und wie man sie berechnet

Was die Aufgabenerfolgsquote misst

Diese Metrik beantwortet eine einzige Frage: Konnte die Person die Aufgabe erledigen? Jakob Nielsen und Raluca Budiu beschreiben sie im NN/g-Artikel als die einfachste Usability-Metrik. Sie ist der Anteil der Teilnehmenden, die die Aufgabe abschließen, und wird binär gemessen.

Die Formel lautet: Erfolgsquote = erfolgreiche Teilnehmende / alle Teilnehmenden × 100. Stellen Sie sich vor, Sie geben in einer Banking-App 12 Personen die Aufgabe „Überweisen Sie 500 € an einen gespeicherten Empfänger“. Senden neun das Geld an die richtige Person, liegt die Quote bei 75 %.

Schreiben Sie vor der Messung auf, was als Erfolg gilt. Ein klarer Endpunkt wie „Die Bestätigungsseite wurde geöffnet“ verhindert Diskussionen bei der Auswertung. Wie Sie die Aufgabe formulieren, steht im Ratgeber zum Usability-Test.

Was ist eine gute Quote? Jeff Sauro hat bei MeasuringU 1.189 Aufgaben aus 115 Tests untersucht. An diesen Aufgaben nahmen 3.472 Nutzer teil, die durchschnittliche Abschlussquote lag bei 78 %. Ich sehe diese Zahl als Ausgangspunkt für Vergleiche.

Binärer Erfolg und Teilerfolg

Binär gerechnet ist eine Person entweder erfolgreich oder gescheitert. Diese Strenge wirkt manchmal ungerecht. Ist jemand gescheitert, der das Geld überwiesen, aber den Verwendungszweck leer gelassen hat?

NN/g schreibt deshalb, dass sie manchmal Teilpunkte vergeben. Im Beispiel einer Blumenbestellung gibt es vier Stufen: voller Erfolg, Erfolg mit kleinem Problem, Erfolg mit großem Problem und Scheitern. Ein kleines Problem ist etwa eine fehlende Grußkarte. Ein großes Problem ist ein falsches Lieferdatum oder eine falsche Adresse.

Derselbe Artikel warnt aber auch. Es ist falsch, diesen Stufen Zahlen wie 1, 0,66, 0,33 und 0 zu geben und den Mittelwert zu bilden. Die Zahlen sind nur geordnete Etiketten. NN/g berichtet jede Stufe als eigene Quote mit eigenem Konfidenzintervall.

Die meisten Teams wollen trotzdem eine einzige Zahl. Darum habe ich in den Rechner die Option „Teilerfolg halb zählen“ eingebaut. Stehen beide Zahlen nebeneinander, lässt sich leichter besprechen, woher der Unterschied kommt.

Wofür Sie sich auch entscheiden: Legen Sie das Kriterium für einen Teilerfolg vor dem Test fest. Ein Satz wie „Verwendungszweck leer = Teilerfolg“ reicht. Wird das Kriterium erst nach der Sitzung geschrieben, bewerten zwei Personen dieselbe Aufnahme verschieden, und die Zahl wird zum Streitpunkt.

Rechner: Erfolgsquote und Aufgabenzeit

Rechner für die Aufgabenerfolgsquote

Ergebnisse einer Aufgabe

Teilnehmende

Erfolgreich

Teilweise

Gescheitert

Wie sollen Teilerfolge zählen?

Als gescheitertBinär: Nur voller Erfolg zählt. Halb zählen (0,5)Jeder Teilerfolg zählt als 0,5 Erfolg.

Erfolgsquote

60 %

Voller Erfolg, 95-%-Intervall

31 % bis 83 %

6 / 10 = 60 %. Teilerfolge zählen als gescheitert.

Aufgabenzeiten

Zeiten (Sekunden, durch Kommas getrennt)

Für Dezimalstellen einen Punkt verwenden, etwa 12.5. Das Komma trennt zwei Zeiten.

Anzahl Zeiten

8

Mittelwert

51,9 s

Median

42,5 s

Geo­metrisches Mittel

47,7 s

Da JavaScript ausgeschaltet ist, gelten die Ergebnisse nur für diese Beispielwerte. Die Formeln stehen auf der Seite.

Das Tool speichert und sendet keine Daten. Die Berechnung läuft in Ihrem Browser.

Geben Sie die Zahlen für eine Aufgabe ein. Erfolgsquote und Zeitwerte werden beim Tippen neu berechnet. Das Konfidenzintervall bezieht sich nur auf volle Erfolge.

Die Rechnung von Hand prüfen

Bevor ich dem Ergebnis eines Tools vertraue, rechne ich einige Beispiele von Hand nach. Die drei Beispiele unten können Sie in den Rechner eingeben und die Ergebnisse vergleichen.

Eingabe	Erfolgsquote	Zeiten (s)	Mittelwert / Median
10 Personen: 6 erfolgreich, 2 teilweise, 2 gescheitert	Binär 60 %, halb gezählt (6 + 1) / 10 = 70 %	34, 41, 38, 52, 47, 39, 120, 44	415 / 8 = 51,9; in der sortierten Liste die Mitte zwischen 41 und 44: 42,5
5 Personen: 4 erfolgreich, 0 teilweise, 1 gescheitert	80 %, Intervall grob 36 % bis 98 %	60, 30, 45	135 / 3 = 45; mittlerer Wert 45
20 Personen: 10 erfolgreich, 6 teilweise, 4 gescheitert	Binär 50 %, halb gezählt (10 + 3) / 20 = 65 %	10, 20, 30, 40, 1000	1100 / 5 = 220; mittlerer Wert 30

Sehen Sie sich die Zeiten der ersten Zeile an. Eine von acht Personen brauchte 120 Sekunden. Dieser eine Wert zieht den Mittelwert auf 51,9 Sekunden. Der Median bleibt bei 42,5, das geometrische Mittel bei 47,7 Sekunden.

Die dritte Zeile ist ein extremes Beispiel für Schiefe. Eine einzige Sitzung mit 1000 Sekunden hebt den Mittelwert auf 220. Dabei schafften vier von fünf Personen die Aufgabe in 40 Sekunden oder weniger.

Aufgabenzeit: Mittelwert oder Median?

Die Aufgabenzeit ist die Zeit, die eine Person braucht, um die Aufgabe abzuschließen. Sie ist leicht zu messen. Ein häufiger Fehler beim Berichten ist aber, nur das arithmetische Mittel anzugeben.

Laut Sauro sind Aufgabenzeiten rechtsschief. Manche Nutzer bleiben in der Oberfläche hängen oder arbeiten langsamer. Einige lange Zeiten ziehen den Mittelwert nach oben, und der Mittelwert zeigt nicht mehr die typische Zeit.

Sauros Beispiel zeigt das gut. Der Mittelwert von 100, 101, 102, 103 und 104 Sekunden ist 102. Kommen 200 Sekunden hinzu, steigt der Mittelwert auf 118,33, der Median nur auf 102,5.

Sauros Empfehlung hängt von der Stichprobengröße ab:

• Unter 25 Nutzern verwenden Sie das geometrische Mittel. Laut Sauro schätzt es bei kleinen Stichproben die mittlere Zeit am genauesten. Der Median kann den wahren Wert hier um bis zu 10 % überschätzen.
• Über 25 Nutzern ist der Median eine gute Wahl.

Für das geometrische Mittel nehmen Sie den Logarithmus jeder Zeit, bilden davon den Mittelwert und rechnen das Ergebnis zurück. Von Hand müssen Sie das nicht tun. Der Rechner oben zeigt Mittelwert, Median und geometrisches Mittel nebeneinander.

Was ist mit den Zeiten der Gescheiterten?

Sauro rät, die Zeiten derer, die die Aufgabe nicht schaffen, nicht zu löschen. Beim erneuten Ansehen der Aufnahme kann sich ein Scheitern als Erfolg herausstellen. Mit diesen Zeiten lassen sich drei Messwerte berichten: die Abschlusszeit nur der Erfolgreichen, die Zeit bis zum Scheitern und die gesamte Zeit, die alle mit der Aufgabe verbracht haben.

Ist der Erfolg niedrig, wird diese Unterscheidung wichtig. In Sauros Beispiel schaffen nur 4 von 12 Personen die Aufgabe. Nur die Zeiten dieser vier zu berichten, kann die Effizienz besser darstellen, als sie ist.

Fehlerquote

Ein Fehler ist ein falscher Schritt auf dem Weg zum Ziel. Sauro unterscheidet zwei Arten. Ein Ausrutscher (Slip) ist eine unbeabsichtigte Handlung bei richtigem Ziel, etwa ein Tippfehler. Bei einem Irrtum (Mistake) ist das Ziel selbst falsch. Auch wenn die Person die Aufgabe mit diesem falschen Ziel abschließt, ist das ein Fehler.

Die Fehlerquote lässt sich auf zwei Wegen berechnen:

• Binär: Wer in der Aufgabe mindestens einen Fehler macht, bekommt eine 1, wer keinen macht, eine 0. Sie verlieren Information, aber bei Aufgaben mit wenigen Fehlern kann das reichen.
• Nach Fehlergelegenheiten: Sie teilen alle Fehler durch alle Fehlergelegenheiten. Hat die Aufgabe 5 Fehlergelegenheiten und versuchen es 10 Personen, sind das 50 Gelegenheiten. Bei 5 Fehlern liegt die Quote bei 5 / 50 = 10 %.

Der schwierige Teil ist, die Fehlergelegenheiten vorab festzulegen. In Formularen zähle ich jedes Feld als eine Gelegenheit. So sehen Sie im Formulardesign auch, welches Feld Probleme macht.

Konfidenzintervall bei kleinen Stichproben

Schaffen vier von fünf Personen die Aufgabe, liegt die Erfolgsquote Ihres Produkts nicht bei 80 %. 80 % ist nur das Ergebnis dieser fünf Personen. Wo die wahre Quote liegen kann, sagt das Konfidenzintervall.

Sauro empfiehlt für Abschlussquoten das Adjusted-Wald-Verfahren. Ihm zufolge liefert es bei Stichproben unter etwa 150 die beste Abdeckung. Die Formel addiert z²/2 zu den Erfolgen und z² zu den Teilnehmenden; für 95 % Konfidenz ist z = 1,96.

Mit dieser Formel habe ich 4 von 5 selbst berechnet. Das 95-%-Konfidenzintervall liegt grob zwischen 36 % und 98 %. Die wahre Quote kann also auch unter der Hälfte liegen.

Nielsen empfiehlt im NN/g-Artikel von 2006 für quantitative Studien 20 Nutzer. Bei 90 % Konfidenz liegt die Fehlermarge mit 10 Nutzern bei etwa ±27 % des Mittelwerts, mit 19 Nutzern bei ±19 %. Wie viele Personen welche Studie braucht, steht ausführlich im Ratgeber Wie viele Nutzer testen.

Der NN/g-Artikel zur Erfolgsquote kommt zum selben Schluss. Die meisten Einsichten bringen Tests mit 4–5 Nutzern, die laut denken. Das enge Konfidenzintervall, das Metriken brauchen, liefern diese Tests aber nicht.

Metriken zusammen lesen

Nielsens Artikel über Usability-Metriken von 2001 nennt vier Messgrößen: Erfolgsquote, Aufgabenzeit, Fehlerquote und subjektive Zufriedenheit. Keine davon zeigt allein das ganze Bild.

Ist die Erfolgsquote hoch, die Zeit aber lang, schafft die Person die Aufgabe nur mit Mühe. Ist die Zeit kurz, gibt es aber viele Fehler, drängt der Bildschirm womöglich zur Eile. Wenn Sie für die Zufriedenheit einen Standardfragebogen wollen, nutzen Sie den SUS-Rechner.

Nielsen verwendet im selben Artikel das geometrische Mittel, wenn er Verbesserungen je Aufgabe zu einem Wert zusammenfasst. Die Begründung: Eine einzelne große Zahl soll das Ergebnis nicht verzerren. Er schreibt auch, dass das Addieren der Zeiten einfacher ist, aber irreführen kann, wenn die Aufgaben nicht gleich häufig vorkommen.

Meine Notiz

Der Berichtsfehler, den ich in Audits am häufigsten sehe: Das Ergebnis eines Tests mit fünf Personen geht als „80 % Erfolg“ an die Geschäftsführung. Die Zahl wirkt exakt, niemand fragt nach dem Intervall. Kommt das neue Design sechs Monate später auf 60 %, gerät das Team in Panik, obwohl beide Ergebnisse im selben Intervall liegen.

Meine Regel ist einfach. Bei kleinen Tests nutze ich Zahlen nur als Richtung und schreibe immer das Intervall dazu. Will ich vergleichen, gehe ich auf 20 Personen. Erfolg zähle ich binär und zeige Teilerfolge in einer eigenen Zeile.

Bei der Zeit mache ich es genauso. Den Mittelwert schreibe ich nie allein; ich ergänze Median oder geometrisches Mittel und wie viele Personen gescheitert sind. Eine einzige lange Sitzung reicht, um den Mittelwert zu verzerren.