Heuristische Evaluation: was sie ist und wie sie abläuft

Kurz erklärt

Bei einer heuristischen Evaluation gehen Sie eine Oberfläche Screen für Screen durch, mit einer kurzen Liste von Prinzipien in der Hand. Diese Prinzipien heißen Heuristiken: Faustregeln, keine strengen Gesetze.

Jakob Nielsen und Rolf Molich haben die Methode 1990 auf der Konferenz ACM CHI'90 veröffentlicht. Die heutigen 10 Heuristiken hat Nielsen mit Molich genau für diese Methode entwickelt. Ich stelle sie auf der Seite Nielsens 10 Usability-Heuristiken einzeln vor. Hier geht es um die Methode selbst.

Wie Nielsen es beschreibt, ist das Ergebnis eine Liste der Usability-Probleme der Oberfläche. Jedes Problem steht mit der Heuristik, die es verletzt. Das Team bringt diese Liste dann in die Reihenfolge, in der es Probleme behebt.

Eine heuristische Evaluation ist nicht dasselbe wie ein UX-Audit. Ein Audit nutzt diese Methode als Kern und ergänzt Prüfungen zu Flows, Barrierefreiheit, Inhalt und Ladezeit.

Wann sie hilft

Für mich ist die größte Stärke der Methode, dass sie keine Nutzer braucht. Sie rekrutieren niemanden und buchen keine Sitzungen. Sie können sogar starten, wenn es nur einen Prototyp gibt.

Am häufigsten setze ich sie vor einem Nutzertest ein. Räumen Sie zuerst die offensichtlichen Probleme ab, bleiben die Testsitzungen für die feineren.

Auch vor einem Redesign hilft sie. Wer einen Screen neu zeichnet, ohne zu sehen, was kaputt ist, nimmt dasselbe Problem auf den neuen mit.

Der Leitfaden der NN/g zieht hier eine klare Grenze: Die heuristische Evaluation ersetzt keine Nutzerforschung. Sie ergänzt sie und zeigt, wo Sie im nächsten Usability-Test hinschauen sollten.

Wie viele Prüfer Sie brauchen

Die kurze Antwort: drei bis fünf Personen. Der Leitfaden der NN/g von 2023 empfiehlt, dass idealerweise so viele Personen dieselbe Oberfläche unabhängig prüfen. Der Grund ist einfach: Jeder Prüfer übersieht Probleme, egal wie erfahren er ist.

Die Empfehlung stützt sich auf Nielsens eigene Daten. In seinem Artikel „The Theory Behind Heuristic Evaluations“ von 1994 nennt er den Durchschnitt aus sechs Projekten. Darin fand ein einzelner Prüfer im Mittel nur 35 Prozent der Usability-Probleme.

Derselbe Artikel enthält eine Kurve. Sie zeigt, wie der Anteil gefundener Probleme mit jedem weiteren Prüfer steigt, auf Basis des Durchschnitts von sechs Fallstudien. Mit Blick auf die Kurve hält Nielsen etwa fünf Prüfer für vernünftig.

Seine übliche Empfehlung bleibt drei bis fünf. Er schreibt, dass weitere Personen kaum neue Informationen bringen. Das Modell, das vorhersagt, wie viele Probleme mehrere Prüfer finden, haben Nielsen und Landauer 1993 separat veröffentlicht.

Nielsen bringt auch ein Kostenbeispiel. Im Beispielprojekt sind vier Prüfer am wirtschaftlichsten; dort liegt der Nutzen beim 62-Fachen der Kosten. Diese Zahl hängt an den Annahmen dieses Projekts und lässt sich nicht einfach auf Ihres übertragen.

Meine praktische Schlussfolgerung: Der zweite Prüfer ist nach dem ersten die wertvollste Person, die Sie dazunehmen können. Ist das Budget knapp, suchen Sie nicht fünf Leute, aber bleiben Sie auch nicht bei einem. Schon zwei Personen verändern die Liste spürbar.

Warum machen mehrere Personen so viel aus? Nielsen schreibt, dass die Erfahrung aus vielen Projekten zeigt: Verschiedene Menschen finden verschiedene Probleme. Was die eine übersieht, sieht der andere.

Die Sitzung Schritt für Schritt

1. 1. VorbereitenHeuristiken, Umfang, Protokoll
2. 2. Einzelsitzungje 1 bis 2 Stunden, zwei Durchgänge
3. 3. ZusammenführenÄhnliche Befunde in eine Zeile
4. 4. SchweregradJeder bewertet allein, dann Mittelwert
5. 5. NachbesprechungPrioritäten und nächster Schritt

Abbildung: Die Phasen einer heuristischen Evaluation. Die Reihenfolge folgt dem Leitfaden der NN/g und Nielsens Artikeln von 1994.

1. Vorbereiten

Zuerst liest und versteht jeder im Team die Heuristiken. Die NN/g schlägt eine Übungsrunde an einem einfachen Design vor; im Leitfaden ist es eine Wetter-App.

Dann grenzen Sie den Umfang ein. Laut NN/g kann sich eine Evaluation auf eine Aufgabe, einen Bereich des Produkts, eine Nutzergruppe oder einen Gerätetyp konzentrieren. „Gastkauf auf dem Handy“ ist ein guter Umfang.

Zum Schluss legen Sie fest, wo die Befunde notiert werden. Die NN/g nennt drei Wege: das eigene Arbeitsheft, eine Tabelle oder ein digitales Whiteboard wie Miro. In einer Tabelle steht in jeder Zeile eine Beobachtung mit der zugehörigen Heuristik.

2. Einzelsitzung

Jeder Prüfer untersucht die Oberfläche allein. Laut Nielsen dauert eine Sitzung meist ein bis zwei Stunden. Auch die NN/g empfiehlt eine Obergrenze von 1 bis 2 Stunden.

Die Prüfer sehen die Notizen der anderen erst, wenn ihre eigene Arbeit fertig ist. Nielsen will, dass Befunde erst nach allen Evaluationen geteilt werden. So bleibt jede Liste unabhängig.

Nielsen empfiehlt, die Oberfläche mindestens zweimal durchzugehen. In der Beschreibung der NN/g dient der erste Durchgang dem Kennenlernen: Sie erledigen die Aufgabe wie ein Nutzer, bewerten aber noch nichts. Im zweiten Durchgang notieren Sie jedes Element, das eine der Heuristiken verletzt.

Jede Notiz enthält drei Dinge: welche Heuristik verletzt ist, eine kurze Beschreibung des Problems und, wenn Sie wollen, einen Lösungsvorschlag. Auf einem Whiteboard geht das leichter, wenn Sie Notizen direkt an Screenshots kleben.

Nielsen schreibt, dass ein Beobachter dabei sein kann. Er protokolliert die Kommentare des Prüfers und hilft bei der Bedienung des Prototyps, wenn er hakt. Hinweise gibt er nur, wenn der Prüfer offensichtlich nicht weiterkommt.

Eine verletzte Heuristik ist nicht immer ein Problem. Die NN/g erklärt das am Hamburger-Menü auf dem Handy: Weil der Screen schmal ist, ist dieser Kompromiss oft unvermeidlich. Deshalb notiere ich auch, was die Verletzung den Nutzer kostet.

Befunde zusammenführen

Sobald alle ihre Liste fertig haben, kommen die Befunde an einen Ort. Die NN/g schlägt dafür ein Affinitätsdiagramm vor: Ähnliche Befunde werden auf einer physischen oder digitalen Fläche gruppiert.

Danach bespricht das Team diese Gruppen. Der Leitfaden der NN/g nennt fünf Fragen für die Diskussion:

1. Wo sind wir uns einig, wo nicht?
2. Welche Probleme schaden dem Gesamterlebnis am meisten?
3. Welche Probleme könnten den Zielen des Unternehmens am meisten schaden?
4. Welche brauchen mehr Daten, und welche sollten im nächsten Usability-Test Vorrang haben?
5. Was können wir kurz- und langfristig gegen diese Probleme tun?

Beim Zusammenführen folge ich zwei Regeln. Notizen zum selben Screen und zur selben Heuristik werden ein Befund. Eine unklare Fehlermeldung, die auf fünf Screens auftaucht, wird als ein Systemproblem notiert.

Nielsen empfiehlt außerdem eine Nachbesprechung am Ende. Dabei sind die Prüfer, gegebenenfalls der Beobachter und Vertreter des Designteams. Besprochen werden auch mögliche Redesigns und was das Design gut macht.

Ein Beispiel: ein Checkout mit drei Personen

Um die Methode in der Praxis zu sehen, bauen wir ein erfundenes Beispiel. Ein Onlineshop will seinen Gastkauf auf dem Handy prüfen. Es gibt drei Prüfer: eine Designerin, einen Produktmanager und mich.

Zur Vorbereitung lesen alle die Heuristiken, und wir schreiben den Umfang auf: „Auf dem Handy ohne Konto eine Bestellung mit Gutschein abschließen.“ Wir legen eine gemeinsame Tabelle an, aber jeder schreibt auf seinem eigenen Reiter.

Im ersten Durchgang bestellen wir alle drei einmal von Anfang bis Ende, ohne Notizen. Im zweiten halten wir an und vergleichen jeden Screen mit den Heuristiken.

Die Designerin notiert, dass der Gutschein-Fehler ganz oben auf der Seite erscheint und bei heruntergescrolltem Screen nicht zu sehen ist. Der Produktmanager sieht auf demselben Screen etwas anderes: Der Button „Einlösen“ ist aktiv, auch wenn das Gutscheinfeld leer ist. Ich notiere, dass die gewählte Lieferadresse schwer zu erkennen ist.

Beim Zusammenführen legen wir die Tabellen nebeneinander. Der Gutschein-Fehler steht auf zwei Listen, das Adressproblem nur auf meiner. Der aktive Button neben dem Gutscheinfeld bleibt eine Notiz von einer Person.

Dann schicke ich die zusammengeführte Liste an alle drei. Jeder bewertet jeden Befund für sich. Der Gutschein-Fehler bekommt 3, 4 und 3, im Mittel 3,3. Das Adressproblem bekommt 2 und 2.

In der Nachbesprechung kommt der Gutschein-Fehler an die Spitze der Liste. Die Bewertungen weichen etwas ab, aber alle drei sehen darin mindestens ein großes Problem. Im Tool unten können Sie die Tabelle dieses Beispiels selbst verändern.

Wie man einen Befund schreibt

Folgen die Notizen demselben Muster, geht das Zusammenführen glatt. Für jeden Befund frage ich nach:

• Ort: Flow, Schritt und Name des Screens.
• Problem: aus Sicht des Nutzers, in einem Satz.
• Heuristik: welche betroffen ist, mit Nummer.
• Beleg: ein Screenshot oder eine kurze Bildschirmaufnahme.

„Gutscheinvalidierung defekt“ ist eine Notiz für Entwickler. „Der Gutschein-Fehler ist nicht zu sehen“ ist ein Titel, den jeder im Team gleich versteht. Das zählt, weil die Person, die bewertet, das Problem vielleicht gar nicht selbst gefunden hat.

Wie man den Schweregrad bewertet

Der Schweregrad sagt Ihnen, für welches Problem Sie Ihre knappe Zeit zuerst einsetzen. Laut Nielsens Artikel von 1994 verbindet die Bewertung drei Faktoren: Häufigkeit, Auswirkung und Hartnäckigkeit. Dazu kommt bei Nielsen die Wirkung am Markt:

• Häufigkeit: Wie oft tritt das Problem auf?
• Auswirkung: Wie schwer kommen Nutzer darüber hinweg?
• Hartnäckigkeit: Stolpern Nutzer einmal oder jedes Mal?
• Wirkung am Markt: Auch ein leicht zu überwindendes Problem kann schaden, wie gern das Produkt genutzt wird.

Die Skala reicht von 0 bis 4. Unten stehen Nielsens Definitionen, kurz in meinen Worten.

Wert	Name	Bedeutung
0	Kein Problem	Der Prüfer hält das überhaupt nicht für ein Usability-Problem.
1	Kosmetisch	Nur kosmetisch. Muss nicht behoben werden, außer es bleibt Zeit im Projekt.
2	Kleines Problem	Die Behebung hat niedrige Priorität.
3	Großes Problem	Wichtig zu beheben, deshalb hohe Priorität.
4	Katastrophe	Muss vor dem Release behoben werden.

Bewertet wird nicht in der Sitzung. Laut Nielsen gehört die Aufmerksamkeit des Prüfers dort dem Finden neuer Probleme. Deshalb bekommt nach den Sitzungen jeder die Liste aller gefundenen Probleme.

Jedes Problem auf der Liste ist genau beschrieben, wenn nötig mit Screenshot. Diese Beschreibung ist wichtig, weil jeder Prüfer nur einen Teil der Probleme selbst gefunden hat. Jeder bewertet unabhängig von den anderen.

Laut Nielsen dauert die Bewertung etwa 30 Minuten pro Prüfer. Die Werte einer einzelnen Person hält er für zu unzuverlässig; den Mittelwert von drei Prüfern hält er für die meisten praktischen Zwecke für ausreichend.

Nielsen hat auch einen Hinweis zur Release-Entscheidung. Bleiben ein paar Probleme auf Katastrophenniveau, sollte die Oberfläche wahrscheinlich nicht live gehen. Sind alle verbleibenden Probleme kosmetisch, kann ein Release vernünftig sein.

Ausprobieren: Befundtabelle

Das Tool unten bildet den Protokollteil einer Sitzung nach. Wählen Sie den Prüfer, geben Sie den Screen ein und markieren Sie die verletzte Heuristik und den Schweregrad.

Bewertet ein zweiter Prüfer denselben Screen mit derselben Heuristik, wird die Zeile zusammengeführt. Die Tabelle ist nach dem Mittelwert sortiert. Zeilen, die nur eine Person bewertet hat, sind markiert, weil Nielsen der Bewertung einer einzelnen Person nicht traut.

Befundtabelle

Befundtabelle

Unten stehen Beispielbefunde von drei Prüfern. Eigene Befunde hinzufügen geht nur mit JavaScript.

Screen	Heuristik	Bewertungen	Mittelwert	Notiz
Kasse · Schritt 2	9. Hilfe beim Erkennen, Verstehen und Beheben von Fehlern	P1: 3 · P2: 4 · P3: 3 3 Personen	3,3 · Groß	Der Gutschein-Fehler erscheint ganz oben auf der Seite und ist auf dem Handy nicht im Blick.
Kasse · Schritt 1	1. Sichtbarkeit des Systemstatus	P1: 2 · P3: 2 2 Personen	2,0 · Klein	Die gewählte Lieferadresse ist nur durch einen dünnen grauen Rahmen markiert.
Warenkorb	4. Konsistenz und Standards	P2: 1 Eine Person	1,0 · Kosmetisch	Das Löschen-Icon weicht von dem auf anderen Screens ab.

Die Beispielbefunde stammen aus einem erfundenen Checkout, nicht aus einem echten Kundenprojekt. Wählen Sie einen Prüfer, geben Sie den Screen ein, markieren Sie die verletzte Heuristik und den Schweregrad, dann hinzufügen. Bewertungen für denselben Screen und dieselbe Heuristik werden zu einer Zeile zusammengeführt und gemittelt. Die Skala folgt Jakob Nielsens Skala von 0 bis 4.

„In die Zwischenablage“ übernimmt die Tabelle als reinen Text. Sie können ihn in eine E-Mail, ein Ticketsystem oder Ihre Besprechungsnotizen einfügen.

Grenzen der Methode

Sie sagt nicht, warum Nutzer hängen bleiben. Der Prüfer sagt ein Problem anhand einer Heuristik voraus. Echte Nutzer stolpern dort vielleicht nie, oder ganz woanders.

Sie hängt vom Wissen des Prüfers ab. Wer die Heuristiken gerade erst gelernt hat, übersieht ein Problem oder bauscht eine kleine Abweichung auf. Die NN/g empfiehlt die Übungsrunde, damit alle im Team verstehen, was erwartet wird.

Bei großem Umfang zerfasert sie. Die NN/g empfiehlt für große oder komplexe Produkte einen engen Umfang. Eine Evaluation, die mit „die ganze App“ beginnt, schaut am Ende keinen Flow genau genug an.

Sie kann verdecken, was funktioniert. Die Methode sucht nach Problemen; die Liste zählt nur Schwächen. Deshalb schlägt Nielsen vor, in der Nachbesprechung auch die Stärken des Designs zu besprechen. So sinkt das Risiko, dass das Team beim Reparieren etwas kaputt macht, das funktioniert.

Der Schweregrad ist eine Meinung. Der Mittelwert verringert den Fehler einer Person, beseitigt ihn aber nicht. Weichen die Werte stark ab, etwa 0 und 4, besprechen Sie diesen Befund eigens.

Eine Heuristik bewusst zu verletzen, braucht einen Grund. Laut NN/g sollte das selten vorkommen. Stützen Sie den Grund vor einer solchen Entscheidung mit Nutzerforschung.

Meine Notiz

In den meisten Projekten arbeite ich allein. Das ist meine schwächste Stelle bei dieser Methode. Nielsens 35 Prozent habe ich immer im Kopf. Als einzelner Prüfer behaupte ich nicht, alles zu finden.

Ich gleiche das auf zwei Arten aus. Die beiden Durchgänge mache ich an verschiedenen Tagen, damit ich in der zweiten Runde mit etwas mehr Abstand auf das Produkt schaue. Und ich bewerte in einer eigenen Runde, wenn die Liste fertig ist, so wie Nielsen es empfiehlt.

Bin ich mir bei einem Befund nicht sicher, markiere ich ihn klar so. Ich bitte das Team, diesen Befund vor einer großen Entscheidung mit echten Nutzern zu testen. Ist das Produkt größer als ein Flow, teile ich den Umfang in Flows und schaue jeden einzeln an.