Card Sorting und Tree Test: das Menü nach den Nutzern bauen

Was ist Card Sorting

Beim Card Sorting steht auf jeder Karte der Name eines Inhalts Ihrer Website. Teilnehmende sortieren die Karten in Gruppen, die ihnen sinnvoll erscheinen, und benennen die Gruppen. Aus diesen Gruppen leiten Sie ab, wie Ihr Menü aussehen könnte.

Ziel ist, das mentale Modell der Nutzer zu sehen. Teams ordnen Inhalte oft nach dem Organigramm, Nutzer suchen nach der Frage in ihrem Kopf. Card Sorting macht den Unterschied zwischen diesen beiden Ordnungen sichtbar.

Der NN/g-Artikel von Samhita Tankala und Katie Sherwin aus dem Jahr 2024 teilt die Arbeit in vier Schritte. Zuerst bereiten Sie die Karten vor, dann bitten Sie die Teilnehmenden, die Karten zu gruppieren und die Gruppen zu benennen. Im letzten Schritt werten Sie die Daten aus.

Teilnehmende bilden zuerst die Gruppen und vergeben erst danach die Namen. Diese Reihenfolge drängt sie nicht in fertige Kategorien.

In Sitzungen vor Ort nutzt man Papierkarten, in Remote-Studien Online-Tools. Laut NN/g sind Remote-Studien verbreiteter, weil das Tool die Gruppen selbst zusammenfasst.

Welche Inhalte werden zu Karten? Beginnen Sie mit den Inhalten, die Nutzer am häufigsten suchen. Protokolle der Website-Suche und Fragen an den Kundenservice liefern eine gute erste Liste.

Jede Karte beschreibt einen einzigen Inhalt und ist kurz. Schreiben Sie den Kartennamen so, dass er den Inhalt selbst beschreibt, nicht wie ein Menülabel.

Card Sorting ist der Forschungsteil der Arbeit an der Informationsarchitektur. Es kommt, bevor Menü und Kategorienamen festgelegt werden.

Offenes, geschlossenes und hybrides Card Sorting

Es gibt drei Arten. Der Unterschied liegt darin, wer die Gruppen bildet.

Art	Gruppen	Wann
Offen	Teilnehmende bilden und benennen sie selbst.	Wenn Sie wissen wollen, wie Nutzer über die Inhalte denken.
Geschlossen	Sie geben sie vor, Teilnehmende ordnen die Karten zu.	Wenn die Gruppennamen feststehen und Sie sehen wollen, wo die Inhalte landen.
Hybrid	Einen Teil geben Sie vor, Teilnehmende können neue hinzufügen.	Wenn Sie sich bei ein, zwei Gruppen wirklich sicher sind.

Beim offenen Card Sorting sehen Teilnehmende keine fertigen Kategorien. Sie bilden die Gruppen selbst und benennen sie mit eigenen Worten. Diese Namen sind gutes Rohmaterial für Menülabels.

Beim geschlossenen Card Sorting geben Sie die Kategorien vor, Teilnehmende ordnen nur die Karten zu. Manche Teams nutzen das, um ein bestehendes Menü zu bestätigen. NN/g empfiehlt für die Bewertung von Menükategorien aber den Tree Test.

Hybrides Card Sorting mischt beides, und NN/g rät meist davon ab. Die Begründung: Vorgegebene Kategorien drängen Teilnehmende dazu, Gruppen mit ähnlicher Struktur zu bilden. Infrage kommt es nur, wenn Sie sich bei ein, zwei Kategorien wirklich sicher sind.

Dazu kommt die Form der Sitzung. In einer moderierten Sitzung sitzt jemand aus der Forschung dabei und kann fragen: „Warum haben Sie das hierhin gelegt?“ In einer unmoderierten Studie nutzen Teilnehmende das Tool allein.

Wollen Sie qualitative Einsichten, wählen Sie moderierte Sitzungen. Für Zahlen eignet sich eine unmoderierte Studie besser.

Ausprobieren: Mini-Card-Sorting

Unten stehen acht Inhalte einer fiktiven Stadt-Website. Die Gruppen gebe ich vor, es ist also ein geschlossenes Card Sorting. Wählen Sie für jede Karte eine Gruppe; sind alle acht zugeordnet, vergleicht eine Übersicht Ihre Gruppierung mit meiner.

Mini-Card-Sorting

Gruppen: Bezahlen, Anträge, Stadtleben.

1. Grundsteuer

2. Apotheken-Notdienst

3. Baugenehmigung

4. Anwohnerparkausweis

5. Veranstaltungen im Kulturzentrum

6. Abwassergebühren

7. Trauungstermin

8. Busfahrplan

Meine Gruppierung: Bezahlen: Grundsteuer, Abwassergebühren. Anträge: Baugenehmigung, Anwohnerparkausweis, Trauungstermin. Stadtleben: Apotheken-Notdienst, Veranstaltungen im Kulturzentrum, Busfahrplan.

8 Inhalte einer fiktiven Stadt-Website als geschlossenes Card Sorting. Die Gruppen gebe ich vor, Sie ordnen die Karten zu. Sind alle acht Karten zugeordnet, erscheint eine Übersicht, wie viele Karten in derselben Gruppe liegen wie bei mir. Meine Gruppierung ist keine richtige Antwort, sondern ein Vergleichspunkt. Die Kartennamen teilen kein Wort: NN/g schreibt, dass Karten mit demselben Wort nach dem Wort gruppiert werden.

Achten Sie auf die Karte „Anwohnerparkausweis“. Für den Ausweis zahlen Sie, aber zuerst beantragen Sie ihn, beide Gruppen lassen sich also vertreten.

In einer echten Studie sind solche Karten der wertvollste Befund. Ein Inhalt, bei dem sich die Teilnehmenden aufteilen, verdient im Menü womöglich Links von zwei Stellen.

Was ist ein Tree Test

Ein Tree Test prüft Ihren Menübaum ohne visuelles Design und ohne Inhalte. Teilnehmende sehen nur die Kategorienamen. Sie geben eine Aufgabe wie „Sie möchten die Grundsteuer für Ihr Haus bezahlen“, und die Person klickt sich durch den Baum, um die richtige Stelle zu finden.

Nach Page Laubheimer von NN/g misst der Tree Test, ob wichtige Inhalte in der Kategorienstruktur gefunden werden. Er zeigt auch, ob die Labels verstanden werden.

Hinweise wie Farbe und Seitenlayout fließen nicht ein. So bestimmen allein Struktur und Wörter das Ergebnis.

Den Baum vorbereiten. Schreiben Sie nicht nur das obere Menü auf. Fügen Sie jeden Zweig bis zur untersten Ebene hinzu, auf der der gesuchte Inhalt liegt. Laubheimer empfiehlt dafür eine Tabelle: die Startseite in die erste Zelle von Spalte A, die Unterebenen in die Spalten rechts daneben, eine Kategorie je Zeile.

Die Aufgaben schreiben. Verwenden Sie in der Aufgabe nicht das Wort aus dem Menülabel, sonst verraten Sie die Antwort. Steht im Menü „Abwassergebühren“, könnte die Aufgabe lauten: „Sie haben einen Bescheid der Stadt für das Schmutzwasser bekommen und möchten den Betrag überweisen.“

Halten Sie das Szenario kurz, denn in einer langen Geschichte übersehen Teilnehmende Details. Stellen Sie eine leichte Aufwärmaufgabe an den Anfang und legen Sie die richtige Antwort jeder Aufgabe vorab fest.

Was Sie messen. Die Erfolgsquote ist der Anteil der Teilnehmenden, die die richtige Stelle finden. Die Direktheit (Directness) ist der Anteil derer, die ohne Umkehren dorthin gelangen. Dazu kommen Aufgabenzeit und erster Klick.

Wann welche Methode

Kurz gesagt: Card Sorting erzeugt Struktur, der Tree Test prüft sie. Laubheimer beschreibt Card Sorting als generative Methode und hält es nicht für besonders geeignet, eine Menühierarchie zu bewerten. Er empfiehlt, eine aus Card Sorting entstandene Hierarchie immer zu testen.

Ihre Frage	Methode
Wie gruppieren Nutzer diese Inhalte im Kopf?	Offenes Card Sorting
Werden die Menülabels verstanden, wird das Gesuchte gefunden?	Tree Test
Ist das neue Menü besser als das alte?	Tree Test mit zwei Bäumen, je Baum eigene Teilnehmende
Warum haben Nutzer diese Gruppen gebildet?	Einige moderierte Card-Sorting-Sitzungen
Funktionieren Layout und visuelle Hinweise?	Usability-Test

Die Reihenfolge ist meist diese. Zuerst sammeln Sie mit offenem Card Sorting die Gruppen und Wörter der Nutzer. Daraus bauen Sie einen oder zwei Entwürfe für den Baum.

Dann prüfen Sie mit dem Tree Test, in welchem Entwurf Inhalte leichter gefunden werden. Erst danach geht es an die Wireframes.

Zu Beginn eines Redesigns können Sie auch das bestehende Menü mit einem Tree Test prüfen. Laubheimer empfiehlt das als Vergleichspunkt. Es zeigt, bei welchen Aufgaben es hakt, und erlaubt Ihnen später zu belegen, wie viel die neue Struktur verbessert.

Der Tree Test hilft auch, sich nicht an der Zahl der Klicks festzubeißen. Die 3-Klick-Regel sieht Tiefe als Problem. Im Tree Test ist die eigentliche Frage, ob die Person bei jedem Schritt den richtigen Zweig wählt, und die Direktheit macht das zu einer Zahl.

Wie viele Teilnehmende braucht man

Card Sorting. Der NN/g-Artikel von 2024 empfiehlt für eine qualitative Studie mindestens 15, für eine quantitative mindestens 30–50 Teilnehmende. Für die Zahl der Karten empfiehlt er ebenfalls 30–50.

Sind es mehr als 50 Karten, bilden Teilnehmende womöglich eine große Gruppe „Sonstiges“. Dann können Sie nicht unterscheiden, ob die Person verwirrt oder müde war.

Hinter der Zahl 15 stehen Daten. Jakob Nielsen berichtete 2004 über eine Studie von Tom Tullis und Larry Wood. Die beiden zogen aus den Ergebnissen von 168 Nutzern zufällig kleinere Stichproben.

Mit 5 Nutzern korrelierten die Ergebnisse nur zu 0,75 mit den vollständigen Daten. Bei 15 Nutzern stieg der Wert auf 0,90, bei 30 auf 0,95. Nielsen empfiehlt daher 15 Nutzer und hält 30 bei großen Projekten mit Budget für vernünftig.

Diese Empfehlung unterscheidet sich von der Regel, mit 5 Nutzern zu testen. Ein Usability-Test bewertet, und große Probleme zeigen oft schon wenige Personen.

Card Sorting ist dagegen generativ. Wie Menschen Begriffe ordnen und welche Wörter sie nutzen, unterscheidet sich stark, darum braucht es mehr Personen.

Tree Test. Laubheimer nennt keine feste Zahl. Für einen qualitativen Tree Test genügen ihm zufolge wenige Teilnehmende, ein quantitativer braucht eine größere Stichprobe. Vergleichen Sie zwei oder mehr Bäume quantitativ, brauchen Sie meist mehr als 50 Teilnehmende je Baum.

Weisen Sie beim Vergleich zweier Bäume jedem Baum eine eigene Gruppe zu und nutzen Sie in beiden dieselben Aufgaben. Laubheimer empfiehlt diesen Aufbau, bei dem jede Person nur eine Version des Baums sieht.

Wie Sie die Ergebnisse lesen

Beim Card Sorting fassen Online-Tools die Ergebnisse für Sie zusammen. Eine der wichtigen Ansichten ist die Ähnlichkeitsmatrix, die zeigt, wie oft zwei Karten zusammen liegen. Karten, die oft zusammen liegen, sind Kandidaten, auch im Menü nebeneinander zu stehen.

Zahlen sagen, was zusammengehört, aber nicht warum. NN/g empfiehlt für qualitative Einsichten moderierte Sitzungen, weil dort Rückfragen möglich sind. Die Begründung in den Worten der Teilnehmenden hilft Ihnen bei der Wahl der Gruppennamen.

Beim Tree Test lesen Sie die Erfolgsquote nicht allein. Laubheimer zitiert dazu Daten von Albert und Tullis aus 98 Studien, in denen der Median des Aufgabenerfolgs bei 62 % liegt.

Nach dieser Einteilung gelten Werte unter 40 % als schwach, 61–80 % als gut und über 90 % als ausgezeichnet. Für kritische Aufgaben liegt das Ziel idealerweise über 90 %.

Ist der Erfolg hoch, die Direktheit aber niedrig, finden Teilnehmende die Stelle, aber auf Umwegen. Sind die ersten Klicks richtig, der Erfolg aber niedrig, ähneln sich die Unterkategorien, und Sie müssen die Labels klarer trennen.

Verteilen sich die ersten Klicks auf mehrere Bereiche, gehört der Inhalt womöglich in mehr als eine Gruppe. Wiederholt sich das über mehrere Aufgaben, sollten Sie die Hauptordnung überdenken.

Wurde ein Inhalt in zwei Kategorien gesucht, ist es verlockend, ihn an beiden Stellen zu platzieren. Laubheimer ist dabei vorsichtig und empfiehlt das nur, wenn aus beiden Oberkategorien ein nennenswerter Teil der Teilnehmenden dort sucht.

Entscheiden Sie anhand der Daten zu den Zielorten. Wird eine der richtigen Stellen selten gewählt, entfernen Sie diesen zweiten Link.

Tree-Testing-Tools berechnen meist nicht, ob der Unterschied zwischen zwei Bäumen signifikant ist. Laubheimer schreibt, dass Sie diese Rechnung selbst machen müssen. Rechnen Sie den Signifikanztest, bevor Sie einen kleinen Unterschied als „Das neue Menü hat gewonnen“ präsentieren.

Häufige Fehler

Gemeinsame Wörter in Kartennamen. Karten wie „Grundsteuer bezahlen“ und „Abwassergebühren bezahlen“ gruppieren Teilnehmende womöglich nach dem Wort „bezahlen“ statt nach dem Inhalt. NN/g empfiehlt deshalb, dasselbe Wort auf verschiedenen Karten zu vermeiden.

Das Ergebnis des Card Sortings direkt zum Menü machen. Card Sorting liefert nur Gruppen auf einer Ebene, keine Unterkategorien. Prüfen Sie die Struktur mit einem Tree Test, bevor sie live geht.

Zu viele Karten. NN/g empfiehlt 30–50 Karten, um Ermüdung zu vermeiden. Testen Sie die Karten zuerst als Pilot mit einer kleinen Gruppe und stellen Sie sicher, dass die Zahl passt und die Labels verständlich sind.

Aufgaben mit den Wörtern des Teams. Steht das Menülabel selbst in der Aufgabe, gleichen Teilnehmende nur Wörter ab. Dann messen Sie nicht die Auffindbarkeit.

Nur unmoderiert arbeiten. Laubheimer empfiehlt zumindest einige moderierte Pilotsitzungen. Dort fallen Unklarheiten im Aufgabentext auf, bevor Sie die eigentlichen Daten sammeln.

Meine Notiz

Das häufigste Problem der Informationsarchitektur, das ich in Audits sehe: Das Menü bildet die interne Struktur der Organisation ab. Auf einer Stadt-Website stehen Ämternamen im Menü, bei einer Bank die Namen der Produktteams. Nutzer aber fragen sich: „Wo bezahle ich meine offene Rechnung?“

Für kleine Teams passt eine vollständige Card-Sorting-Studie nicht immer. Dann empfehle ich zuerst einen kurzen Tree Test des bestehenden Menüs. Fünf, sechs Aufgaben und einige moderierte Sitzungen zeigen meist, wo das Menü bricht.

Karten wie „Anwohnerparkausweis“ in der Demo zähle ich zu den Befunden. Ein Inhalt, bei dem sich die Teilnehmenden aufteilen, sorgt sehr wahrscheinlich auch im Team für Diskussionen. Diese Diskussion mit Daten zu klären, geht schneller als im Meeting.

Diese Methoden prüfen nicht den Bildschirm selbst. Ein Menü kann im Baum gut funktionieren und auf dem Smartphone schlecht aussehen, deshalb teste ich das Design nach der Struktur noch einmal mit echten Nutzern.