SUS-Rechner: die System Usability Scale

Berechnen Sie Ihren SUS-Score

Wie man den SUS-Score deutet

Der SUS-Score liegt zwischen 0 und 100, ist aber kein Prozentwert. 70 Punkte heißen nicht, dass das Produkt zu 70 Prozent gebrauchstauglich ist. Bedeutung bekommt der Score erst im Vergleich mit den Scores anderer Produkte.

Jeff Sauro nennt in einem Text bei MeasuringU von 2011 den Durchschnitt aus 500 Studien: 68. Ein Score über 68 gilt als überdurchschnittlich.

Für eine feinere Lesart nutze ich die Notenskala von Sauro und Lewis. Das Notenband im Rechner stammt aus dieser Tabelle. Das Perzentil zeigt, wie viel Prozent der verglichenen Produkte Ihr Score übertrifft.

Ein Beispiel: Ein Produkt mit 72,5 bekommt die Note C+ und liegt im Perzentil 60 bis 64. Auf dem Papier sieht das nicht schlecht aus. Trotzdem übertrifft mehr als ein Drittel der Produkte diesen Score.

Methode und Formel

John Brooke entwickelte die SUS in einem Usability-Programm bei der Digital Equipment Corporation. Der Copyright-Vermerk der Skala stammt von 1986. Brooke wollte ein Maß, das sich schnell anwenden lässt. Es sollte trotzdem verlässlich genug sein, um Versionen zu vergleichen.

Die 10 Aussagen wählte Brooke aus einem Pool von 50. Die Hälfte bekam meist starke Zustimmung, die andere Hälfte starke Ablehnung. So muss die Person jede Aussage lesen und darüber nachdenken.

Deshalb sind die ungeraden Aussagen positiv formuliert, die geraden negativ.

Brooke beschreibt die Rechnung in vier Schritten:

1. Bei den Aussagen 1, 3, 5, 7 und 9 ist der Beitrag der markierte Wert minus 1.
2. Bei den Aussagen 2, 4, 6, 8 und 10 ist der Beitrag 5 minus der markierte Wert.
3. Jeder Beitrag liegt zwischen 0 und 4. Addieren Sie die zehn Beiträge.
4. Multiplizieren Sie die Summe mit 2,5. Das Ergebnis ist der SUS-Score zwischen 0 und 100.

In Brookes eigenem Beispiel ist die Summe der Beiträge 22. 22 × 2,5 = 55, der Score ist also 55. Im Rechner steht der Beitrag jeder Aussage direkt darunter.

Brooke fügt eine Warnung hinzu. Die Werte einzelner Aussagen sagen für sich nichts. Deuten Sie im Bericht keine Mittelwerte einzelner Aussagen, nennen Sie den einen SUS-Score.

Welche deutsche Fassung?

Für die SUS gibt es mehrere deutsche Übersetzungen. Perrig und Kollegen haben 2024 im International Journal of Human–Computer Interaction zwei davon verglichen: die Fassung von Bernard Rummel (2016) und die von Gao, Kortum und Oswald (2020).

Sie entwickelten außerdem eine Fassung nur mit positiven Aussagen, die SUS-DE-Pos, und prüften alle Fassungen in zwei vorregistrierten Studien. Laut den Autoren erreichten alle vier eine zufriedenstellende psychometrische Qualität. Am besten schnitt die SUS-DE-Pos ab.

Ihre Empfehlung: die SUS-DE-Pos nutzen oder, wenn negative Aussagen gewünscht sind, die Fassung von Rummel. Der Rechner hier nutzt die Fassung von Rummel, weil er nach Brookes Formel mit umgekehrten geraden Aussagen rechnet. Bei der SUS-DE-Pos wird laut den Autoren keine Aussage umgekehrt.

Den Originalbeitrag von Rummel konnte ich nicht öffnen. Die Aussagen stehen deshalb so da, wie Perrig und Kollegen sie in ihren Tabellen abdrucken. Nur in Aussage 9 habe ich „des Produkt“ zu „des Produkts“ korrigiert. Die Antwortskala von „Stimme überhaupt nicht zu“ bis „Stimme vollständig zu“ stammt aus derselben Studie.

Wie man den SUS-Fragebogen anwendet

Geben Sie den Fragebogen, nachdem die Person das System nutzen konnte. Laut Brooke sollte er ausgefüllt werden, bevor ein Nachgespräch beginnt. Ich setze ihn meist ans Ende eines Usability-Tests.

Bitten Sie die Person, bei jeder Aussage ihre erste Reaktion zu markieren. Alle Aussagen müssen ausgefüllt sein. Kann sie eine Aussage nicht beantworten, soll sie laut Brooke die Mitte markieren, also 3.

Der Button „Leere Aussagen mit 3 markieren“ im Rechner macht genau das.

Laut Perrig und Kollegen ersetzt man „das Produkt“ in den Aussagen durch die passende Form von „das System“, „die Website“ oder durch den Namen des Produkts.

Laut MeasuringU lässt sich die SUS schon mit zwei Personen anwenden. Die Schätzung aus einer kleinen Stichprobe ist aber ungenau, berichten Sie den Score deshalb mit einem Konfidenzintervall.

Berechnen Sie den Score jeder Person einzeln und bilden Sie dann den Durchschnitt. Wiederholen Sie denselben Fragebogen bei jeder Version, können Sie Versionen vergleichen. Dafür hat Brooke die Skala gebaut.

Meine Notiz

Die SUS misst, wie Nutzer die Gebrauchstauglichkeit wahrnehmen, sagt aber nicht, warum. Ein Score von 55 zeigt, dass es ein Problem gibt. Welches, finden Sie mit anderen Methoden.

Deshalb nutze ich die SUS nie allein. Im Test beobachte ich die Person und mache Notizen, den Fragebogen setze ich ans Ende. Ist der Score niedrig, suche ich die Gründe in diesen Notizen und in einer heuristischen Evaluation.

Der größte Fehler ist für mich, die SUS an Menschen zu schicken, die das Produkt nie genutzt haben. Der Fragebogen misst die Reaktion von jemandem, der das Produkt gerade benutzt hat. Wer es nie geöffnet hat, rät nur.

Liegt Ihr Score unter 68 und Sie finden den Grund nicht, schaue ich mir mit dem UX Audit Pro jeden Schritt von bis zu 10 Abläufen Ihrer Anwendung an.