HEART-Metriken: Googles Framework für UX-Metriken als Tabelle

Ihre HEART-Tabelle erstellen

Wählen Sie ein Beispielprodukt oder beginnen Sie mit einer leeren Tabelle. Schreiben Sie für jede Kategorie das Ziel, das Signal, das es zeigt, und die Metrik, die Sie verfolgen. Kopieren Sie die Tabelle danach als Markdown in Ihr Dokument.

Was ist das HEART-Framework von Google

HEART stammt aus dem Artikel „Measuring the User Experience on a Large Scale“ von Kerry Rodden, Hilary Hutchinson und Xin Fu von Google. Die endgültige Fassung erschien im Tagungsband der CHI 2010. Die Konferenz fand vom 10. bis 15. April 2010 in Atlanta statt.

Zuerst gaben die Autoren den gängigen Metriken einen Namen: PULSE. Das steht für Page views, Uptime, Latency, Seven-day active users und Earnings. Also Seitenaufrufe, Verfügbarkeit, Latenz, 7-Tage-aktive Nutzer und Umsatz.

Laut den Autoren sind diese Messgrößen wichtig, messen die User Experience aber entweder auf zu niedriger Ebene oder nur indirekt. Steigen die Seitenaufrufe einer Funktion, kann das zweierlei heißen. Entweder ist die Funktion wirklich beliebt, oder verwirrte Nutzer suchen einen Ausweg.

Auch die Zahl der 7-Tage-aktiven Nutzer unterscheidet nicht zwischen neuen und wiederkehrenden Nutzern. Laut Artikel kann diese Zahl selbst im schlimmsten Fall, in dem die Nutzer jede Woche komplett wechseln, theoretisch steigen.

HEART wurde gebaut, um diese Lücke zu schließen. Der Artikel stellt es als Framework vor, das PULSE ergänzt.

Fünf Kategorien: Happiness, Engagement, Adoption, Retention, Task success

Die Buchstaben in HEART sind keine Metriken, sondern Kategorien. Jedes Team legt die Metrik, die zu seinem Produkt passt, innerhalb dieser Kategorien selbst fest.

Happiness (Zufriedenheit)

Einstellungsbezogene Messgrößen: Zufriedenheit, visueller Eindruck, Empfehlungsbereitschaft, wahrgenommene Benutzerfreundlichkeit. Im Beispiel des Artikels sah das iGoogle-Team nach einem großen Redesign zuerst einen Rückgang auf der 7-stufigen Zufriedenheitsskala. Der Wert erholte sich mit der Zeit, und das Team behielt das neue Design.

Engagement (Bindung)

Häufigkeit, Intensität oder Tiefe der Interaktion. Das Gmail-Team wählte den Anteil der aktiven Nutzer, die das Produkt in der letzten Woche an mindestens 5 Tagen öffneten. Der Artikel empfiehlt, diese Werte als Durchschnitt je Nutzer statt als Summe zu berichten.

Adoption (Übernahme)

Neue Nutzer, die das Produkt in einem Zeitraum zu nutzen beginnen. Das Beispiel im Artikel ist die Zahl der in den letzten 7 Tagen angelegten Konten.

Retention (Bindung über Zeit)

Nutzer eines Zeitraums, die das Produkt in einem späteren Zeitraum noch nutzen. Beispiel: der Anteil der 7-Tage-aktiven Nutzer einer Woche, die drei Monate später noch aktiv sind.

Task success (Aufgabenerfolg)

Effizienz, Effektivität und Fehlerquote. Das Team von Google Maps testete in einem A/B-Test ein einzelnes Suchfeld statt des doppelten. An den Fehlerquoten sah es, dass sich die Nutzer an das einzelne Feld gewöhnten.

Lesen Sie Adoption und Retention zusammen. Beim Börsencrash im September 2008 schnellten bei Google Finance sowohl die Seitenaufrufe als auch die 7-Tage-aktiven Nutzer nach oben. Mit diesen beiden Messgrößen trennten die Autoren, ob der Anstieg von neuen Nutzern kam oder von bestehenden, die nach ihren Anlagen sahen.

Sie müssen nicht jede Kategorie nutzen. Der Artikel schreibt, dass Engagement in einem Unternehmensprodukt bedeutungslos sein kann, weil Nutzer das Produkt ohnehin für ihre Arbeit öffnen. Für eine einzelne Funktion kann Engagement trotzdem nützlich sein.

Der Button „Leere Zeilen ausblenden“ im Tool bringt diese Entscheidung in die Tabelle.

Goals, Signals, Metrics: Ziel, Signal, Metrik

Die zweite Hälfte von HEART ist ein Prozess. Laut Artikel ist eine Metrik in der Praxis wenig nützlich, wenn sie nicht klar an ein Ziel gebunden ist. Der Prozess läuft in diesen Schritten.

1. Ziel (Goal). Schreiben Sie auf, was das Produkt oder die Funktion für die User Experience erreichen soll. Im Team kann es Meinungsverschiedenheiten geben, dieser Schritt ist der Ort, sich zu einigen. Das Ziel einer Funktion kann vom Gesamtziel des Produkts abweichen. Halten Sie sich in dieser Phase nicht zu sehr mit der Frage auf, ob es messbar ist.
2. Signal (Signal). Was ändert sich am Verhalten oder an der Einstellung der Nutzer, wenn das Ziel erreicht ist? Wählen Sie hier auch die Datenquelle: Logs oder Umfrage? Das Signal sollte sich nur bewegen, wenn die Erfahrung besser oder schlechter wird. Manchmal ist Scheitern leichter zu sehen: abgebrochene Aufgaben, Rückgängig-Aktionen, Frust.
3. Metrik (Metric). Machen Sie aus dem Signal eine Zahl, die sich im Dashboard über die Zeit verfolgen lässt. Absolute Zahlen wachsen mit der Nutzerbasis. Quoten, Prozente oder Durchschnitte je Nutzer sind oft nützlicher.

Die Autoren schreiben, dass sie Framework und Prozess bei Google in mehr als 20 Produkten und Projekten angewendet haben. Der eigentliche Wert liegt für mich darin, dass das Team über das Ziel spricht, bevor es über Metriken spricht.

NPS, SUS und Aufgabenerfolg innerhalb von HEART

HEART schließt andere Messgrößen nicht aus, sondern gibt ihnen einen Platz. Der Artikel zählt Empfehlungsbereitschaft und wahrgenommene Benutzerfreundlichkeit zur Kategorie Happiness. Deshalb sind der NPS-Rechner und der SUS-Rechner ein guter Ausgangspunkt für die Metrik dieser Zeile.

Die Zeile Task success bündelt die klassischen Verhaltensmessgrößen. Wie Sie den Anteil erledigter Aufgaben messen, beschreibe ich im Ratgeber zur Aufgabenerfolgsquote. Vergleichen Sie zwei Versionen, prüfen Sie mit dem A/B-Test-Rechner, ob der Unterschied Zufall ist.

Meine Notiz

Was ich in Audits am häufigsten sehe: Im Dashboard stehen Dutzende Diagramme, aber keines ist an ein Ziel gebunden. Das Team sieht, dass die Seitenaufrufe steigen, kann aber nicht sagen, ob das gut oder schlecht ist. Eine HEART-Tabelle legt diese Lücke im ersten Meeting offen.

Baue ich mit einem Team die erste Tabelle, beginne ich mit zwei oder drei Kategorien. Ein Team, das alle fünf Zeilen füllen will, verfolgt am Ende meist keine. Eine Zeile ohne Ziel aus der Tabelle zu streichen, ist auch eine Entscheidung.

An eine Warnung des Artikels erinnere ich immer: Metriken sollten nicht für sich allein stehen. Die Zahl sagt Ihnen, was sich geändert hat, den Grund liefert ein Usability-Test. Sinkt Ihre Metrik und Sie finden den Grund nicht, kann ich mir mit dem UX Audit Pro jeden Schritt von bis zu 10 Abläufen Ihrer Anwendung ansehen.