A/B-Test-Rechner: Ist das Ergebnis signifikant?

Rechner für die Signifikanz eines A/B-Tests

Was ist ein A/B-Test?

Bei einem A/B-Test werden die Besucher zufällig in zwei Gruppen geteilt. Gruppe A sieht die aktuelle Version, Gruppe B die geänderte. Danach vergleicht man die Conversion-Rate beider Gruppen.

Was als Conversion zählt, legen Sie fest, etwa eine Registrierung oder ein Kauf. In einem Checkout ist es meist die abgeschlossene Bestellung.

Zwei Raten sind fast nie gleich. Die eigentliche Frage ist, ob der Unterschied echt oder Zufall ist. Der Rechner beantwortet sie mit dem Z-Test für zwei Anteile.

So wird gerechnet

Der Rechner nutzt die Formeln aus dem Wikipedia-Artikel zum Z-Test für zwei Anteile (Two-proportion Z-test). Gruppe A habe n_A Besucher und x_A Conversions, Gruppe B entsprechend n_B und x_B.

1. Conversion-Raten: p_A = x_A/n_A und p_B = x_B/n_B.
2. Gepoolte Rate: p̄ = (x_A+x_B)/(n_A+n_B). Der Test nimmt an, dass es zwischen den Versionen keinen Unterschied gibt. Deshalb fasst er beide Gruppen zu einer Rate zusammen.
3. Standardfehler: SE = √(p̄(1−p̄)(1/n_A+1/n_B)).
4. Teststatistik: z = (p_B−p_A)/SE.
5. Zweiseitiger p-Wert: 2 × (1 − Φ(|z|)). Φ ist die Verteilungsfunktion der Standardnormalverteilung.

Um Φ im Browser zu berechnen, nutze ich eine der Näherungen von Abramowitz und Stegun. Sie berechnet die Fehlerfunktion (erf) mit einem Fehler von höchstens 1,5 × 10⁻⁷. Zur Normalverteilung kommt man über Φ(z) = ½(1 + erf(z/√2)).

Für das Konfidenzintervall wird nicht die gepoolte Rate genommen, sondern die Varianz jeder Gruppe einzeln.

(p_B−p_A) ± 1,96 × √(p_A(1−p_A)/n_A + p_B(1−p_B)/n_B).

Für den relativen Unterschied wird (p_B−p_A)/p_A berechnet und auf der Seite in Prozent gezeigt.

Weil beide Rechnungen einen anderen Standardfehler nutzen, können ihre Ergebnisse leicht abweichen. Das Beispiel bei Wikipedia ist ein Grenzfall: 1.000 Besucher pro Gruppe, in der einen 120, in der anderen 150 Conversions. Der p-Wert liegt bei etwa 0,0497, also knapp unter 0,05, und das Konfidenzintervall schließt die Null nur knapp aus.

Ein solches Ergebnis lese ich nicht als „sicher gewonnen“. Geben Sie dieselben Zahlen in den Rechner ein und sehen Sie selbst.

Wie viele Besucher brauchen Sie?

Berechnen Sie vor dem Start, wie viele Besucher Sie pro Gruppe brauchen. Dafür reichen zwei Zahlen: Ihre aktuelle Conversion-Rate und der kleinste Unterschied, den Sie erkennen wollen.

Die Formel stammt aus demselben Wikipedia-Artikel. p₁ sei die Ausgangsrate, p₂ die Zielrate. Bei zwei gleich großen Gruppen berechnet sich die Zahl der Besucher pro Gruppe so:

n = (z_α/2+z_β)² × (p₁(1−p₁)+p₂(1−p₂)) / (p₁−p₂)².

Für α = 0,05 ist z_α/2 etwa 1,96. Für 80 % Power nimmt man z_β mit etwa 0,84 an. Beispiel: Bei einer Ausgangsrate von 12 % und einem Ziel von 15 % brauchen Sie 2.033 Besucher pro Gruppe.

Evan Miller nennt für eine schnelle Kontrolle die Regel n = 16σ²/δ². Bei einer Conversion-Rate ist σ² = p(1−p), δ ist der kleinste gesuchte Unterschied.

Wikipedia nennt dieselbe Regel Lehrs Faustregel (Lehr's rule). Sie gibt die nötige Zahl pro Gruppe für einen zweiseitigen Test mit α = 0,05 und 80 % Power. Für 12 % und 3 Punkte ergeben sich etwa 1.878, also nahe an den 2.033 der Formel.

Kleine Unterschiede brauchen viel Traffic. Um bei einer Rate von 5 % einen Anstieg um 1 Punkt zu erkennen, brauchen Sie 8.155 Besucher pro Gruppe.

Wann man das Ergebnis liest: zu frühes Schauen

Der häufigste Fehler ist, jeden Tag auf das Ergebnis zu schauen und den Test am ersten Tag zu stoppen, an dem er signifikant ist. Das nennt man Peeking. Evan Miller zeigt in seinem Text von 2010, dass das die Rate falsch positiver Ergebnisse aufbläht.

Laut Millers Tabelle müssen Sie die Schwelle auf 1 % senken, wenn Sie den Test 10-mal prüfen und die Rate falsch positiver Ergebnisse wirklich bei 5 % halten wollen. Bei 5 Prüfungen sinkt die Schwelle auf 1,4 %, bei 2 Prüfungen auf 2,2 %.

Im extremen Beispiel des Textes wird ein neues Logo ohne jede Wirkung getestet. Nach jeder Beobachtung wird geschaut, gestoppt wird bei 5 % Signifikanz oder nach 150 Beobachtungen. Die Wahrscheinlichkeit, ein falsches signifikantes Ergebnis zu finden, steigt dabei auf 26,1 %.

Millers Lösung ist einfach: Legen Sie die Stichprobengröße vorher fest und warten Sie, bis der Test fertig ist. Der Stichprobenrechner oben liefert diese Zahl. Entscheiden Sie nicht anhand der Plakette auf dieser Seite, bevor Sie die Zahl erreicht haben.

Meine Notiz

Bei Teams, die zu mir kommen, sehe ich oft dasselbe: Die Farbe eines Buttons wird getestet, das Formular, das das eigentliche Problem ist, bleibt, wie es ist. Ein Test ist nur so gut wie die Idee dahinter.

Deshalb suche ich zuerst, wo Nutzer hängen bleiben. Ein Usability-Test sagt Ihnen, was Sie ändern sollten. Der A/B-Test misst, ob die Änderung wirkt.

Bei wenig Traffic kann es Wochen dauern, bis die nötige Zahl an Besuchern erreicht ist. Jagen Sie dann keinen kleinen Unterschieden nach, sondern beheben Sie die großen Probleme. Wenn Sie nicht wissen, welchen Ablauf Sie zuerst prüfen sollen: Mit dem UX Audit Pro prüfe ich bis zu 10 Abläufe.