A/B test hesaplayıcı: sonuç anlamlı mı?

A/B test anlamlılık hesaplayıcı

A/B testi nedir

A/B testinde ziyaretçiler rastgele iki gruba ayrılır. A grubu mevcut sürümü, B grubu değiştirilmiş sürümü görür. Sonra iki grubun dönüşüm oranı karşılaştırılır.

Neyin dönüşüm sayılacağını siz seçersiniz, örneğin kayıt ya da satın alma. Bir ödeme sayfasında bu genelde siparişin tamamlanmasıdır.

İki oran neredeyse hiç eşit çıkmaz. Asıl soru, aradaki farkın gerçek mi yoksa rastlantı mı olduğudur. Hesaplayıcı bu soruyu iki oran z-testiyle cevaplar.

Hesap nasıl yapılıyor

Hesaplayıcı, Wikipedia'daki iki oran z-testi maddesinin formüllerini kullanır. A grubunda n_A ziyaretçi ve x_A dönüşüm olsun. B grubu için n_B ve x_B yazalım.

1. Dönüşüm oranları: p_A = x_A/n_A ve p_B = x_B/n_B.
2. Havuzlanmış oran: p̄ = (x_A+x_B)/(n_A+n_B). Test, iki sürüm arasında fark olmadığını varsayar. Bu yüzden iki grubu tek oranda birleştirir.
3. Standart hata: SE = √(p̄(1−p̄)(1/n_A+1/n_B)).
4. Test istatistiği: z = (p_B−p_A)/SE.
5. İki yönlü p-değeri: 2 × (1 − Φ(|z|)). Φ, standart normal dağılımın birikimli dağılım fonksiyonudur.

Φ'yi tarayıcıda hesaplamak için Abramowitz ve Stegun'un verdiği yaklaşımlardan birini kullanıyorum. Bu yaklaşım hata fonksiyonunu (erf) en fazla 1,5 × 10⁻⁷ hatayla hesaplar. Normal dağılıma Φ(z) = ½(1 + erf(z/√2)) eşitliğiyle geçilir.

Güven aralığında havuzlanmış oran kullanılmaz, her grubun kendi varyansı alınır.

(p_B−p_A) ± 1,96 × √(p_A(1−p_A)/n_A + p_B(1−p_B)/n_B).

Göreli fark için (p_B−p_A)/p_A hesaplanır ve sayfada yüzde olarak gösterilir.

İki hesap farklı standart hata kullandığı için sonuçları biraz farklı çıkabilir. Wikipedia'daki örnek sınırda bir durum: her grupta 1.000 ziyaretçi, birinde 120, ötekinde 150 dönüşüm. p-değeri yaklaşık 0,0497, yani 0,05'in hemen altında; güven aralığı da sıfırı kıl payı dışarıda bırakıyor.

Bu sonucu "kesin kazandık" diye okumam. Hesaplayıcıya aynı sayıları girip kendiniz bakabilirsiniz.

Kaç ziyaretçi gerekir

Testi başlatmadan önce grup başına kaç ziyaretçi gerektiğini hesaplayın. Bunun için iki sayı yeter: bugünkü dönüşüm oranınız ve yakalamak istediğiniz en küçük fark.

Formül yine aynı Wikipedia maddesinden. p₁ temel oran, p₂ hedef oran olsun. Eşit büyüklükte iki grupta, grup başına gereken ziyaretçi şöyle hesaplanır.

n = (z_α/2+z_β)² × (p₁(1−p₁)+p₂(1−p₂)) / (p₁−p₂)².

α = 0,05 için z_α/2 yaklaşık 1,96'dır. %80 güç için z_β yaklaşık 0,84 alınır. Örnek: temel oran %12, hedef %15 ise grup başına 2.033 ziyaretçi gerekir.

Evan Miller hızlı bir kontrol için n = 16σ²/δ² kuralını verir. Dönüşüm oranında σ² = p(1−p), δ ise aradığınız en küçük farktır.

Wikipedia aynı kurala Lehr kuralı der. Kural, iki yönlü testte α = 0,05 ve %80 güçle grup başına gereken sayıyı verir. %12 ve 3 puan için yaklaşık 1.878 çıkar, yani formülün verdiği 2.033'e yakın.

Küçük farklar çok trafik ister. %5'lik bir oranda 1 puanlık artışı yakalamak için grup başına 8.155 ziyaretçi gerekir.

Sonucu ne zaman okumalı: erken bakma

En sık hata, sonuca her gün bakıp anlamlı çıktığı ilk gün testi durdurmaktır. Buna erken bakma (peeking) denir. Evan Miller 2010'daki yazısında bunun yanlış pozitif oranını şişirdiğini gösterir.

Miller'in tablosuna göre testi 10 kez kontrol edecekseniz, yanlış pozitif oranını gerçekten %5'te tutmak için eşiği %1'e çekmeniz gerekir. 5 kontrolde eşik %1,4'e, 2 kontrolde %2,2'ye iner.

Yazıdaki uç örnekte etkisi olmayan yeni bir logo test ediliyor. Her gözlemden sonra bakılıyor, %5 anlamlılık görülünce ya da 150 gözlemde duruluyor. Bu durumda yanlış bir anlamlı sonuç bulma olasılığı %26,1'e çıkıyor.

Miller'in önerdiği çözüm basit: örneklem büyüklüğünü baştan belirleyin ve test bitene kadar bekleyin. Yukarıdaki örneklem hesaplayıcısı bu sayıyı verir. O sayıya ulaşmadan bu sayfadaki rozete bakıp karar vermeyin.

Benim notum

Bana gelen ekiplerde sık gördüğüm durum şu: butonun rengi test ediliyor, asıl sorun olan form ise yerinde duruyor. Test, arkasındaki fikir kadar işe yarar.

Bu yüzden önce kullanıcının nerede takıldığını bulurum. Bir kullanılabilirlik testi ne değiştireceğinizi söyler. A/B testi ise o değişikliğin işe yarayıp yaramadığını ölçer.

Trafiğiniz azsa gereken ziyaretçi sayısına ulaşmak haftalar sürebilir. O durumda küçük farkları kovalamayın, büyük sorunları düzeltin. Hangi akışa önce bakılacağını bilmiyorsanız UX Audit Pro ile 10 akışa kadar inceleyebilirim.