Obama'nın A/B testi: "Learn More" butonu ve 60 milyon dolar

Kısaca

• Test Aralık 2007'de, Obama kampanyasının kayıt sayfasında yapıldı.
• Dört buton metni, altı görsel ve videoyla eşleştirildi. Ortaya 24 kombinasyon çıktı.
• Kazanan, "Learn More" butonu ile "Family" görseli oldu. Kayıt oranı yüzde 8,26'dan yüzde 11,6'ya çıktı.
• Ekibin en sevdiği video kaybetti. Üç video da üç görselin her birinden kötü çıktı.
• 60 milyon dolar ölçülmedi. Siroker bu rakamı kampanya sonundaki sayılardan tahmin etti.

Hikâye: Aralık 2007, bir kayıt sayfası

Hikâyeyi kampanyanın içinden biri anlatıyor. Dan Siroker, Obama'nın 2008 kampanyasında analitik direktörüydü. Yazısını 29 Kasım 2010'da Optimizely blogunda yayımladı.

Siroker'e göre Obama 2007'de adaylık yarışında çift haneli farkla geride kalıyordu. Kampanyanın elinde bir web sitesinden fazlası yok gibiydi.

Test edilen sayfa

Ziyaretçiler e-posta adreslerini bu giriş sayfasında bırakıp kayıt oluyordu. Siroker sayfaya "splash page" diyor. Üstte bir medya alanı, altında da kayda çağıran bir buton vardı.

Ekip Aralık 2007'de bu iki parçayı değiştirerek denedi. Medya alanı için üç görsel ve üç video hazırlandı.

Butonlar tabloda şöyle geçiyor: orijinal, "Learn More", "Join Us Now" ve "Sign Up Now". Orijinal butonun üstünde ne yazdığı kaynakta yok.

Tek testte 24 kombinasyon

Test, tam faktöriyel çok değişkenli bir testti. Yani her buton her medyayla eşleşti ve 24 kombinasyonun hepsi aynı anda yayındaydı. Araç olarak Google Website Optimizer kullanıldı.

Her ziyaretçiye rastgele bir kombinasyon gösterildi ve kayıt olup olmadığı izlendi. Test süresince sayfaya 310.382 kişi geldi. Siroker'e göre her kombinasyonu kabaca 13.000 kişi gördü.

Başarı ölçüsü kayıt oranıydı. Her kombinasyon için kayıt olanlar, o kombinasyonu görenlere bölündü.

Kazananı tahmin edin

Siroker yazısında sonucu göstermeden önce okura soruyor: sizce hangisi kazandı? Aşağıda aynı soruyu bir ızgarayla soruyorum.

Her satır bir medya, her satırdaki dört buton da dört buton metni. Bir hücre seçin, sonra sonucu açın.

Deneyin: kazananı tahmin edin

24 kombinasyondan hangisi en çok kayıt getirdi? Satır medyayı, butonun yazısı da buton metnini gösterir.

JavaScript kapalıysa tahmin oyunu çalışmaz. Kazanan kombinasyon, hemen aşağıdaki "Sonuç" bölümünde yazıyor.

Izgara kurgusal bir canlandırma. Buton ve medya adları ile oranlar Siroker'in yazısındaki tablolardan. Kaynak orijinal butonun metnini ve orijinal medyayı yazmıyor, bu yüzden onlara yalnızca "orijinal" dedim.

Klavyeyle oynamak için Tab ile hücrelere gelin, Enter ya da boşluk tuşuna basın. Sonuç, butonların altındaki kutuda yazıyla çıkıyor.

Sonuç: Learn More ve aile fotoğrafı

Kazanan kombinasyon, tabloda "Combination 11" diye geçen "Learn More" butonu ile "Family" görseliydi. Kayıt oranı yüzde 11,6 oldu. Orijinal sayfanın oranı yüzde 8,26'ydı.

Siroker bunu kayıt oranında yüzde 40,6 artış olarak veriyor. Yazıdaki iki yuvarlatılmış oranı bölünce ben yüzde 40,4 buluyorum. Fark küçük, ama rakamı kaynaktaki gibi aktarıyorum.

Butonlar ve medyalar ayrı ayrı

Yazıdaki bir tablo, her parçanın tek başına ortalamasını da veriyor. Oranları o tablodan okudum.

Parça	Varyasyon	Kayıt oranı
Buton	Orijinal	%7,51
Buton	Learn More	%8,91
Buton	Join Us Now	%7,62
Buton	Sign Up Now	%7,34
Medya	Orijinal	%8,54
Medya	Family Image	%9,66
Medya	Change Image	%8,87
Medya	Barack's Video	%7,76
Medya	Sam's Video	%6,29
Medya	Springfield Video	%5,95

Butonlarda "Learn More" açık ara öndeydi. "Sign Up Now" ise orijinal butonun da biraz gerisinde kaldı.

Ekibin favorisi kaybetti

Siroker'e göre kampanya ekibi testten önce "Sam's Video" adlı videoyu çok beğeniyordu. Test olmasa büyük ihtimalle o video sayfaya konacaktı.

Tabloda o video sondan ikinci. Üç video da üç görselin her birinden düşük kaldı.

Yazıda kazanan sayfanın bir görüntüsü de var. Üstte bir aile fotoğrafı, altta e-posta ve posta kodu alanları, sağda kırmızı bir "Learn More" butonu duruyor.

Testten sonra ne oldu

Siroker'e göre bu ilk test o kadar işe yaradı ki ekip kampanya boyunca sitenin her yerinde onlarca test daha yaptı. Yazının sonundaki üç ders de buna dayanıyor: her ziyaretçi bir fırsattır, varsayımları sorgulayın, erken ve sık test edin.

Ne biliyoruz, ne bilmiyoruz

Bu hikâyede iki tür rakam var. Bir kısmı testte ölçüldü, bir kısmı o ölçümden yola çıkan bir tahmin. İkisini karıştırmamak gerekiyor.

Bilgi	Türü	Not
%8,26 ve %11,6 kayıt oranı	Ölçüm	Aralık 2007 testi, 310.382 ziyaretçi.
24 kombinasyon, 4 buton, 6 medya	Ölçüm düzeni	Kaynakta açıkça yazıyor.
Kampanya boyunca yaklaşık 10 milyon kayıt	Kampanya verisi	Siroker "kabaca" diyor.
Test olmasa 7.120.000 kayıt	Tahmin	Artışın kampanya boyunca aynı kaldığı varsayımına dayanıyor.
288.000 ek gönüllü	Tahmin	Gönüllülük e-postaları bu listede genelde yüzde 10 dönüşüm aldı. Ek kayıtlara da aynı oran uygulandı.
60 milyon dolar ek bağış	Tahmin	Ek kayıt sayısı çarpı adres başına ortalama 21 dolar.

60 milyon dolar nasıl hesaplandı

Siroker hesabı bir varsayımla açıyor: artış kampanyanın geri kalanında kabaca aynı kaldıysa. Kampanya boyunca kayıt sayfasından yaklaşık 10 milyon kişi kayıt oldu.

Orijinal sayfada kalınsaydı bu sayı ona göre 7.120.000 civarında olacaktı. Aradaki fark 2.880.000 e-posta adresi.

Bu sayfadan gelen adres başına kampanya boyunca ortalama 21 dolar bağış gelmişti. Ek 2.880.000 adres bu ortalamayla çarpılınca 60 milyon dolar çıkıyor. Ben çarpınca 60,48 milyon buluyorum.

Bilmediklerimiz

Testin kaç gün sürdüğü yazıda yok. Artışın kampanya boyunca gerçekten sürüp sürmediği de ölçülmedi, varsayıldı.

21 dolar bir ortalama. Testin getirdiği ek kayıtlar da aynı ortalamayla bağış yaptı mı, bilmiyoruz. Belki bu kişiler daha az kararlıydı.

Bir de yazının bağlamı var. Siroker yazıyı kendi kurdukları test aracının blogunda yayımladı ve yazı ürünün tanıtımıyla bitiyor. Bu, rakamları yanlış yapmaz. Ama 60 milyonu bir ölçüm gibi değil, iyimser bir hesap gibi okumanızı öneririm.

Benim notum

Bence bu hikâyedeki en önemli an, ekibin en çok inandığı videonun kaybetmesi. Bunu toplantıda kimse göremezdi, yalnızca test gösterdi.

"Learn More" neden kazanmış olabilir

Kaynak bunun sebebini söylemiyor. Benim tahminim şu: "Sign Up Now" ziyaretçiden hemen söz istiyor. "Learn More" ise ilk adımı küçük gösteriyor.

Bu bir yorum, ölçülmüş bir neden değil. Buton metnini nasıl yazdığımı CTA butonu kalıbında anlattım.

Bunu kendi ürününüze taşırken

Her kombinasyonu yaklaşık 13.000 kişi gördü. Sizin sayfanız bu trafiği alıyor mu? Kaç ziyaretçi gerektiğini A/B test hesaplayıcı ile önceden hesaplayın.

Ölçtüğünüz şeyin gelire nasıl bağlandığını da bilin. Bu testte ölçü kayıt oranıydı. Siroker gönüllü ve bağış hesabını bu kayıtlardan oluşan e-posta listesine dayandırıyor.

24 kombinasyonlu bir test çok trafik ister. Trafiğiniz azsa iki seçenekle başlayın ve sonucu belirgin biçimde değiştirebilecek parçayı seçin. Bu testte medyalar arasındaki fark, buton metinleri arasındakinden büyüktü.

Benzer bir veri tartışmasını 41 ton mavi hikâyesinde anlattım. Orada da rakam bir yöneticinin aktarımıydı ve hesabı yayımlanmadı.

Kendi sayfanızda düşünün

Bir fintech açılış sayfası hayal edin. Ekip tanıtım videosunu en üste koyuyor, çünkü herkes videoyu seviyor. Videonun kayıt oranını nasıl etkilediğine ise kimse bakmıyor.

Böyle bir sayfada önce ziyaretçinin nerede vazgeçtiğini bulmak gerekir. Açılış sayfası kalıbı bunun için iyi bir başlangıç. Tüm akışı benim incelememi isterseniz UX Audit Pro bu iş için var.