Kaç kullanıcıyla test etmelisiniz? 5 kullanıcı kuralı

Kısaca

Kaç kullanıcıyla test edeceğiniz, testten ne istediğinize bağlıdır. Sorun arıyorsanız 5 kişi yeter. Bir sayıyı güvenle ölçmek istiyorsanız 20 kişi bile alt sınırdır.

Testin kendisini, yani görev yazmayı ve oturumu yönetmeyi kullanılabilirlik testi rehberinde anlattım. Bu sayfa yalnızca örneklem büyüklüğüne bakıyor: 5 sayısı nereden geliyor ve hangi durumda yanıltıyor?

• 5 kullanıcı kuralı bir modele dayanır. Modele göre sorunların yaklaşık %85'i ilk beş kişide çıkar.
• Kural, tekrarlanan küçük testlerle çalışır. Kullanıcılarınız birbirine benzemiyorsa ya da bir sayı ölçüyorsanız işe yaramaz.

5 kullanıcı kuralı nereden geliyor?

Kural, Jakob Nielsen'in 18 Mart 2000'de yayımladığı "Why You Only Need to Test with 5 Users" yazısından gelir. Nielsen sayıyı Thomas K. Landauer ile 1993'te yayımladıkları bir matematik modeline dayandırır.

Modele göre n kullanıcıyla bulunan sorun sayısı şudur:

N × (1 − (1 − L)ⁿ)

N tasarımdaki toplam sorun sayısıdır. L ise tek bir kullanıcının bulduğu sorunların payıdır. Nielsen'e göre L'nin tipik değeri, inceledikleri çok sayıda projenin ortalaması olarak %31'dir.

Eğri neden 5'te kırılıyor?

İlk kullanıcı sorunların yaklaşık üçte birini gösterir. İkinci kullanıcı bunların bir kısmını tekrar eder, ama yeni sorunlar da ekler. Her yeni kişiyle tekrar artar, yeni bulgu azalır.

L = %31 ile formül 5 kişi için %84,4 verir. Nielsen bunu yazısında %85 olarak yuvarlar. Eğrinin başlangıcını da açıkça yazar: sıfır kullanıcı, sıfır içgörü.

Nielsen beşinci kullanıcıdan sonra zamanınızı boşa harcadığınızı yazar. Aynı yazıya göre tüm sorunları bulmak için en az 15 kullanıcı gerekir. Yine de bu 15 kişiyi tek bir testte görmenizi önermez.

Asıl öneri: 3 × 5

Nielsen, 15 kişilik bütçeyi beşer kişilik 3 teste bölmeyi önerir. Ona göre kullanılabilirlik çalışmasının amacı tasarımı iyileştirmektir. Zayıflıkları belgelemek tek başına yetmez.

İlk testte bulunan sorunları düzeltirsiniz. İkinci test, kalan %15'in çoğunu bulur ve düzeltmelerin işe yarayıp yaramadığını gösterir. Yeni tasarım bazen yeni sorunlar da getirir, onları da ancak tekrar test ederek görürsünüz.

Eğriyi kendiniz çizin

Aşağıda iki değeri değiştirebilirsiniz: kullanıcı sayısını ve tek kullanıcının bulduğu payı. Kesikli çizgi, Nielsen'in %31 ortalamasıyla çizilmiş eğridir. Kendi tahmininiz bu çizgiden ne kadar uzaklaşıyor, ona bakın.

Örneklem hesaplayıcı

%84sorun bulunur

• Gözden kaçan: %16
• Son eklenen kullanıcının katkısı: %7
• %90 için gereken: 7 kişi, %95 için: 9 kişi

Varsayılan değerler: 5 kullanıcı, L = %31.

• 1 kişi%31
• 2 kişi%52
• 3 kişi%67
• 4 kişi%77
• 5 kişi%84
• 6 kişi%89
• 8 kişi%95
• 10 kişi%98
• 12 kişi%99
• 15 kişi%99,6
• 20 kişi%99,9

Değerler Nielsen ve Landauer'in 1 − (1 − L)^n formülüyle hesaplanır ve yuvarlanır. L için 5 ile 60 arasındaki aralığı ben seçtim. Model, benzer kullanıcıların ürünü benzer şekilde kullandığını varsayar.

L'yi %15'e indirip 5 kullanıcıda bırakın. Bulunan pay yaklaşık %56'ya düşer ve %90 için 15 kişi gerekir. Kuralın gücü de zayıflığı da buradadır: her şey L'ye bağlıdır.

"Son eklenen kullanıcının katkısı" satırına da bakın. L = %31 iken beşinci kişi yaklaşık %7 yeni pay getirir, onuncu kişi ise yaklaşık %1. Azalan getiri dediğimiz şey tam olarak bu.

L neden her projede %31 değil?

%31, çok sayıda projenin ortalamasıdır. Sizin ürününüzdeki L bundan epey farklı olabilir. Yazı, L'nin projeden projeye ne kadar değiştiğini gösteren bir aralık vermez.

Formülün bir ön koşulu da var. Nielsen'e göre model yalnızca birbirine benzeyen ve siteyi oldukça benzer şekilde kullanan kullanıcılar için geçerlidir. Bir pazar yerinde alıcı ile satıcı bu koşulu sağlamaz.

Benim gözlemim şu: L, ürünün ve görevlerin genişliğiyle düşer. Tek bir ödeme akışını test ederken katılımcılar aynı yerlerde takılır. Bir B2B panelinin on farklı ekranını test ederken her katılımcı başka bir köşeye girer ve sorunlar daha az örtüşür.

Bu yüzden 5 sayısını tek bir akış ve tek bir kullanıcı grubu için kullanırım. Kapsam genişlerse testi akışlara bölerim.

5 kullanıcı ne zaman yetmez?

NN/g'nin kendi yazıları beş sayısının sınırlarını açıkça çizer. Aşağıdaki tablo üç yazıdaki önerileri bir araya getiriyor.

Çalışma türü	NN/g'nin önerdiği sayı	Kaynak
Nitel kullanılabilirlik testi (sorun bulmak)	5 kullanıcı	Nielsen 2000, 2012
İki ayrı kullanıcı grubu	Grup başına 3–4	Nielsen 2000, 2012
Üç ya da daha fazla grup	Grup başına 3	Nielsen 2000
Nicel çalışma (süre, başarı oranı gibi ölçümler)	En az 20	Nielsen 2006, 2012
Kart sıralama	Grup başına en az 15	Nielsen 2012
Göz izleme, kararlı ısı haritası için	39	Nielsen 2012

Farklı kullanıcı grupları

Ürününüz birbirinden çok farklı insanlara hitap ediyorsa her grubu ayrı test edin. Nielsen iki grup için grup başına 3–4, üç ve daha fazla grup için grup başına 3 kişi önerir. Grup içindeki çeşitliliği görmek için en az 3 kişi gerektiğini de ekler.

Grup sayısı arttıkça kişi başına düşen sayı azalır, çünkü gruplar arasında davranış örtüşür. Grupları belirlerken elinizde personalar varsa onlardan başlayın. Yalnızca ürünü gerçekten farklı kullanan grupları ayırın.

Nicel çalışmalar

Görevde geçen süreyi ya da başarı oranını ölçüyorsanız 5 kişi yetmez. Nielsen'in 2006 yazısı bu tür çalışmalar için 20 kullanıcı önerir ve bunu güven aralığıyla açıklar.

Yazıdaki örnek %90 güven aralığını kullanır. 10 kullanıcıda hata payı ortalamanın ±%27'si kadardır. 20 kişiden bir uç değer çıkarılıp 19 kişi kalınca hata payı ±%19'a iner. Nielsen bu aralığı çoğu amaç için yeterli bulur.

Hata payını ±%10'a indirmek için 71 kullanıcının verisi gerekir. Uç değerleri ayıklayacağınız için 76 kişiyle test edersiniz. Nielsen'e göre bu, pratik projelerin neredeyse hepsinde para israfıdır. Aynı yazıya göre nicel bir çalışma, 5 kişilik nitel bir testin yaklaşık 4 katı pahalıdır.

Nielsen ilk çalışmaların nitel olmasını önerir. SUS puanı gibi bir anket puanını karşılaştırmak da bir ölçümdür. Az kişiyle çıkan bir ortalamanın hata payı geniştir.

Kart sıralama ve göz izleme

Nielsen'in 2012 yazısı kart sıralama için grup başına en az 15 kullanıcı önerir. Kart sıralama, bilgi mimarisini kurarken kullanıcıların içeriği nasıl grupladığını gösterir. Göz izlemede kararlı ısı haritaları için aynı yazı 39 kullanıcı ister.

Eleştiriler: Faulkner 2003

5 kullanıcı kuralının en çok anılan eleştirisi Laura Faulkner'ın 2003 tarihli makalesidir. Makale Behavior Research Methods, Instruments, & Computers dergisinde yayımlandı.

PubMed'deki özete göre Faulkner 60 kullanıcıyla test yaptı. Sonra bu gruptan rastgele 5 ya da daha fazla kişilik alt kümeler çekti. Bazı 5 kişilik kümeler sorunların %99'unu buldu, bazıları yalnızca %55'ini.

Kişi sayısı artınca en kötü durum iyileşti. 10 kullanıcıda en düşük bulma oranı %80'e, 20 kullanıcıda %95'e çıktı.

Bu, Nielsen'i yanlışlıyor mu?

Bence iki çalışma farklı soruları cevaplıyor. Nielsen ortalamayı anlatıyor: tipik bir 5 kişilik test sorunların çoğunu bulur. Faulkner riski gösteriyor: tek bir 5 kişilik test, şansınıza göre çok az şey de bulabilir.

Nielsen'in 3 × 5 önerisi bu riski kısmen karşılar. İlk turda kaçan sorun, ikinci ya da üçüncü turda çıkar. Tek bir test yapıp ürünü "test edildi" diye kapatacaksanız ise Faulkner'ın uyarısı ağır basar.

Nielsen'in 2012 güncellemesi

Nielsen 2012'de konuya yeniden döndü. NN/g konferansında 217 katılımcıya şirketlerindeki uygulamayı sordu. Ortalama cevap tur başına 11 kullanıcıydı. Nielsen'e göre bu, önerdiği sayının iki katından fazla.

Aynı yazı iki yönde esneklik tanır. Ek yükü düşük projelerde çalışma başına 2 kullanıcı bile en uygun sayı olabilir. NN/g ise danışmanlık projelerinde çoğu zaman 8 civarında kullanıcıyla çalışır. Nielsen'e göre işin danışmanlık olması birkaç kullanıcı fazlasını haklı çıkarır.

Yazı bir yanılgıyı da düzeltir: toplam kullanıcı sayınızın büyük olması, gereken örneklemi değiştirmez. Milyonlarca kullanıcısı olan bir banka uygulaması için de nitel testte 5 kişi geçerli bir başlangıçtır.

Kendi sayınızı nasıl seçersiniz?

Bir test planlarken sayıyı tabloya bakarak seçmem. Önce aşağıdaki sorulara cevap veririm, sayı oradan çıkar.

Sorun mu arıyorsunuz, sayı mı ölçüyorsunuz? Sorun arıyorsanız nitel bir test kurun ve 5 kişiyle başlayın. "Yeni ödeme akışı eskisinden hızlı mı?" gibi bir soruyu ise ancak nicel bir çalışma cevaplar.

Kaç farklı kullanıcı grubunuz var? Bir yemek siparişi uygulamasında sipariş veren müşteri ile restoran çalışanı aynı ekranları görmez. İki grup demek, iki küçük test demektir.

Test neyi kapsıyor? Tek bir akış dar bir kapsamdır, katılımcılar aynı yerlerde takılır. Bütün bir uygulama ise geniştir. Geniş kapsamda ya kişi sayısını artırın ya da testi akışlara bölün.

Bir sonraki tur var mı? Düzeltmelerden sonra yeniden test edecekseniz her turda 5 kişi yeter. Tek bir şansınız varsa Faulkner'ın bulgusunu hatırlayın ve sayıyı artırın.

Hangi sayıyı seçerseniz seçin, birkaç yedek katılımcı da ayarlayın. 5 kişilik bir testte gelmeyen tek kişi, örneklemin beşte biridir.

Benim notum

Ekiplerde en sık gördüğüm hata, test etmeyi hiç başlatmamak. "Sonuçlar istatistiksel olarak anlamlı olmaz" kaygısı ilk testi aylarca erteletir.

Oysa sorun bulmak için anlamlılık gerekmez. Bir kullanıcının üç kez takıldığı buton, düzeltmek için yeterli kanıttır.

Ben bir akış için 5 kişiyle başlarım ve iki şeye bakarım. Son iki katılımcı yeni bir sorun göstermediyse durur, düzeltirim. Hâlâ yeni sorunlar çıkıyorsa L düşüktür. Ya akış çok geniştir ya da katılımcılar birbirine benzemiyordur.

Bütçeniz bir test turuna bile yetmiyorsa uzman incelemesiyle başlayabilirsiniz. Heuristik değerlendirme kullanıcı testinin yerini tutmaz. Ama hangi akışı test edeceğinizi gösterir, böylece 5 kişinin vaktini bariz sorunlara harcamazsınız.

Ürününüzün birden fazla akışına aynı anda bakmak isterseniz UX Audit Pro 10 akışa kadar uçtan uca inceleme yapar. Çıkan öncelik listesi, ilk 5 kişilik testinizi nereye koyacağınızı da söyler.