Görev başarı oranı nedir, nasıl hesaplanır?

Görev başarı oranı ne ölçer

Bu metrik tek bir soruyu cevaplar: kullanıcı işi yapabildi mi? Jakob Nielsen ve Raluca Budiu, NN/g yazısında onu en basit kullanılabilirlik metriği diye anlatır. Görevi tamamlayan katılımcıların yüzdesidir ve ikili bir ölçümdür.

Formül şöyle: başarı oranı = başarılı katılımcı / toplam katılımcı × 100. Bir bankacılık uygulamasında "kayıtlı alıcıya 500 TL gönderin" görevini 12 kişiye verdiğinizi düşünün. Dokuzu parayı doğru kişiye gönderdiyse oran %75'tir.

Ölçmeden önce başarının ne olduğunu yazın. "Onay ekranı açıldı" gibi net bir bitiş noktası, analizde tartışmayı önler. Görevi nasıl yazacağınızı kullanılabilirlik testi rehberinde anlattım.

Peki iyi bir oran kaç? Jeff Sauro, MeasuringU'da 115 testteki 1.189 görevi inceledi. Bu görevlerde 3.472 kullanıcı vardı ve ortalama tamamlama oranı %78 çıktı. Ben bu sayıyı kıyas için bir başlangıç noktası sayarım.

İkili ve kısmi başarı

İkili hesapta katılımcı ya başarılıdır ya başarısız. Bu sertlik bazen haksız gelir. Parayı gönderen ama açıklama alanını boş bırakan kişi başarısız mı?

NN/g bu yüzden bazen kısmi puan verdiğini söyler. Yazıdaki çiçek siparişi örneğinde dört düzey var: tam başarı, küçük sorunla başarı, büyük sorunla başarı ve başarısızlık. Küçük sorun, hediye notunun eksik olması gibi bir şey. Büyük sorun ise yanlış teslim tarihi ya da adres.

Aynı yazı bir uyarı da yapar. Bu düzeylere 1, 0,66, 0,33 ve 0 gibi sayılar verip ortalamasını almak yanlıştır. Sayılar yalnızca sıralı etiketlerdir. NN/g her düzeyi ayrı bir oran olarak, kendi güven aralığıyla raporlar.

Ekiplerin çoğu yine de tek bir sayı ister. Hesaplayıcıya bu yüzden "kısmi başarıyı yarım say" seçeneğini koydum. İki sayı yan yana durunca farkın nereden geldiğini konuşmak kolaylaşır.

Hangisini seçerseniz seçin, kısmi başarının ölçütünü testten önce yazın. "Açıklama alanı boş kaldıysa kısmi" gibi bir cümle yeterli. Ölçüt oturumdan sonra yazılırsa, iki kişi aynı kaydı farklı puanlar ve sayı tartışmaya döner.

Hesaplayıcı: başarı oranı ve görev süresi

Görev başarı oranı hesaplayıcı

Bir görevin sonuçları

Katılımcı

Başarılı

Kısmi

Başarısız

Kısmi başarıyı nasıl sayayım?

Başarısız sayİkili hesap: yalnızca tam başarı sayılır. Yarım say (0,5)Her kısmi başarı 0,5 başarı olarak eklenir.

Başarı oranı

%60

Tam başarı, %95 aralık

%31 ile %83

6 / 10 = %60. Kısmi başarılar başarısız sayıldı.

Görev süreleri

Süreler (saniye, virgülle ayırın)

Ondalık için nokta kullanın: 12.5 gibi. Virgül, iki süreyi ayırır.

Süre sayısı

8

Ortalama

51,9 sn

Medyan

42,5 sn

Geometrik ortalama

47,7 sn

JavaScript kapalı olduğu için sonuçlar yalnızca bu örnek değerlere göre gösteriliyor. Formüller sayfada yazılı.

Araç hiçbir veri kaydetmez ve göndermez. Hesap tarayıcınızda yapılır.

Bir görev için sayıları girin. Başarı oranı ve süre değerleri siz yazdıkça yeniden hesaplanır. Güven aralığı yalnızca tam başarılara göre çıkar.

Hesabı elle doğrulayın

Bir aracın sonucuna güvenmeden önce birkaç örneği elle hesaplarım. Aşağıdaki üç örneği hesaplayıcıya yazıp sonuçları karşılaştırabilirsiniz.

Girdi	Başarı oranı	Süreler (sn)	Ortalama / medyan
10 kişi: 6 başarılı, 2 kısmi, 2 başarısız	İkili %60, yarım sayınca (6 + 1) / 10 = %70	34, 41, 38, 52, 47, 39, 120, 44	415 / 8 = 51,9; sıralı listede 41 ile 44'ün ortası 42,5
5 kişi: 4 başarılı, 0 kısmi, 1 başarısız	%80, aralık kabaca %36 ile %98	60, 30, 45	135 / 3 = 45; ortadaki değer 45
20 kişi: 10 başarılı, 6 kısmi, 4 başarısız	İkili %50, yarım sayınca (10 + 3) / 20 = %65	10, 20, 30, 40, 1000	1100 / 5 = 220; ortadaki değer 30

İlk satırın sürelerine bakın. Sekiz kişiden biri görevi 120 saniyede bitirmiş. Bu tek değer ortalamayı 51,9 saniyeye çekiyor. Medyan 42,5, geometrik ortalama 47,7 saniyede kalıyor.

Üçüncü satır çarpıklığın uç bir örneği. Tek bir 1000 saniyelik oturum ortalamayı 220'ye taşıyor. Oysa beş kişiden dördü görevi 40 saniye ya da daha kısa sürede bitirmiş.

Görev süresi: ortalama mı, medyan mı?

Görev süresi, katılımcının görevi bitirmesi için geçen zamandır. Ölçmesi kolaydır. Raporlarken sık yapılan hata ise yalnızca aritmetik ortalamayı yazmaktır.

Sauro'ya göre görev süreleri sağa çarpıktır. Bazı kullanıcılar arayüzde takılır ya da daha yavaş çalışır. Birkaç uzun süre ortalamayı yukarı çeker ve ortalama artık tipik süreyi göstermez.

Sauro'nun örneği bunu iyi gösterir. 100, 101, 102, 103 ve 104 saniyenin ortalaması 102'dir. Listeye 200 saniye eklenince ortalama 118,33'e çıkar, medyan ise yalnızca 102,5 olur.

Sauro'nun önerisi örneklem büyüklüğüne göre değişir:

• 25 kullanıcının altında geometrik ortalama kullanın. Sauro'ya göre küçük örneklemde ortadaki süreyi en doğru o tahmin eder. Medyan bu durumda gerçek değeri %10'a kadar abartabilir.
• 25 kullanıcının üstünde medyan iyi bir seçimdir.

Geometrik ortalama için her sürenin logaritmasını alır, bunların ortalamasını bulur ve sonucu geri çevirirsiniz. Elle uğraşmanız gerekmez. Yukarıdaki hesaplayıcı ortalamayı, medyanı ve geometrik ortalamayı yan yana gösteriyor.

Başarısız olanların süresi ne olacak?

Sauro, görevi tamamlayamayanların sürelerini silmemenizi önerir. Kaydı yeniden izleyince bir başarısızlığın aslında başarı olduğu ortaya çıkabilir. Bu sürelerle üç ayrı ölçüm raporlanabilir: yalnızca başarılı olanların tamamlama süresi, başarısızlığa kadar geçen süre ve herkesin görevde geçirdiği toplam süre.

Başarı düşükse bu ayrım önem kazanır. Sauro'nun örneğinde 12 kişiden yalnızca 4'ü görevi bitirir. Sadece bu dört kişinin süresini raporlamak, verimliliği olduğundan iyi gösterebilir.

Hata oranı

Hata, kullanıcının hedefine giden yolda yaptığı yanlış adımdır. Sauro iki tür ayırır. Kayma (slip), hedef doğruyken yapılan istemsiz bir eylemdir; yazım hatası gibi. Yanılgıda (mistake) ise hedefin kendisi yanlıştır. Kullanıcı görevi bu yanlış hedefle tamamlasa bile bu bir hatadır.

Hata oranını iki yolla hesaplayabilirsiniz:

• İkili yöntem: Görevde en az bir hata yapan katılımcıya 1, hiç hata yapmayana 0 yazarsınız. Bilgi kaybedersiniz ama az hata çıkan görevlerde bu yeterli olabilir.
• Fırsat yöntemi: Toplam hatayı toplam hata fırsatına bölersiniz. Görevde 5 hata fırsatı varsa ve 10 kişi denediyse 50 fırsat olur. 5 hata görüldüyse oran 5 / 50 = %10'dur.

Hata fırsatını önceden tanımlamak işin zor kısmıdır. Ben formlarda her alanı bir fırsat sayarım. Bu yaklaşım form tasarımında hangi alanın sorun çıkardığını da gösterir.

Küçük örneklemde güven aralığı

Beş kişiden dördü görevi bitirdi diye ürününüzün başarı oranı %80 değildir. %80 yalnızca o beş kişinin sonucudur. Gerçek oranın nerede olabileceğini güven aralığı söyler.

Sauro, tamamlama oranları için Adjusted Wald yöntemini önerir. Ona göre örneklem yaklaşık 150'nin altındayken en iyi kapsamayı bu yöntem verir. Formül, başarı sayısına z²/2, katılımcı sayısına z² ekler; %95 güven için z = 1,96'dır.

Bu formülle 5 kişiden 4'ü için kendim hesapladım. %95 güven aralığı kabaca %36 ile %98 arasında çıkıyor. Yani gerçek oran yarının altında da olabilir.

Nielsen, NN/g'deki 2006 yazısında nicel çalışmalar için 20 kullanıcı önerir. %90 güvenle 10 kullanıcıda hata payı ortalamanın yaklaşık ±%27'si, 19 kullanıcıda ±%19'udur. Hangi çalışmada kaç kişi gerektiğini kaç kullanıcıyla test yapılır rehberinde ayrıntılı yazdım.

NN/g'nin başarı oranı yazısı da aynı sonuca varır. En çok içgörüyü 4 ya da 5 kullanıcılı, sesli düşünmeli testler verir. Ama bu testler metriklerin gerektirdiği dar güven aralığını üretmez.

Metrikleri birlikte okumak

Nielsen'in 2001 tarihli kullanılabilirlik metrikleri yazısı dört ölçüm sayar: başarı oranı, görev süresi, hata oranı ve kullanıcının öznel memnuniyeti. Tek başına hiçbiri tam resmi vermez.

Başarı oranı yüksek ama süre uzunsa kullanıcı işini zorlanarak bitiriyordur. Süre kısa ama hata çoksa ekran aceleye zorluyor olabilir. Memnuniyeti ölçmek için standart bir anket isterseniz SUS hesaplayıcıyı kullanabilirsiniz.

Nielsen aynı yazıda görev başına iyileşmeleri tek bir skorda birleştirirken geometrik ortalama kullanır. Gerekçesi, tek bir büyük sayının sonucu çarpıtmaması. Süreleri toplamanın daha basit olduğunu, ama görevler eşit sıklıkta yapılmıyorsa yanıltabileceğini de söyler.

Benim notum

Audit'lerde en sık gördüğüm rapor hatası, beş kişilik bir testin sonucunu "%80 başarı" diye yönetime sunmak. Sayı kesin görünür, kimse aralığını sormaz. Altı ay sonra yeni tasarım %60 çıkınca ekip panikler, oysa iki sonuç da aynı aralığın içindedir.

Benim kuralım basit. Küçük testte sayıları yalnızca yön için kullanırım ve aralığı her zaman yanına yazarım. Kıyas yapacaksam 20 kişiye çıkarım. Başarıyı ikili sayar, kısmi başarıları ayrı bir satırda gösteririm.

Süre için de aynı şeyi yaparım. Ortalamayı tek başına yazmam; medyanı ya da geometrik ortalamayı ve kaç kişinin başarısız olduğunu da eklerim. Tek bir uzun oturum ortalamayı bozmaya yeter.