Moderatörlü ve moderatörsüz test: hangisi, ne zaman?

Moderatörlü ve moderatörsüz test arasındaki fark

Fark, oturumda bir araştırmacının olup olmamasıdır. Kullanılabilirlik testinin iki türü de aynı işi yapar: gerçek kullanıcıya gerçekçi bir görev verir ve davranışını izler.

Moderatörlü testte (moderasyonlu test de denir) araştırmacı katılımcıyla aynı anda oturumdadır. Amy Schade NN/g yazısında moderatörün görevden sonra sorunu açmak için ek soru sorabildiğini yazar. Bu test aynı odada da yapılabilir, ekran paylaşımıyla uzaktan da.

Moderatörsüz testte araştırmacı yoktur. Kathryn Whitenton'ın NN/g yazısına göre bir yazılım katılımcıya talimat verir, yaptıklarını kaydeder ve önceden yazılmış soruları sorabilir. Siz kayıtları sonra izlersiniz. Bu test doğası gereği uzaktan yapılır.

Bu yüzden ortada üç seçenek var: moderatörlü yüz yüze, moderatörlü uzaktan ve moderatörsüz uzaktan. "Uzaktan kullanılabilirlik testi" (remote usability testing) son ikisini birlikte anlatır.

Moderatörlü test: yüz yüze mi, uzaktan mı?

Schade genel kural olarak mümkünse yüz yüze testi önerir. Aynı yazıda uzaktan testin hiç test yapmamaktan iyi olduğunu da söyler. Bütçe dar, kullanıcılar dağınık ya da süre kısaysa uzaktan teste geçebilirsiniz.

Kate Moran ve Kara Pernice, katılımcı test odasına gelemiyorsa uzaktan moderatörlü testi iyi bir seçenek olarak görür. Yazarlara göre bu test yüz yüze çalışmadan çoğu zaman daha ucuz ve hızlıdır. Katılımcı için de daha rahattır.

Bedeli hazırlıktır. Moran ve Pernice, belki de en büyük dezavantajın çok ön hazırlık istemesi olduğunu yazar. Bu hazırlığın başında araç kurulumu gelir.

Katılımcının kendi bilgisayarını kullanması ise bir artıdır. Schade bunu şöyle açıklar: katılımcının gerçek kurulumunu görürsünüz. Ama bir sorun çıktığında onu uzaktan çözmek zordur.

Uzaktan oturumda sessizliği yorumlamak da zorlaşır. Schade, susan katılımcının kafasının karışmış, dikkatinin dağılmış ya da içeriğe dalmış olabileceğini yazar. Yüz yüze oturumda ise beden dilini okumak daha kolaydır.

Ne zaman hangisi: yöntem seçici

Kısa cevap: sorunuz "neden" ise moderatör gerekir, sorunuz "çalışıyor mu" ise çoğu zaman gerekmez. Whitenton'a göre moderatörsüz test genelde çok daha hızlıdır ve sonuç birkaç saat içinde gelebilir. Aynı anda düzinelerce, hatta yüzlerce kullanıcıdan geri bildirim almak da mümkündür.

Ama aynı yazı iki sınır çizer. Moderatör olmadan erken prototipi test etmek zordur. Hayal etmeyi, karar vermeyi ya da duygusal tepkiyi gerektiren görevlerde katılımcı daha az gerçekçi davranır. Whitenton örnek olarak alışverişe bakmakla gerçekten satın almak arasındaki farkı verir.

Aşağıdaki seçici bu ölçütleri beş soruya indiriyor. Cevap verdikçe önerilen yöntem ve her cevabın etkisi güncellenir.

Yöntem seçici

Seçici JavaScript ile çalışır. Her cevabın puanı ve gerekçesi aşağıdaki "Seçicinin mantığı" bölümünde yazılı.

Puan tablosu benim sadeleştirmem. Kaynakları aşağıda. Cevaplarınız hiçbir yere gönderilmez ve saklanmaz.

Yöntem seçici: beş cevap üç yönteme puan verir. En yüksek puanı alan yöntem önerilir, her cevabın etkisi altta listelenir.

Seçicinin mantığı

Seçici basit bir puan tablosuyla çalışır. Her cevap üç yöntemin her birine 0, 1 ya da 2 puan verir. Beş cevabın puanı toplanır ve en yüksek toplamı alan yöntem önerilir.

Puanlar eşitse önce moderatörlü uzaktan, sonra yüz yüze test önerilir. Moderatörlü uzaktan testi öne koyuyorum, çünkü canlı soru imkânını korur ve seyahat istemez. Moderatörsüz test önde çıkarsa ve cevaplarınızdan biri bu yönteme ters düşüyorsa seçici ayrıca uyarı gösterir.

Puanlar benim sadeleştirmem. Tablo aşağıda:

1. Araştırma sorunuz ne?

• Kullanıcı neden takılıyor?
  Puan: yüz yüze +2, uzaktan moderatörlü +2, moderatörsüz +0. Sebebi anlamak için konuşmak gerekir. Moderatör, görev bitince sorunun ayrıntısına inen sorular sorabilir.
• Birkaç belirli öğe
  Puan: yüz yüze +0, uzaktan moderatörlü +0, moderatörsüz +2. Schade, çalışma birkaç belirli öğeye odaklanıyorsa moderatörsüz testi uygun bulur.
• Karar ya da duygu isteyen bir iş
  Puan: yüz yüze +2, uzaktan moderatörlü +1, moderatörsüz +0. Whitenton'a göre moderatör yokken katılımcı bu tür görevlerde daha az gerçekçi davranır. Ben burada aynı odada olmayı tercih ederim.

2. Prototip ne kadar hazır?

• Erken ya da eksik prototip
  Puan: yüz yüze +2, uzaktan moderatörlü +1, moderatörsüz +0. Whitenton'a göre erken prototipi moderatörsüz test etmek zordur. Prototipi açıklayacak ve boşlukta kalan katılımcıya yol gösterecek biri gerekir.
• Tıklanabilir prototip
  Puan: yüz yüze +1, uzaktan moderatörlü +2, moderatörsüz +0. Boş kalan yerleri moderatör açıklayabilir. Prototip bir bağlantıyla paylaşılabildiği için uzaktan oturum da iş görür.
• Yayındaki ürün
  Puan: yüz yüze +0, uzaktan moderatörlü +1, moderatörsüz +2. Whitenton'a göre moderatörsüz çalışmalar en iyi sonucu yayındaki site ve uygulamalarda ya da işlevi yüksek prototiplerde verir.

3. Görevden sonra canlı soru sormanız gerekiyor mu?

• Evet
  Puan: yüz yüze +2, uzaktan moderatörlü +2, moderatörsüz +0. Schade, moderatörsüz testte kullanıcının hareketine özel ayrıntılı soru sorulamayacağını yazar.
• Hayır
  Puan: yüz yüze +0, uzaktan moderatörlü +0, moderatörsüz +2. Moderatörsüz araçlar her görevden sonra önceden yazılmış soruları gösterebilir. Bu sorular herkese aynı sorulur.

4. Bütçe ve süre ne durumda?

• Dar
  Puan: yüz yüze +0, uzaktan moderatörlü +1, moderatörsüz +2. Whitenton'a göre moderatörsüz test genelde çok daha hızlıdır. Oturumlar aynı anda yürür, takvim ayarlamak gerekmez.
• Orta
  Puan: yüz yüze +0, uzaktan moderatörlü +2, moderatörsüz +1. Moran ve Pernice, uzaktan moderatörlü testin yüz yüze çalışmadan çoğu zaman daha ucuz ve hızlı olduğunu yazar.
• Rahat
  Puan: yüz yüze +2, uzaktan moderatörlü +1, moderatörsüz +0. Schade, mümkün olduğunda genel kural olarak yüz yüze testi önerir.

5. Katılımcılara nasıl ulaşacaksınız?

• Aynı şehirdeler
  Puan: yüz yüze +2, uzaktan moderatörlü +1, moderatörsüz +0. Katılımcı gelebiliyorsa yüz yüze testin önünde engel kalmaz.
• Farklı şehir ya da ülkelerdeler
  Puan: yüz yüze +0, uzaktan moderatörlü +2, moderatörsüz +2. Schade uzaktan testi dağınık kullanıcılar için önerir. Moderatörsüz testte saat dilimine göre takvim ayarlamak da gerekmez.
• Geniş bir tüketici kitlesi
  Puan: yüz yüze +0, uzaktan moderatörlü +1, moderatörsüz +2. Whitenton'a göre paneller hızlı ve kolaydır, geniş tüketici kitlelerine uyar.
• Dar, uzman bir kitle
  Puan: yüz yüze +1, uzaktan moderatörlü +2, moderatörsüz +0. Whitenton'a göre dar kitlelerde katılımcıyı çoğu zaman kendiniz bulursunuz. Bence az sayıda kişiyle canlı konuşmak her oturumdan daha çok şey çıkarır.

Uyarılar üç durumda çıkar: canlı takip sorusu istediyseniz, prototipiniz erkense ya da görev karar veya duygu istiyorsa. Üçünde de moderatörsüz test hâlâ mümkün, ama hazırlığı daha dikkatli yapmanız gerekir.

Görev yazımı: moderatörsüz testte neden daha önemli?

Whitenton açıkça yazar: araştırmacıların çoğu görev yazarken başarısız olur. Moderatörsüz testte katılımcı açıklama isteyemez. Bu yüzden görevler moderatörlü testtekinden daha net olmalıdır.

Whitenton'ın ilk önerisi, araçtaki hazır şablon görevleri kullanmamak. Ürününüze özel, gerçekçi ve ipucu içermeyen görevler yazın. Katılımcıya ne zaman duracağını da söyleyin.

Takip sorularının kelimelerini de dikkatle seçin. Whitenton'a göre "Bu markayı nasıl anlatırsınız?" gibi geniş bir soru, katılımcıyı test edilen sistemden uzaklaştırabilir.

Schade de aynı şeyi söyler: moderatörsüz görevler kendi başına anlaşılır olmalı ve önceden denenmelidir. Pilot oturum burada şarttır, çünkü test sırasında sorunu düzeltecek kimse yoktur.

Moderatörlü uzaktan testte görevi nasıl ileteceğinizi de planlayın. Moran ve Pernice görevleri tek tek vermeyi ve katılımcının yüksek sesle okumasını tercih eder. Görevleri moderatörün okumasını ise en az önerilen yol olarak anar.

Moderatörsüz oturumlar daha sessiz geçebilir. Schade bunun nedenini yazar: katılımcıya düşündüğünü sesli söylemesini hatırlatacak kimse yoktur. Sesli düşünme talimatını bu yüzden görev metninin başına açıkça yazın.

Kaç katılımcı ve kaç davet

Kaç kişiyle test edeceğiniz yöntemden çok çalışmanın amacına bağlıdır. Bunu kaç kullanıcıyla test etmelisiniz rehberinde ayrıca anlattım.

Schade, uzaktan çalışmalarda gelmeyen katılımcı oranının yüz yüze çalışmalardan yüksek olabileceğini yazar. Moderatörsüz oturumun iyi geçip geçmediğini de izleyene kadar bilemezsiniz. Yazı, gerektiğini düşündüğünüzden birkaç kişi fazla davet etmeyi önerir.

Panelden katılımcı alıyorsanız bir risk daha var. Whitenton'a göre panelde "profesyonel test kullanıcıları" olabilir. Fazla katılımcı alın ve işi gerçekten yapmayanların verisini çıkarın.

Araç seçimi

Burada marka önermeyeceğim. Whitenton'a göre araçların özellikleri ve fiyatları sık değişir.

Önce hedefinizi yazın, sonra bu hedefe göre olmazsa olmaz özellikleri seçin. Seçtiğiniz aracı bir pilotla deneyin, çünkü çalışmanın ortasında araç değiştirmek pahalıdır.

Moderatörsüz test aracı katılımcıyı oturum boyunca yönlendirmeli ve olanı kaydetmelidir. Analiz için Whitenton zaman damgalı etiketleme, notları dışa aktarma ve video kesiti oluşturmayı yararlı bulur. Nicel çalışmalarda ham veriyi dışa aktarabilmek gerekir.

Moderatörlü uzaktan test için ekran ve ses paylaşan bir görüşme aracı yeter. Moran ve Pernice, aracın katılımcı, izleyiciler ve moderatör için kolay kurulması gerektiğini yazar. İşletim sistemi ve tarayıcı gereksinimlerini erken kontrol edin.

İzleyicilerin sesini kapalı tutun. Kendi aralarında yazışmaları için onlara ayrı bir kanal açın.

Mobil test ayrı bir dikkat ister. Aynı yazıya göre mobil test araçlarında kararlılık sorunları olabilir ve her cihazı desteklemek zordur.

Cihaz ne olursa olsun, Moran ve Pernice oturumdan bir gün önce katılımcıyla 15 dakikalık bir çevrimiçi teknoloji denemesi önerir. Bu denemede asıl ürünü ve görevleri göstermezsiniz.

Maliyet ve süre kıyası

Burada rakam vermeyeceğim. Açtığım üç kaynak da para ya da gün cinsinden genellenebilir bir değer vermiyor. Ama yönü söyleyebilirim:

• Moderatörlü yüz yüze: Seyahat ve mekân gerektirir. Schade, bir dizi çevrimiçi çalışmanın seyahat etmekten çok daha az maliyetli olabileceğini yazar.
• Moderatörlü uzaktan: Moran ve Pernice, bu testin çoğu zaman yüz yüze testten daha ucuz ve hızlı olduğunu yazar. Zamanı alan şey araç kurulumu ve teknoloji denemesidir.
• Moderatörsüz uzaktan: Whitenton'a göre genelde en hızlısıdır, oturumlar aynı anda yürür. Ama planlama daha titiz olmalıdır, çünkü oturum sırasında prosedürü uyarlayacak kimse yoktur. Nitel analizde de her kaydı tek tek izlemeniz gerekir, çünkü Whitenton'a göre katılımcıların sözlü ve yazılı yorumları yanıltıcı olabilir.

Benim notum

Bir ekip bana "hangisi daha iyi" diye sorduğunda önce araştırma sorusunu sorarım. Cevap "kullanıcı neden vazgeçiyor" ise moderatörlü testten başlarım. Cevap "yeni buton yerini buluyor mu" ise moderatörsüz test yeter.

İki yöntemi sırayla da kullanabilirsiniz. Moderatörlü birkaç oturum sorunları ve doğru görev metnini gösterir. Aynı görevleri sonra moderatörsüz olarak daha çok kişiye verirsiniz.

Test bütçeniz yoksa önce en riskli akışı belirleyin. Ürünün tamamına uçtan uca bakan bir UX Audit Pro, testi hangi akışa harcayacağınızı gösterir.