Sesli düşünme protokolü (think aloud) nasıl uygulanır?

Sesli düşünme nedir

Sesli düşünmede katılımcı bir görevi yaparken düşündüklerini anlatır. "Burada arama kutusu bekliyordum", "Bu buton beni nereye götürecek?" gibi cümleler kurar. Siz de ekranda ne yaptığını görür, nedenini aynı anda duyarsınız.

Jakob Nielsen 2012 tarihli NN/g yazısında yöntemi belki de tek başına en değerli kullanılabilirlik yöntemi diye anar. Tarifini üç adıma indirir: temsili kullanıcılar bulun, onlara temsili görevler verin ve susun.

Ben bu yöntemi neredeyse her kullanılabilirlik testinde kullanırım. Bu sayfada yöntemin kendisini anlatıyorum: türleri, talimat, moderatörün dili ve sınırları.

Neden bu kadar çok kullanılıyor

Nielsen'e göre sesli düşünme, kullanıcının yanlış anlamalarını duymanızı sağlar. Çoğu zaman neden yanlış tahmin ettiğini ya da bir şeyi neden kolay bulduğunu da duyarsınız.

Yöntem ucuzdur, özel bir ekipman istemez. Nielsen ayrıca sağlam olduğunu yazar: kötü yürütülen bir çalışma bile makul bulgular verir. İstisna, moderatörün kullanıcının yerine konuşup ona cümle vermesidir.

Bir de ikna gücü var. Nielsen'e göre oturumları izleyen en katı geliştirici, tasarımcı ve yönetici bile çoğu zaman yumuşar. Ben de aynısını görüyorum: bir katılımcının "Bu ne demek?" dediğini duymak, uzun bir rapordan daha hızlı etki eder.

Eşzamanlı ve geriye dönük sesli düşünme

İki ana tür var. Fark, katılımcının ne zaman konuştuğudur.

Eşzamanlı sesli düşünme

Katılımcı görevi yaparken konuşur. Moderatör yöntemi başta anlatır, katılımcı susunca da kısa bir dürtmeyle hatırlatır.

Geriye dönük sesli düşünme

Katılımcı görevi sessizce yapar, sonra anlatır. Jeff Sauro ve Jim Lewis bunun iki biçimini ayırır. Birinde katılımcı kendi kaydını izleyerek ne yaptığını açıklar. Diğerinde kayıt yoktur, katılımcı yaşadığını hafızadan anlatır.

Sauro ve Lewis'e göre videodan geriye dönük anlatım, görev başına süreyi en az iki katına çıkarır. Hafızadan anlatım ise büyük ölçüde katılımcının hatırladıklarına dayanır.

Hangisi daha iyi?

Van den Haak, De Jong ve Schellens 2003'te çevrim içi bir kütüphane kataloğunun testinde iki yöntemi karşılaştırdı. İki yöntem benzer sorunları buldu ama farklı yollarla. Geriye dönük oturumlarda sorunlar daha çok katılımcının anlatımından çıktı. Eşzamanlı oturumlarda ise daha çok gözlemden çıktı.

Aynı çalışmada eşzamanlı sesli düşünme görev performansını olumsuz etkiledi. Yani görev sırasında konuşmak işi zorlaştırabilir.

Ben varsayılan olarak eşzamanlı yöntemi seçerim, çünkü süre sınırlıdır ve tepkiyi o anda duymak isterim. Görev süresini ölçtüğüm ya da görevin dikkat istediği durumlarda geriye dönük anlatımı düşünürüm.

Yöntemin kökeni

Sauro ve Lewis'e göre yöntem başlangıçta K. Anders Ericsson ve Herbert A. Simon'ın çalışmalarına gevşek biçimde dayanıyordu. Bu çalışmalardan biri, ikilinin 1980'de Psychological Review'da yayımlanan "Verbal reports as data" makalesidir.

Sauro ve Lewis, Boren ve Ramey'in 2000'deki tespitini de aktarır: pratik, en sık atıf yapılan teorik temele çoğu zaman uymuyor. Boren ve Ramey bunun yerine konuşma iletişimini temel alan bir yaklaşım önerdi.

Katılımcıya talimat: örnek metin

Talimat kısa olmalı ve bir örnek içermeli. Çoğu insan gün boyu kendi kendine konuşmaz. Bu yüzden ne istediğinizi göstermeniz gerekir.

Ben oturumun başında şuna yakın bir metin okurum:

"Birazdan size birkaç görev vereceğim. Görevleri yaparken aklınızdan geçen her şeyi sesli söylemenizi rica ediyorum. Ne aradığınızı ve sizi neyin şaşırttığını anlatın. Burada test edilen siz değilsiniz, ürün. Yanlış yapabileceğiniz bir şey yok. Sorularınızı duyacağım ama çoğuna cevap vermeyeceğim, çünkü kendi başınıza ne yapacağınızı görmek istiyorum. Susarsanız size konuşmaya devam etmenizi hatırlatabilirim."

Nielsen 2014 tarihli yazısında bir adım daha önerir: katılımcıya başka birinin sesli düşündüğü kısa bir video gösterin. Ona göre bir dakikalık video iyi çalışır. İki dakikalık bir deneme ise fazla uzun gelmiş.

Videoyu hazırlarken Nielsen'in uyarılarına uyun. Videoda test ettiğiniz arayüzden farklı bir arayüz görünsün. Videonun konusu da çalıştığınız konu olmasın, yoksa katılımcıyı önceden yönlendirirsiniz.

Videodaki kişi ekipten biri olabilir. Hiç susmadan konuşsun ve espri yapmaya çalışmasın.

Uzaktan yapılan ve katılımcının sesli düşünmeye yeni olduğu testlerde de video işe yarar. Moderatörün olmadığı testleri moderatörlü ve moderatörsüz test rehberinde anlattım.

Moderatör nasıl yönlendirmez

Moderatörün asıl işi dinlemektir. Kara Pernice NN/g yazısında hiç konuşmamanın muhtemelen çok konuşmaktan iyi olduğunu yazar. Ama bunun ileri düzey bir moderasyon olmadığını da ekler.

Pernice'in önerisi basit. Konuşup konuşmamaya karar veremiyorsanız içinizden 10'a kadar sayın. Sonra katılımcının söylediğine bakın: gerçekten cevaplamanız gereken bir soru mu?

Konuşmanız gerektiğinde Pernice üç teknik önerir:

• Yankı. Katılımcının son kelimelerini soru tonuyla tekrar edersiniz. "Bu tablo garip" diyene "Tablo garip?" dersiniz.
• Bumerang. Size sorulan soruyu genel bir soruyla geri verirsiniz: "Siz ne düşünüyorsunuz?" ya da "Evde olsaydınız ne yapardınız?"
• Yarım soru. Pernice buna Columbo der. Sorunun bir kısmını söyleyip durursunuz, boşluğu katılımcı doldurur.

Kaçınılacak cümleler de net. Soruya "Sanırım öyle" diye cevap vermek ya da "Hayır, sorun yok" diye fısıldamak ipucu verir. "Soldaki filtreleri gördünüz mü?" diye sormak da aynı hatadır.

Nielsen'e göre dürtmeler ve açıklayıcı sorular çoğu zaman gerekir. Ama eğitimsiz bir moderatörün ağzından çıkınca katılımcının davranışını çok kolay değiştirebilirler. Bu yüzden yönlendirilmiş bölümleri bulup analizden çıkarmanızı önerir.

Katılımcı sessiz kalınca ne denir

Sessizlik normaldir. Nielsen'e göre katılımcıları konuşmaya devam ettirmek için genelde dürtmek gerekir. Bu yüzden dürtme cümlenizi önceden seçin.

Önce bekleyin. Katılımcı bir şeyi okuyorsa ya da karar veriyorsa, onu bölmeyin. Sessizlik uzarsa ve ne yaptığını anlayamıyorsanız, ben şu cümlelerden birini kullanırım:

• Şu an aklınızdan neler geçiyor?
• Ne düşündüğünüzü söylemeye devam eder misiniz?
• Şu an neye bakıyorsunuz?

Bu cümlelerin ortak noktası, içerik eklememeleri. "Menüyü mü arıyorsunuz?" demek ise katılımcıya hazır bir tahmin verir. "Zorlandınız mı?" demek de bir duyguyu varsayar.

Aşağıdaki kartlarda altı moderatör cümlesini kendiniz sınıflandırın.

Moderatör cümle düzeltici

Altı kartın her birinde cevap ve gerekiyorsa nötr hali görünüyor. JavaScript açıkken önce kendiniz sınıflandırıp skorunuzu görebilirsiniz.

1. Durum 1 Katılımcı bir ikonun üstünde duruyor: “Hmm, bu ne işe yarıyor acaba?”

   Moderatör “O filtre ikonu. Basınca sonuçları daraltabilirsiniz.”

   Cevap: Yönlendiriyor

   Moderatör cevabı veriyor. Artık ikonun kendini anlatıp anlatmadığını öğrenemezsiniz.

   Nötr hali “Ne işe yaradığını düşünüyorsunuz?”

2. Durum 2 Katılımcı yaklaşık 15 saniyedir susuyor ve ekrana bakıyor.

   Moderatör “Şu an aklınızdan neler geçiyor?”

   Cevap: Uygun

   Nötr bir dürtme. Ne düşünmesi gerektiğini söylemiyor, yalnızca konuşmaya davet ediyor.

3. Durum 3 Katılımcı: “Tamam, sanırım ödeme buradan yapılıyor.”

   Moderatör “Evet, çok iyi gidiyorsunuz!”

   Cevap: Yönlendiriyor

   Moderatör onaylıyor. Katılımcı doğru yolda olduğunu öğrenir ve sonraki adımlarda sizden işaret bekler.

   Nötr hali Hiçbir şey demeyin ya da yalnızca “Hı hı” deyin.

4. Durum 4 Katılımcı: “Bu tablo garip, şey… emin değilim ne…”

   Moderatör “Tablo garip?”

   Cevap: Uygun

   Yankı tekniği. Katılımcının kendi kelimelerini soru tonuyla geri verir, yeni bir fikir eklemez.

5. Durum 5 Katılımcı görevi bitirdi ve sonuç sayfasına bakıyor.

   Moderatör “Soldaki filtreleri gördünüz mü?”

   Cevap: Yönlendiriyor

   Soru, görmesi gereken yeri gösteriyor. Cevap ne olursa olsun, katılımcının o alanı kendiliğinden fark edip etmeyeceğini artık göremezsiniz.

   Nötr hali “Sayfanın şu bölümüne bir bakabilir misiniz…” deyip durun ve bölümü elinizle gösterin.

6. Durum 6 Katılımcı: “Üye olmadan da satın alabilir miyim?”

   Moderatör “Siz ne düşünüyorsunuz?”

   Cevap: Uygun

   Bumerang tekniği. Soruyu cevaplamadan geri verir. Katılımcı kendi başına olsa ne yapacağını gösterir.

Durumlar kurgusaldır. Seçimleriniz hiçbir yere gönderilmez ve saklanmaz.

Moderatör cümle düzeltici: altı müdahaleyi uygun ya da yönlendiren diye ayırın. Yankı, bumerang ve yarım soru örnekleri Kara Pernice'in NN/g yazısındaki tekniklere dayanır.

Kendi oturum kayıtlarınızı da aynı gözle dinleyin. Kendi kayıtlarımda en sık kaçırdığım cümle onaylama, çünkü kulağa nazik geliyor.

Sesli düşünmenin sınırları

Nielsen yöntemin zayıf yanlarını da açıkça sayar. İlki, durumun doğal olmaması: kendi kendine konuşmak tuhaftır. Nielsen'e göre katılımcılar yine de çoğu zaman göreve dalar.

Bir diğeri süzülmüş cümleler. Katılımcı akıllı görünmek için düşüncesini düzelterek söyleyebilir. Oysa sizin ihtiyacınız ham düşünce akışıdır.

İstatistik de zayıf kalır. Nielsen'e göre sesli düşünme, büyük ve pahalı bir çalışma olmadan ayrıntılı istatistik vermez.

Az katılımcıyla "neden" sorusunu cevaplarsınız. Sayıya ihtiyacınız varsa görev başarı oranı gibi metriklere bakın.

Görev süresi konusunda Sauro ve Lewis verilerin karışık olduğunu yazar. Bazı araştırmacılar sesli düşünmeyle görevlerin daha hızlı bittiğini bildirmiş. Sauro ve Lewis'e göre süre uzadığında, sebep konuşmaktan çok moderatörün araya girme biçimi olabilir.

Son olarak, sesli düşünme yalnızca katılımcının söylediklerini kaydeder. Söylenenle yapılanı birlikte okuyun. Katılımcıyla daha serbest konuşmak istiyorsanız kullanıcı görüşmesi daha uygun bir yöntemdir.

Benim notum

Sesli düşünmede en sık gördüğüm hata, moderatörün sessizlikten rahatsız olup konuşmasıdır. Ürünü tasarlayan kişi moderatörse risk daha da büyür. Katılımcı zorlandıkça içinizden yardım etmek gelir.

Bu yüzden ilk oturumlarınızı kaydedin ve kendi cümlelerinizi dinleyin. Her müdahaleyi yukarıdaki iki sınıftan birine koyun. Yönlendiren cümlelerin geçtiği bölümleri bulguya yazmayın.

Katılımcı sayısını da abartmayın. Kaç kişiyle başlamanız gerektiğini kaç kullanıcıyla test yapmalı rehberinde anlattım.