Heuristik değerlendirme nedir, nasıl yapılır?

Kısaca

Heuristik değerlendirmede bir arayüzü, elinizdeki kısa bir ilke listesiyle ekran ekran incelersiniz. Türkçede buna sezgisel değerlendirme ya da sezgisel analiz de deniyor. Üç ad da aynı yöntemi anlatır.

Yöntemi Jakob Nielsen ve Rolf Molich 1990'da ACM CHI'90 konferansında yayımladı. Bugün bilinen 10 ilkeyi de Nielsen, Molich ile birlikte bu yöntem için geliştirdi. İlkeleri Nielsen'in 10 kullanılabilirlik ilkesi sayfasında tek tek anlattım. Bu sayfa yöntemin kendisine odaklanıyor.

Nielsen'in tarifine göre yöntemin çıktısı, arayüzdeki kullanılabilirlik sorunlarının listesidir. Her sorun, çiğnediği ilkeyle birlikte yazılır. Ekip bu listeyi düzeltme sırasına koyar.

Heuristik değerlendirme bir UX audit ile aynı şey değildir. Audit bu yöntemi çekirdeğine alır. Üstüne akış, erişilebilirlik, içerik ve hız kontrolleri ekler.

Ne zaman işe yarar

Bence yöntemin en güçlü yanı, kullanıcı gerektirmemesidir. Katılımcı aramazsınız, randevu ayarlamazsınız. Elinizde yalnızca bir prototip olsa bile başlayabilirsiniz.

Ben en çok kullanıcı testinden önce kullanırım. Bariz sorunları önceden temizlerseniz, test oturumlarını daha ince sorunlara ayırabilirsiniz.

Yeniden tasarımdan önce de işe yarar. Neyin bozuk olduğunu görmeden ekranı yeniden çizerseniz, aynı sorunu yeni ekrana taşırsınız.

NN/g rehberi burada net bir sınır çizer: heuristik değerlendirme kullanıcı araştırmasının yerini tutmaz. Onu tamamlar ve bir sonraki kullanılabilirlik testinde nereye bakılacağını gösterir.

Kaç değerlendirici gerekir

Kısa cevap: üç ila beş kişi. NN/g'nin 2023 rehberi, ideal durumda bu sayıda kişinin aynı arayüzü birbirinden bağımsız değerlendirmesini önerir. Gerekçesi basit. Ne kadar deneyimli olursa olsun, her değerlendirici bazı sorunları kaçırır.

Bu öneri Nielsen'in kendi verisine dayanır. 1994'te yazdığı “The Theory Behind Heuristic Evaluations” yazısında altı projenin ortalamasını verir. Bu projelerde tek bir değerlendirici, kullanılabilirlik sorunlarının ortalama yalnızca yüzde 35'ini bulmuş.

Aynı yazıda bir eğri de var. Değerlendirici sayısı arttıkça bulunan sorun oranının nasıl yükseldiğini gösteriyor ve altı vaka çalışmasının ortalamasına dayanıyor. Nielsen eğriye bakarak yaklaşık beş değerlendirici kullanmanın makul olduğunu söyler.

Normalde önerdiği aralık yine üç ila beş kişi. Daha fazla kişi eklemenin ise çok az yeni bilgi getirdiğini yazar. Birden fazla değerlendiricinin kaç sorun bulacağını tahmin eden modeli ise Nielsen ve Landauer 1993'te ayrı bir makalede yayımladı.

Nielsen bir de maliyet örneği verir. Örnek projede en verimli sayı dört değerlendiricidir ve fayda maliyetin 62 katına çıkar. Bu rakam o projenin varsayımlarına bağlı. Sizin projenize olduğu gibi taşınmaz.

Bu sayılardan benim çıkardığım pratik sonuç şu: ikinci değerlendirici, birinciden sonra eklenebilecek en değerli kişidir. Bütçeniz darsa beş kişi aramayın, ama tek kişide de kalmayın. İki kişi bile listeyi belirgin biçimde değiştirir.

Neden birden fazla kişi bu kadar fark yaratıyor? Nielsen'in yazdığına göre birçok farklı projedeki deneyim, farklı kişilerin farklı sorunlar bulduğunu gösteriyor. Birinin kaçırdığını öteki görür.

Oturum adım adım

1. 1. Hazırlıkİlkeler, kapsam, kayıt yöntemi
2. 2. Bağımsız oturumKişi başı 1–2 saat, iki geçiş
3. 3. BirleştirmeBenzer bulgular tek satırda
4. 4. Önem derecesiHerkes ayrı puanlar, ortalama alınır
5. 5. ToplantıÖncelik ve sonraki adım

Şekil: Bir heuristik değerlendirmenin aşamaları. Sıralama NN/g rehberine ve Nielsen'in 1994 yazılarına dayanır.

1. Hazırlık

Önce ekipteki herkes ilkeleri okur ve anlar. NN/g, basit bir tasarım üzerinde bir deneme turu yapmayı önerir. Rehberin örneği bir hava durumu uygulaması.

Sonra kapsamı daraltın. NN/g'ye göre değerlendirme tek bir göreve, ürünün bir bölümüne, bir kullanıcı grubuna ya da tek bir cihaz türüne odaklanabilir. “Mobilde misafir olarak ödeme” iyi bir kapsamdır.

Son olarak bulguların nereye yazılacağına karar verin. NN/g üç seçenek sayar: kendi hazırladığı çalışma kitabı, bir tablo ya da Miro gibi bir dijital beyaz tahta. Tabloda her satıra tek bir gözlem ve ilgili ilke yazılır.

2. Bağımsız oturum

Her değerlendirici arayüzü tek başına inceler. Nielsen'e göre bir kişinin oturumu genelde bir iki saat sürer. NN/g de süreyi 1–2 saatle sınırlamanızı önerir.

Değerlendiriciler kendi işleri bitene kadar birbirinin notlarını görmez. Nielsen bulguların ancak bütün değerlendirmeler bittikten sonra paylaşılmasını ister. Böylece her liste bağımsız kalır.

Nielsen arayüzün üstünden en az iki kez geçmeyi önerir. NN/g'nin tarifinde ilk geçiş tanışmadır: görevi bir kullanıcı gibi yaparsınız ama henüz bir şey değerlendirmezsiniz. İkinci geçişte, ilkelerden birini çiğneyen her öğeyi not alırsınız.

Her notta üç şey olur: hangi ilkenin çiğnendiği, sorunun kısa bir tarifi ve isterseniz bir düzeltme önerisi. Beyaz tahtada çalışıyorsanız ekran görüntüsünün üstüne yapışkan not koymak işi kolaylaştırır.

Nielsen oturuma bir gözlemci de eklenebileceğini yazar. Gözlemci, değerlendiricinin yorumlarını kaydeder. Prototip takılırsa arayüzü kullanmasına yardım eder. Değerlendirici açıkça zorlanmadıkça ona ipucu vermez.

Bir ilkenin çiğnenmesi her zaman sorun değildir. NN/g bunu mobildeki hamburger menüyle anlatır: ekran dar olduğu için bu ödünleşim çoğu zaman zorunludur. Bu yüzden notuma ihlalin kullanıcıya maliyetini de yazarım.

Bulguları birleştirme

Herkes listesini bitirince bulgular tek yerde toplanır. NN/g bunun için benzeşim diyagramını (affinity diagram) önerir. Benzer bulgular fiziksel ya da dijital bir tahtada kümelenir.

Ekip sonra bu kümeler üzerine konuşur. NN/g rehberi tartışma için beş soru verir:

1. Nerede hemfikiriz, nerede ayrışıyoruz?
2. Hangi sorunlar genel deneyime en çok zarar veriyor?
3. Hangi sorunlar şirketin hedefleri için en sorunlu olabilir?
4. Hangileri için daha fazla veri gerekiyor, hangileri bir sonraki kullanılabilirlik testinde öne alınmalı?
5. Bu sorunlar için kısa ve uzun vadede hangi adımlar atılabilir?

Birleştirirken iki kurala uyarım. Aynı ekranda aynı ilkeye dokunan notlar tek bulgu olur. Beş ekranda tekrar eden belirsiz bir hata mesajı ise tek bir sistem sorunu olarak yazılır.

Nielsen değerlendirmenin sonunda bir toplantı da önerir. Değerlendiriciler, varsa gözlemci ve tasarım ekibinden temsilciler katılır. Toplantıda olası yeniden tasarımlar ve tasarımın iyi yanları da konuşulur.

Bir örnek: üç kişiyle ödeme akışı

Yöntemi somut görmek için hayali bir örnek kuralım. Bir e-ticaret sitesi, mobilde misafir olarak ödeme akışını değerlendirmek istiyor. Ekipte üç değerlendirici var: bir tasarımcı, bir ürün yöneticisi ve ben.

Hazırlıkta herkes ilkeleri okuyor ve kapsamı yazıyoruz: “Telefonda, üye olmadan, kuponlu bir siparişi tamamlamak.” Kayıt için ortak bir tablo açıyoruz ama herkes kendi sekmesine yazıyor.

İlk geçişte üçümüz de siparişi baştan sona bir kez veriyoruz, not almadan. İkinci geçişte durup her ekranı ilkelerle karşılaştırıyoruz.

Tasarımcı, kupon hatasının sayfanın en üstünde çıktığını ve aşağı kaydırılmış ekranda görünmediğini yazıyor. Ürün yöneticisi aynı ekranda başka bir şey görüyor: kupon kutusu boşken bile “Uygula” butonu etkin. Ben ise seçili teslimat adresinin zor fark edildiğini not ediyorum.

Birleştirmede tabloları yan yana koyuyoruz. Kupon hatası iki listede birden var, adres sorunu ise yalnızca bende. Kupon kutusundaki etkin buton da tek kişinin notu olarak kalıyor.

Sonra birleşik listeyi üç kişiye de gönderiyorum. Her birimiz her bulguyu ayrı puanlıyoruz. Kupon hatası 3, 4 ve 3 alıyor, ortalaması 3,3. Adres sorunu 2 ve 2 alıyor.

Toplantıda kupon hatası listenin başına çıkıyor. Puanlar birbirinden biraz farklı ama üçü de onu en az büyük sorun sayıyor. Aşağıdaki araçta bu örneğin tablosunu kendiniz değiştirebilirsiniz.

Bir bulgu nasıl yazılır?

Notlar aynı kalıpla yazılırsa birleştirme kolay geçer. Ben her bulguda şunları isterim:

• Yer: akış, adım ve ekran adı.
• Sorun: kullanıcı açısından, tek cümleyle.
• İlke: hangi ilkeye dokunduğu, numarasıyla.
• Kanıt: ekran görüntüsü ya da kısa bir ekran kaydı.

“Kupon validasyonu hatalı” bir geliştirici notudur. “Kupon hatası görünmüyor” ise ekipteki herkesin aynı şekilde anladığı bir başlıktır. Bu fark önemli, çünkü puan verecek kişi sorunu kendisi bulmamış olabilir.

Önem derecesi nasıl verilir

Önem derecesi, sınırlı zamanınızı önce hangi soruna harcayacağınızı söyler. Nielsen'in 1994 tarihli yazısına göre derece üç etkenin birleşimidir: sıklık, etki ve kalıcılık. Nielsen bunlara ayrıca pazardaki etkiyi ekler:

• Sıklık: sorun ne kadar yaygın?
• Etki: kullanıcı onu aşmakta ne kadar zorlanıyor?
• Kalıcılık: kullanıcı bir kez mi takılıyor, her seferinde mi?
• Pazardaki etki: aşması kolay bir sorun bile ürünün sevilmesine zarar verebilir.

Ölçek 0'dan 4'e gider. Aşağıda Nielsen'in tanımlarını kendi Türkçe karşılıklarımla veriyorum.

Derece	Adı	Ne demek
0	Sorun değil	Değerlendiren kişi bunun bir kullanılabilirlik sorunu olduğuna katılmıyor.
1	Kozmetik	Yalnızca kozmetik bir sorun. Projede fazladan zaman kalmadıkça düzeltilmesi gerekmez.
2	Küçük sorun	Düzeltmesine düşük öncelik verilir.
3	Büyük sorun	Düzeltilmesi önemlidir, yüksek öncelik verilir.
4	Felaket	Ürün yayına çıkmadan önce düzeltilmesi şarttır.

Dereceler oturumun içinde verilmez. Nielsen'e göre değerlendirici oturumdayken dikkatini yeni sorun bulmaya verir. Bu yüzden oturumlar bittikten sonra herkese bulunan bütün sorunların listesi gönderilir.

Listedeki her sorun ayrıntılı tarif edilir, gerekirse ekran görüntüsüyle. Her değerlendirici sorunların yalnızca bir kısmını kendisi bulduğu için bu tarif şarttır. Herkes puanını diğerlerinden bağımsız verir.

Nielsen'e göre puan vermek değerlendirici başına yaklaşık 30 dakika sürer. Tek kişinin verdiği dereceleri fazla güvenilmez bulur. Üç değerlendiricinin ortalamasını ise çoğu pratik iş için yeterli sayar.

Nielsen'in bir de yayın kararıyla ilgili notu var. Birkaç felaket düzeyinde sorun kaldıysa arayüz büyük olasılıkla yayına çıkmamalıdır. Kalan sorunların hepsi kozmetikse yayına çıkmak makul olabilir.

Deneyin: bulgu tablosu

Aşağıdaki araç, bir değerlendirme oturumunun kayıt kısmını taklit ediyor. Değerlendiriciyi seçin, ekranı yazın, çiğnenen ilkeyi ve önem derecesini işaretleyin.

Aynı ekran ve aynı ilke için ikinci bir değerlendirici puan verirse satır birleşir. Tablo ortalamaya göre sıralanır. Tek kişinin puanladığı satırlar ayrıca işaretlenir, çünkü Nielsen tek kişinin derecesine güvenmez.

Bulgu tablosu

Bulgu tablosu

Aşağıda üç değerlendiricinin örnek bulguları var. Kendi bulgunuzu eklemek için JavaScript gerekir.

Ekran	İlke	Puanlar	Ortalama	Not
Ödeme · Adım 2	9. Hataları tanıma, anlama ve düzeltme	D1: 3 · D2: 4 · D3: 3 3 kişi	3,3 · Büyük	Kupon hatası sayfanın en üstünde çıkıyor, mobilde görünmüyor.
Ödeme · Adım 1	1. Sistem durumunun görünürlüğü	D1: 2 · D3: 2 2 kişi	2,0 · Küçük	Seçili teslimat adresi yalnızca ince gri çerçeveyle ayrılıyor.
Sepet	4. Tutarlılık ve standartlar	D2: 1 Tek kişi	1,0 · Kozmetik	Silme ikonu diğer ekranlardakinden farklı.

Örnek bulgular hayali bir ödeme akışından, gerçek bir müşteri işinden değil. Değerlendirici seçin, ekranı yazın, çiğnenen ilkeyi ve önem derecesini işaretleyip ekleyin. Aynı ekran ve aynı ilke için gelen puanlar tek satırda birleşir ve ortalaması alınır. Önem ölçeği Jakob Nielsen'in 0–4 ölçeğinden uyarlandı.

“Panoya kopyala” tabloyu düz metin olarak alır. Bunu bir e-postaya, bir iş takip aracına ya da toplantı notuna yapıştırabilirsiniz.

Yöntemin sınırları

Kullanıcının neden takıldığını söylemez. Değerlendirici bir sorunu ilkeye bakarak tahmin eder. Gerçek kullanıcı aynı yerde hiç takılmayabilir ya da bambaşka bir yerde takılabilir.

Değerlendiricinin bilgisine bağlıdır. İlkeleri yeni öğrenmiş biri bir sorunu kaçırabilir ya da küçük bir sapmayı büyütebilir. NN/g deneme turunu, ekipteki herkesin kendisinden ne beklendiğini anlaması için önerir.

Geniş kapsamda dağılır. NN/g büyük ya da karmaşık ürünlerde kapsamı dar tutmayı önerir. “Bütün uygulama” diye başlayan bir değerlendirme hiçbir akışa yeterince bakmadan biter.

İyi yanları görünmez bırakabilir. Yöntem sorun aramak üzerine kuruludur, liste yalnızca eksikleri sayar. Nielsen bu yüzden son toplantıda tasarımın iyi yanlarının da konuşulmasını önerir. Böylece ekibin düzeltirken çalışan bir şeyi bozma riski azalır.

Önem derecesi bir görüştür. Ortalama almak tek kişinin yanılgısını azaltır ama sıfırlamaz. Puanlar arasında 0 ile 4 gibi büyük bir fark varsa, o bulguyu toplantıda ayrıca konuşun.

Bilerek çiğnenen ilke gerekçe ister. NN/g'ye göre bir ilkeyi bilerek çiğnemek nadir olmalı. Böyle bir karardan önce gerekçeyi kullanıcı araştırmasıyla toplayın.

Benim notum

Ben çoğu işte tek başıma çalışıyorum. Bu yöntemde en zayıf noktam da bu. Nielsen'in yüzde 35 rakamı aklımdan çıkmıyor. Tek bir değerlendirici olarak her şeyi bulduğumu iddia etmiyorum.

Bunu iki yolla dengeliyorum. İki geçişi farklı günlerde yapıyorum. İkinci turda ürüne biraz daha uzaktan bakabiliyorum. Dereceleri de liste bittikten sonra ayrı bir turda veriyorum, Nielsen'in önerdiği gibi.

Emin olmadığım bir bulguyu açıkça öyle işaretliyorum. Ekipten de büyük bir karardan önce o bulguyu gerçek kullanıcıyla denemesini istiyorum. Ürün tek bir akıştan büyükse, kapsamı akışlara bölüp her birine ayrı bakıyorum.