Przedstawiamy 10 punktów o których warto pamiętać tworząc zdalne badanie użyteczności. Listę stworzyliśmy na podstawie własnych doświadczeń, oraz podczas współpracy z naszymi Klientami.

Każde badanie UX ma swój „charakter”- określoną metodologię, liczbę osób potrzebnych do badania, zalety i wady. Część badań jest dosyć podobna, jednak nie zawsze wszelkie złote wskazówki z jednego typu można przełożyć na drugi. W zdalnych badaniach niemoderowanych bardzo ważny jest fakt, że użytkownik nie ma z nami kontaktu. Co więcej nie ma również obok moderatora, który mógłby w razie problemów pokierować. Stąd też forma komunikacji jest bardzo ważna.

Zebraliśmy więc kilka wskazówek, niuansów, które mogą pomóc w konstruowaniu takiego badania. Tak więc zaczynamy

1. Jedno badanie nie odpowie na wszystkie Twoje pytania

Badacze często zmagają się z pokusą aby przemycić do badania najwięcej jak się da. Oznacza to m.in. że w jednym badaniu trzeba będzie sprawdzić jak na stronie zachowują się light userzy oraz hard userzy, jakie problemy mają użytkownicy na kluczowej ścieżce oraz na kilku pobocznych itd. Skutki takich zachowań mogą mieć fatalny wpływ na wyniki np. całe badanie nie będzie miarodajne, a tym samym trzeba będzie je przeprowadzić ponowne.

Opierając się na konkretnych przykładach np. o dodatkowej funkcjonalności, która byłaby niezwykle potrzebna, aczkolwiek skorzystałaby z niej garstka osób (hard userów) nie może decydować grupa testerów typu light, która jej nie zrozumie.

Tak naprawdę najbardziej efektywne są takie badania, w których stosujemy zasadę brzytwy Ockhama – ograniczamy liczbę zmiennych i koncentrujemy się na jednym najważniejszym. Dlatego też najlepszą metodą jest wybranie tego co kluczowe i skupienie się tylko na tym.

2. Ograniczona liczba zadań w badaniu

Moderatorom badań czasem się wydaje, że 10 zadań w jednym badaniu jest jak najbardziej właściwą liczbą, bo sami wykonują je szybko. Nic bardziej mylnego! Twórca badania ocenia je subiektywnie, ze swojej perspektywy. To, że on sam wykona je w 15 min, nie oznacza, że tester poświęci tyle samo czasu.

Jakie są główne przyczyny? Badacz szybciej przeklika się przez stronę, bo ją zna. Użytkownik nie. Po pierwsze spędzi więcej czasu podczas wstępnego rozeznania się na stronie, a po drugie przyzwyczajając się do samej specyfiki badania zdalnego.

Długość ma znaczenie, tylko w tym przypadku odwrotnie 🙂 Średnio po pięciu zadaniach (lub ok. 10-15 minut) użytkownicy zaczynają czuć się niekomfortowo – są zmęczeni, znużeni i nie przykładają się do wykonywania zadania tak jak na początku. I pamiętajmy, że jest to nie tylko długość trwania zadań scenariuszowych, ale również czas poświęcony na odpowiedzi na pytania.
Dlatego też rekomendujemy dodanie do naszego czasu wykonywania badania około 10 minut oraz ograniczenie go pod wzgledem ilości do 4-5 zadań.

3. Wprowadzenie kontekstu w treści zadań

Należy pamiętać, aby zawsze wpływać na wyobraźnię użytkowników i w treści zadań wprowadzać odpowiedni kontekst. Mimo tego, że np. zrekrutowaliśmy do badania osoby kupujące w przeciągu ostatnich 6 miesięcy telewizor, mogą one nie pamiętać dokładnie jak wyglądał ich proces decyzyjny. Dodatkowo jeśli mówimy o testach pierwszego wrażenia, samo pokazanie strony i zapytanie się ludzi co o niej sądzą nie wystarczy.

Nasze badanie nie jest bowiem stuprocentowo naturalnym kontekstem użycia strony. Użytkownicy zazwyczaj trafiają na witrynę z jakiegoś źródła (np. z reklamy, wyszukiwarki, z kanału social media), wiedzą zatem, czego mogą się spodziewać (kontekst poznawczy następuje jeszcze zanim wejdą na stronę; z punktu widzenia poznawczego zadaniem strony jest tylko potwierdzenie, że dobrze się trafiło). Szukając szafki – trafiają na stronę z meblami; chcąc kupić książkę – do księgarni internetowej.

Dlatego przed pokazaniem użytkownikom stron i zapytaniem co o niej sądzą, zarysuj ten kontekst sytuacyjny, np. „Wyobraź sobie, że chcesz kupić w prezencie dla rodziców telewizor i trafiłeś na stronę, którą zaraz zobaczysz. Przyjrzyj się jej, a następnie odpowiedz na pytania”. Użytkownikowi wtedy łatwiej jest zrozumieć, gdzie wszedł, po co, co chce zrobić.

Dodatkowo kontekst można pogłębić jeszcze zanim osoba rozpocznie realizację zadania. Dobrą strategią jest zadanie kilku pytań naprowadzających jeszcze przed przystąpieniem do badania. (pomagają one przypomnieć sobie konkretną sytuację). Przykładami mogą być: Zaznaczyłeś wcześniej, że w ciągu ostatnich 6 miesięcy szukałeś telewizora. Postaraj się przypomnieć sobie tą sytuację. Gdzie szukałeś tego telewizora? Z jakich stron internetowych najczęściej korzystałeś? Co było dla Ciebie ważne, co miało znaczenie? Czy było coś, co Ciebie pozytywnie lub negatywnie zaskoczyło podczas poszukiwań? Czy ostatecznie udało się znaleźć produkt w internecie? Takie pytania są odzwierciedleniem wywiadów wprowadzających w typowych badaniach laboratoryjnych. Z jednej strony pomagają badanemu wczuć się w kontekst, z drugiej pomagają nam lepiej go zrozumieć jako jednostkę – w kontekście sposobu poszukiwań, itp.

Pamiętajmy jednak, że w badaniach jakościowych odpowiedzi te są deklaratywne i nie powinniśmy ich odnosić do całej populacji użytkowników danego serwisu 🙂

4. Brak pytań sugerujących w treści zadań

Pamiętaj, aby w treści zadań nie używać pytań sugerujących. Jeśli chcesz zbadać konkretną funkcjonalność nie nazywaj jej wprost. Działając w ten sposób, użytkownicy będą się fokusowali na konkretnym słowie i skanowali stronę w celu znalezienia go.
Przykładem może być chęć zbadania funkcjonalności “Ulubione” na stronie z ofertami mieszkaniowymi. Twój scenariusz nie powinien wyglądać w ten sposób “Zastanawiasz się nad kupnem mieszkania. Znajdź kilka ofert i dodaj je do “Ulubionych”. Może natomiast wyglądać tak “Zastanawiasz się nad kupnem mieszkania.Poszukaj na stronie ofert i wybierz 3 najciekawsze. Znajdź na tej stronie funkcjonalność, która pozwoli Ci je zachować na później, tak aby móc szybko do nich wrócić.”
Podobnie w przypadku ankiet, zadawaj pytania otwarte np. Jak oceniasz tą stronę, w kontekście zadania które przed chwilą wykonywałeś (1- problematyczna, 5 – łatwa w obłudze)

5. Wykonywanie soft launchów

Soft launche należy przeprowadzać! W pierwszym kroku na sobie – aby wychwycić literówki, działanie strony, oraz w drugiej kolejności – na małej ilości osób- znajomych, kolegach z pokoju (np. 2 osobach). To z kolei pozwoli zweryfikować jasność treści zadań, zmierzyć czas potrzebny na testy oraz sprawdzić wygląd wyników i je wstępnie przeanalizować. Przed finalnym uruchomieniem badania, jesteśmy jeszcze w stanie skonfrontować te elementy i je zmodyfikować.

Soft launche są o tyle ważne, że niezawsze respondent zrozumie nasze intencje w zadaniu. Nieraz interpretacja tekstu pisanego jest daleka od naszych przypuszczeń. Stąd sprawdzajmy najpierw, na ile jesteśmy zrozumiali, a dopiero później uruchamiajmy rekrutację szerzej.

6. Przyłożenie dużej wagi do treści Powitania i Podziękowania w badaniu

Tworząc badanie usability zazwyczaj największą wagę przywiązujemy do jego środka, czyli konkretnych zadań, które mają wykonać użytkownicy. Nie można zaprzeczyć, że są one ważne. Jednak pierwszy ekran, z jakim spotkają sie testerzy będzie „Zaproszeniem do badania”.

Spójrzmy prawdzie w oczy – użytkownicy biorąc udział w badaniu robią nam ogromną przysługę. Jeśli nie dysponujemy żadną formą nagrody, nie otrzymują oni nic w zamian, a dodatkowo tracą swój czas. Przyznać należy, że bardzo mało jest osób pomagających pro bono, a jeszcze ciężej jest je znaleźć. Dlatego doceń to i podkreśl. Zastanów się, jaki tekst przekonałby Ciebie.

Na pewno ogromny nacisk należy położyć na podkreślenie wagi sytuacji oraz pomoc twórcom produktu w jego rozwoju. Szczególnie ważne jest to w przypadku testów produktu na własnych Klientach, którzy mają już wyrobione zdanie o firmie. To samo dotyczy samego Zakończenia badania, czyli Podziękowania za udział. Zwykłe „Zapraszam, Dziękuję, Pozdrawiam” może nie wystarczyć.

Podczas konstruowania treści zaproszenia pamiętaj o następujących informacjach:

• cel badania
• informacja czego badanie będzie dotyczyło
• struktura badania np. podczas badania zadamy Ci kilka pytań i poprosimy o zrealizowanie zadania na stronie
• czas trwania badania
• informacja o tym, jaki będzie kolejny krok np. za chwilę pobierzesz nieinwazyjny program, który zarejestruje Twoje ruchy na stronie
• informacja o tym, że udział jest dobrowolny
• anonimowość
• informacje o nagrywaniu pulpitu i wizerunku (w przypadku testów, w których rejestrowane są reakcje użytkowników)

Co ważne przy tym – tekst ten nie powinien być długi – próbuj trzymać się dwóch akapitów po 3 (max 5) wiersze. Bo nikomu się nie będzie chciało czytać “blachy tekstu”.

7. Ergonomia ankiet

Ankiety są niezwykle ważnym elementem patrząc pod kątem całego badania, dlatego przyłóż do nich szczególną uwagę.

• • Stale dopytuj i wykorzystuj ankiety jak najczęściej

Mimo tego, że w czasie testów funkcjonalnych ludzie zazwyczaj są proszeni o komentowanie na głos tego co aktualnie robią, mogą tego nie wykonywać. Powodów jest kilka.

• Naturalnym zachowaniem nie jest mówienie do komputera, gdzie się klika i dlaczego 🙂
• Sama aktywność np. znalezienia czegoś, jest czasem na tyle zajmująca, że ludzie zwyczajnie zapominają o komentowaniu i skupiają sie na samym zadaniu
• Niektórzy ludzie, zwyczajnie wolą coś opisać tekstowo niż powiedzieć – taki problem często występuje również w badaniach laboratoryjnych, gdzie moderator musi co chwilę dopytywać małomównych respondentów.

Dlatego też pytajmy respondentów o realizację zadań. Zadawajmy pytania, czy coś ich zaskoczyło, jak oceniają łatwość realizacji swojego celu, na ile strona była pomocna w jego realizacji.

Co jest przy tym ważne – ludzie przyzwyczajają się do produktu z którego korzystają oraz zapominają co robili na początku.
Jeśli zapytamy respondentów po trzech zadaniach, jak oceniają stronę, ocenią przez pryzmat całości doświadczeń na stronie. Nie będą jednak pamiętać, jak im szło z poszczególnymi zadaniami na stronie. Wspomagajmy się zatem ankietami – zadawajmy pytania po każdym zadaniu, a na koniec zapytajmy o całokształt oceny witryny.

• Ludzie z reguły chętniej wybierają z podanych opcji niż piszą. Dlatego uważaj z ilością pytań otwartych. Jedno w jednym bloku ankiet w zupełności wystarczy.
• Dodawanie w ankiecie dwóch końcowych odpowiedzi- „nie wiem”, „nie mam zdania”. Z pozoru bardzo prozaiczny element, jednak bardzo często się o nim zapomina konstruując schemat badania. Należy pamiętać, aby w większości przypadków do ankiet dodawać odpowiedzi końcowe „nie wiem” oraz „nie mam zdania”. Użytkownicy powinni mieć wolny wybór w swoich osądach, także zmuszanie ich do wybrania którejkolwiek z naszych odpowiedzi, absolutnie nie wchodzi w grę. Kiedy natomiast jest to zbędne? W przypadku pytań gdzie nie pytamy się o opinię, tylko o fakty na które musimy
  poznać odpowiedzi. W gronie tych pytań będą zapytania o płeć, wiek, miejsce zamieszkania czyli standardowa metryczka.
• Niektóre pytania ankietowe można rozwiązać również zadaniem card sortingowym (np. wybierz elementy/cechy, które najlepiej opisują stronę. Pozostałe włóż do koszyka „inne”). Unikaj tego! Głównie z uwagi na wygodę testerów- dużo łatwiejsze jest wyklikanie odpowiedzi niż przeciąganie elementów (drag and drop)

8. Wyciąganie wniosków na podstawie różnic

Punkt ten ma szczególne uzasadnienie w przypadku stron z branży e-commerce. Testując strony tego typu moderatorzy często nabierają się na z pozoru złudne wnioski – jeśli testerzy znaleźli produkt z jednej kategorii to na pewno strona nie wymaga zmian.

Rzeczywistość jednak może wyglądać inaczej – to, że użytkownicy znaleźli jeden produkt np. suszarkę, wcale nie oznacza, że znajdą równie łatwo i szybko telewizor. Specyfika jednej kategorii produktowej może zupełnie nie pokrywać się z drugą- w grę wchodzą filtry wyszukiwania, terminologia, ilość produktów i ich opisy i wiele więcej. Inaczej zatem użytkownicy będą szukać produktów na tzw. kategoriach highendowych (czyli często wykorzystywanych, dopracowanych, itp.), a inaczej na lowendowych (czyli tych rzadziej wykorzystywanych).

Są trzy rozwiązania dla tego zagadnienia:

• Pierwszym jest całkowite pominięcie w badaniu tych kategorii, które mają drugorzędzne znaczenie. Stosując brzytwę Ockhama po prostu wykluczamy zbędne zmienne, np. przygotowując zadania tylko dla jednej / dwóch kategorii produktowych o największym natężeniu ruchu; mając jednak w świadomości, że nie wiemy, czy później odniesiemy to doświadczenie do innych kategorii,
• Drugim jest stworzenie 2-3 badań na małych próbach testerów np. po 5-8 osób – dla różnych kategorii produktowych. Otrzymujemy wtedy przekrój informacji dla każdej z kategorii i wnioski traktujemy holistycznie,
• Trzecie (i najgorsze z punktu widzenia wniosków) jest poproszenie respondentów o realizację trzech zadań na stronie jedno po drugim. Teoretycznie wtedy respondenci ‘zahaczą’ o każdą kategorię, z drugiej jednak strony każdą kolejną zrealizują przez pryzmat poprzedniej (korzystając z tych modeli i schematów zachowań, które się sprawdziły wcześniej).

9. Badanie nierealizowalnych ścieżek

Zadaniem Projektantów UX jest wymyślanie super innowacyjnych rozwiązań, natomiast Badaczy – badanie ich. Nie wszystko jednak da się zbadać oraz wytłumaczyć użytkownikom. Mamy na myśli sytuację, w której zadanie opiera się na skorzystaniu z kosmicznej i niepotrzebnej z punktu widzenia realizacji celu funkcjonalności (co wcale nie znaczy, że nieprzydatnej – po prostu użytkownik powinien zrozumieć jej celowość, by chcieć z niej skorzystać), przy tym też trudniejszej do opisania w scenariuszu użycia.

Tworząc taką funkcjonalność chcielibyśmy móc ją również zbadać – zweryfikować łatwość znalezienia i prostotę samego skorzystania. Jednakże nie wiemy, jak wytłumaczyć ją użytkownikowi, żeby z jednej strony nie nakierować, a z drugiej nie powiedzieć za mało. Zwłaszcza, że na pierwszy rzut oka respondent może powiedzieć „po co miałbym w ogóle coś takiego robić na tej stronie?”.

W tej sytuacji należy spojrzeć prawdzie w oczy – nie wszystkie funkcjonalności zbadamy zdalnymi badaniami. Czasem lepiej i wygodniej jest spotkać się z osobami i porozmawiać o takiej opcji, wyjaśnić, gdzie by tego szukali, itp.

10. Wyciąganie hipotez na podstawie wyników z Google Analytics

Gdy badamy działające strony nie opierajmy się wyłącznie na przypuszczeniach wynikających z intuicji. Najpierw przeanalizujmy statystyki, prześledźmy źródła wejść, ścieżki poruszania, miejsca opuszczenia witryny. Wysegmentujmy ruch, by określić pewne tendencje. Dopiero wtedy analizujmy poszczególny typy segmentów.

W ten sposób otrzymamy bardziej miarodajne wyniki w kontekście korzystania, co więcej – po zrealizowaniu badania jesteśmy w stanie bardziej efektywnie odnieść do danego segmentu populacji – a co za tym idzie – wyestymować efektywność badań i ROI.