Test A/B

Przykład testu A/B w którym zmiana koloru przycisku przekłada się na zmianę współczynnika kliknięć (uwaga: dane procentowe na rysunku prawdopodobnie nie mają charakteru empirycznego)

Testy A/B – metoda badawcza polegająca na porównaniu dwóch wersji strony internetowej celem wybrania tej wersji, która lepiej spełnia stawiane przed nią zadania. Porównywana może być aktualnie funkcjonująca wersja strony (z reguły „A”) i wersje alternatywnymi („B” – np. poprzednią lub nowszą).

Przedmiot badania

Za pomocą testów A/B można porównywać:

• strony różniące się wybraną jedną cechą np. różne wersje nagłówków czy kolorystyki,
• strony różniące się wieloma cechami.

Istotną charakterystyką testów A/B jest to, że w jednym badaniu porównuje się dokładnie jedną zmienną: zmienną tą może być np. wygląd nagłówka, ale również wygląd strony traktowany jako całość.

Test polega na skierowaniu strumienia tego samego odsetka ruchu na każdą z badanych wersji danej strony oraz porównaniu ich współczynników konwersji, czyli procentowej wielkości określającej stosunek użytkowników strony, którzy wykonali pożądaną akcję (np. zakup) do wszystkich użytkowników danej strony. Na tej podstawie można wnioskować o wpływie badanej zmiennej na to, jak strona spełnia postawiony przed nią cel.

Czas trwania testu A/B nie jest określony, jednak ze statystycznego punktu widzenia test powinien być zakończony wtedy, gdy uzyskane różnice współczynników konwersji są istotne statystycznie. Aby upewnić się, czy uzyskane wyniki są istotne statystycznie, zwykle stosuje się test proporcji.

Historia

Podobnie jak w większości dziedzin, ustalenie daty pojawienia się nowej metody jest trudne, ze względu na jej ciągłą ewolucję. Znaczącej zmiany dokonano, gdy zamiast wykonywać testy na podstawie informacji z populacji przeprowadzono test na samych próbkach. Pomysł ten wykorzystał w 1908 r. William Sealy Gosset (pseudonim Student), podając funkcję zależną od wyników pomiarów $X_{i},$ a niezależną od $\sigma$.

Inżynierowie Google przeprowadzili swój pierwszy test A/B w 2000 r., próbując ustalić, jaka będzie optymalna liczba wyników do wyświetlenia na stronie wyników wyszukiwania. Pierwszy test nie powiódł się z powodu zbyt wolnego czasu ładowania. Wykorzystywane w późniejszych latach testy A/B były bardziej zaawansowane. Do 2011 r. Google przeprowadził ponad 7000 różnych testów. Około 2010 r. stosowana była przez ponad 50% przedsiębiorstw.

Zalety i wady testów A/B

Testy A/B umożliwiają podejmowanie szybkich decyzji dotyczących elementów architektury informacji strony lub szaty graficznej. Są proste do przeprowadzenia, a ich wyniki są łatwe do interpretacji.

Największym minusem testów A/B jest brak możliwości testowania w jednym czasie wielu zmiennych, a co za tym idzie brak możliwości zbadania korelacji między zmiennymi, np. za pomocą testu A/B nie wywnioskujemy, jakie jest najlepsze powiązanie typu nagłówka i kolorystyki strony. Testy A/B nie sprawdzą się również w przypadku optymalizacji stron internetowych dla SEO. Zmiany wprowadzane na żywo nie są widoczne dla botów Google, które potrzebują znacznie więcej czasu na ich zaindeksowanie i uwzględnienie w obliczeniu rankingu.

Bibliografia

• Ash T., Landing Page Optimization – The Definitive Guide to Testing and Tuning for Conversions, Wiley Publishing, Inc., 2008