Maciek Tyśper
Choć analizy eksperckie, intuicja i doświadczenie wciąż są bardzo ważnym elementem w orężu współczesnego marketingowca, to w epoce big data i analizy danych, aby udowodnić swoje racje, trzeba dysponować twardymi dowodami i liczbami. W świecie online strategie oparte o „mędrca szkiełko i oko” mają wyższość nad tymi, które bazują wyłącznie na „czuciu i wierze”. Analizując dwa teksty reklamowe nie poprzestaje się na „wydaje mi się, że ten będzie lepszy” – potrzebne są testy, miary sukcesu i podsumowania. Profesjonalne podejście do problemu wymaga obiektywnej i chłodnej oceny. Na etapie tworzenia kreacji reklamowych, stron WWW, newsletterów czy też na poziomie optymalizacji konwersji nie istnieją panacea na wszystkie dolegliwości, nie ma uniwersalnie idealnych rozwiązań, a sukces można osiągnąć dopiero łącząc dobre pomysły z wiarygodnymi testami skuteczności.
Korzystał z nich Barack Obama, regularnie używa ich Google i wiele innych firm, nie tylko tych z listy Fortune 500. Przy odpowiedniej skali potrafią wpłynąć na setki milionów dolarów przychodu. Czy jest to narzędzie tylko dla dużych graczy? Nie. Ty także możesz osiągnąć wymierne korzyści dzięki użyciu testów A/B.
50 odcieni niebieskiego
Testy A/B to metoda, która z dwóch (lub czasami więcej) wersji pewnego rozwiązania pomaga wybrać tę bardziej skuteczną. Dane i statystyki zebrane w czasie testów są podstawą do wyciągania wniosków i wskazywania optymalnych wdrożeń.
Sztandarowym i często przytaczanym przykładem pokazującym biznesową istotność wykorzystywania tej metody jest sposób, w jaki Google dzięki odpowiedniemu odcieniowi koloru niebieskiego w wynikach wyszukiwania zyskuje $200 mln rocznie. Projekt ten prowadziła Marrisa Meyer, zanim jeszcze zdecydowała się przenieść do Yahoo. Założenia testu były proste: 1% użytkowników Google widział jeden odcień niebieskiego, a w międzyczasie inny 1% widział odcień odmienny. Uruchomiono jeszcze 40 takich testów, by pokryć więcej możliwości. Odcień wpadający w fioletowy okazał się bardziej klikalny, niż wariacje odchylające się ku zielonemu. Ze względu na ogromną liczbę użytkowników wyszukiwarki oraz bezpośrednie przełożenie klikalności linków sponsorowanych na przychody firmy, zyski z przeprowadzenia testu okazały się bardzo wysokie.
Testy A/B i prezydent USA?
Podczas prowadzenia kampanii prezydenckiej w 2007 roku, na oficjalnej stronie Baracka Obamy przeprowadzono prosty test, polegający na sprawdzeniu różnych przycisków z wezwaniem do działania w połączeniu z obrazkami i filmikami – celem było zwiększenie liczby osób zapisujących się do bazy mailingowej. Oszacowano, że dodatkowa liczba adresów e-mail, która wynikała z wyższego współczynnika konwersji zwycięskiej wersji, przełożyła się na $60mln datków.
Barack Obama
Jak zaplanować testy A/B?
Pierwszym i najważniejszym krokiem jest zdefiniowanie celu i wskaźnika sukcesu. Chcesz zwiększyć liczbę zapisów do newslettera, zmniejszyć ilość porzuconych koszyków, a może po prostu poprawić klikalność reklam? Musisz zdecydować o tym już na samym początku. Z góry należy też ustalić sposób, w jaki zmierzysz, która wersja okazała się lepsza. Współczynniki konwersji, klikalności czy porzuceń nie od dziś towarzyszą marketingowcom i teraz także okażą się przydatne. Pamiętaj jednak, że dana zmiana może pozytywnie wpłynąć na jeden wskaźnik, jednak niekorzystnie odbić się na drugim.
Następnym krokiem jest określenie elementów, które będą testowane. Można kierować ruch na dwa, całkowicie różne landing page’e, można zmienić jedynie kolor nagłówka lub treść wezwania do działania. Pamiętaj jednak o tym, że nie zawsze mała zmiana generuje duże różnice i w przypadku zdecydowanej większości firm, powtarzanie testu Marrisy Mayer u siebie na stronie może okazać się stratą czasu. Największą szansę na uzyskanie istotnych rezultatów masz wtedy, gdy testowane zmiany także są znaczące. Postaraj się stworzyć hipotezę, a testy wykorzystaj do jej weryfikacji.
W ramach testu losowi użytkownicy Twojej strony czy np. odbiorcy reklamy będą widzieć różne testowane warianty. Dla tych wariantów śledzić będziesz statystyki, a wybrany wcześniej wskaźnik skuteczności da odpowiedź, która wersja jest zwycięzcą testu. Pytanie tylko, czy jest nią naprawdę?
Istotność statystyczna
Intuicyjnie z pewnością odczuwasz, że jeśli reklama miała 3 wyświetlenia, 2 kliknięcia i CTR na poziomie 67% to niekoniecznie oznacza to, że jej konkurencyjna wersja z 3 wyświetleniami i 1 kliknięciem, ale o połowę niższym współczynnikiem klikalności, rzeczywiście jest gorsza. Aby osądzić, która wariacja jest lepsza, próba musi być odpowiednio duża, a rozbieżność wskaźników stosunkowo wyraźna. W tym miejscu wspomnieć należy o istotności statystycznej.
Nie musisz jednak szczegółowo zagłębiać się we wzory matematyczne na wariancję czy test T-studenta. Nie musisz też dokładnie studiować metod estymacji interwałowej. Powszechność stosowania testów A/B zaowocowała wysypem różnego rodzaju kalkulatorów, które w bardzo prosty sposób pomagają określić czy wyniki są istotne statystycznie. Najczęściej ogranicza się to do podania liczby sukcesów i odsłon w każdym z wariantów, a kalkulator zwraca prosty komunikat (tak/nie) na temat istotności (przeważnie dla poziomu ufności 95%). Większość narzędzi wspierających testy A/B często już na poziomie wyników od razu wskazuje istotność różnicy.
Kalkulator istotności testów A/B (http://getdatadriven.com/ab-significance-test)
Na wskaźniki wpływają jednak nie tylko testowane zmienne, ale także takie rzeczy jak pora czy sezon, dlatego różne wersje należy testować w miarę możliwości jednocześnie (np. w przypadku mailingu wysłanie połowy wiadomości rano, a połowy wieczorem może mocno zaburzyć współczynniki otwarć). W trakcie trwania testu wyniki potrafią mocno się zmieniać, mimo wcześniejszego uzyskania istotności statystycznej. Dzieje się tak często wtedy, gdy do gry wchodzi przyzwyczajenie – np. gdy przycisk „Kup teraz” na stronie zostanie przesunięty w inne miejsce, początkowo powracający użytkownicy mogą szukać go tam gdzie był wcześniej, co niekorzystnie wpłynie na współczynniki sukcesu, z czasem jednak mogą się one poprawić. W takich sytuacjach dobrze jest przeznaczyć na test więcej czasu i oprócz istotności statystycznej brać też pod uwagę zdrowy rozsądek.
Testy A/B w praktyce
Podczas pracy z Google AdWords decyzje o wyższości jednego rozwiązania nad drugim podejmuje się cały czas. Testować można teksty reklam, kreacje graficzne, stawki, strony docelowe, ustawienia kampanii czy też poszczególne elementy stron WWW. Najpopularniejszą i stosunkowo prostą metodą weryfikacji w takich przypadkach są testy A/B. Jeśli ten temat Cię zainteresował, to w kolejnym artykule z tym związanym znajdziesz omówienie wielu praktycznych narzędzi, nie tylko tych dotyczących bezpośrednio Google AdWords. Tymczasem możesz podzielić się swoimi doświadczeniami w komentarzach!
