O roli i znaczeniu testów A/B w e-marketingu powiedziano i napisano już bardzo wiele, także na naszym blogu. Przywoływanie przykładów testów, które odniosły spektakularny sukces jest proste. Prawdopodobnie w większości książek poświęconej tej tematyce będą się powtarzały te najpopularniejsze. Czasami możecie spotkać teoretycznie różne historie, ale ten sam schemat (np. “Skróciliśmy formularz na stronie docelowej o połowę i uzyskaliśmy 257% konwersji więcej!” – Eureka! :)).
Co innego jednak czytać peany na cześć różnego rodzaju studiów przypadków, zachwycać się prostotą rozwiązań, pomysłowością i fantastycznymi wynikami, a co innego zastosować ich ideę w codziennej pracy. Jako specjaliści ds. marketingu w wyszukiwarkach musimy testować praktycznie wszystko. Wyniki nie zawsze są jednak aż tak medialne jak te w kampanii Baracka Obamy. Prawda jest taka, że przy większej liczbie testów i przy sporej skali działania, nawet mniej spektakularne na pierwszy rzut oka różnice potrafią mieć duże znaczenie.
Czym testować?
W przeszłości Google AdWords nie rozpieszczał nas pod względem dostępności narzędzi wspomagających testy porównawcze. Ustawienie w ramach kampanii naprzemiennej rotacji reklam jest jedną z tych opcji, które od samego początku pomagały reklamodawcom sprawdzać skuteczność kreacji względem siebie – wyświetlenia w tym przypadku nie zawsze jednak rozkładają się na tyle równomiernie, na ile byśmy chcieli.
Kolejną dostępną opcją, mniej zawodną pod względem dzielenia ruchu, były pierwsze eksperymenty kampanii (ACE – AdWords Campaigns Experiments – nie mylić z tymi obecnymi), które chyba aż do momentu ich wycofania można było znaleźć w ustawieniach kampanii wraz z czerwonym dopiskiem “beta”. Był to już zalążek obecnej funkcjonalności, gdzie możliwe stało się ustawienie proporcji pomiędzy wersją bazową a testową, okresu trwania testu, a także eksperymentalnych stawek, reklam czy też grup. Wadą tego rozwiązania były ograniczenia liczby elementów, które mogły posiadać eksperymentalne wartości, a także stosunkowo ubogi wachlarz możliwości.
Spektrum narzędzi dopełniała kreatywność osób zarządzających kontem. W większości polegała ona na tworzeniu testów nierównoległych i minimalizowaniu wad wiążących się z takim rozwiązaniem. Stosowano harmonogramy, by dwie wersje “eksperymentu” wyświetlały się w możliwie najbardziej naprzemienny sposób, do czego w opcji ambitnej można było użyć np. skryptu (co było wciąż nieidealnym, ale niezłym rozwiązaniem). Musieliśmy się jednak zadowolić swojego rodzaju rozwiązaniami prowizorycznymi, protezami eksperymentów. Aż wreszcie pojawiły się…
Wersje robocze i eksperymenty kampanii
Jest to funkcja, na którą osoby na poważnie pracujące z Google AdWords czekały od dawna. W pierwszej kolejności dostępna była dla kampanii w sieci wyszukiwania, teraz też dla sieci reklamowej. Na ten moment jednak nie jest jeszcze osiągalna dla kampanii zakupowych.
Umożliwia ona prowadzenie bardziej zaawansowanych testów równoległych, obejmujących nawet cały szereg zmian w kampanii i jej ustawieniach. Polega na stworzeniu duplikatu kampanii, w którym możliwe jest wprowadzenie zmian. Następnie robocze modyfikacje można zastosować w kampanii oryginalnej, bądź wykorzystać w ramach testu, gdzie losowo będą wyświetlać się kreacje z bazowej lub eksperymentalnej wersji.
Tworzenie wersji roboczej
Aby utworzyć nową wersję roboczą, należy otworzyć odpowiednią kampanię w interfejsie i w prawym górnym rogu ekranu rozwinąć menu “Wersje robocze”, po czym wybrać opcję “Utwórz nową”.
Następnie wersji roboczej nadaje się nazwę. Na tym etapie pojawia się także informacja, że zmiany wprowadzone w ramach wersji roboczej można potem bezpośrednio wdrożyć w istniejącej już kampanii oryginalnej, albo też stworzyć na jej podstawie eksperyment. Dowiadujemy się również, iż można przygotować wiele zmian do wprowadzenia w kampanii – to prawda, należy jednak pamiętać, że w przypadku testów A/B powinniśmy skupić się na testowaniu jednej zmiennej, by potem móc określić, że to właśnie ta, a nie inna, różnica decydowała o wyniku.
Po utworzeniu wersji roboczej przystępujemy do wprowadzania w niej zmian i na tym etapie pojawia się właśnie ogrom możliwości. Nie jesteśmy już ograniczeni wyłącznie do testów reklam czy stawek, ale też rozszerzeń, struktury czy ustawień kampanii.
Jest kilka funkcji niedostępnych z tego poziomu (m.in. używanie niektórych strategii ustalania stawek), o których więcej można przeczytać na stronach supportu Google. Mimo to, możliwości jest naprawdę sporo. Macie ochotę sprawdzić czy ulepszone CPC jest w Waszym przypadku tak wspaniałe jak zakładają twórcy? A może optymalizacja rotacji reklam pod kątem kliknięć to wcale nie taki głupi pomysł? Wreszcie macie możliwość bezpośredniego przekonania się, ile warte są poszczególne ustawienia i opcje.
Tworzenie eksperymentu
Po wykreowaniu alternatywnej wersji kampanii możemy przystąpić do tworzenia eksperymentu. Należy więc w prawym górnym rogu ekranu kliknąć mało intuicyjny niebieski przycisk z napisem “Zastosuj” – bez obaw, nie będzie to skutkowało bezpośrednim wdrożeniem nowych ustawień do oryginalnej kampanii. Pojawi się okno, w ramach którego możliwe stanie się zaznaczenie opcji “Przeprowadź eksperyment”.
W następnym kroku przejdziemy do konfigurowania podstawowych ustawień testu. W polu „Nazwa” warto wpisać taką treść, która w raportach pozwoli nam łatwo rozszyfrować ten element, bo, co warto zaznaczyć, eksperyment z niektórych perspektyw (Google Analytics, Edytor AdWords czy API) będzie widoczny jako osobna kampania. Można więc w tym przypadku przekopiować nazwę oryginalnej kampanii i dopisać do niej np. “EXP” albo “CPC-30%”. Określa się też datę początkową i końcową trwania testu, a także procentowy podział budżetu i aukcji, w których eksperyment będzie mógł wziąć udział.
Po kliknięciu przycisku “Utwórz” minie dłuższa chwila, nim eksperyment faktycznie powstanie. Ciekawym i wartym wspomnienia scenariuszem jest ten, w którym wersja robocza nie różni się w żaden sposób od oryginalnej, a dopiero po utworzeniu eksperymentu zaczynamy pracę na nim, jako na oddzielnej kampanii z wykorzystaniem edytora czy też skryptów. Wprowadzanie zmian jest możliwe także już po uruchomieniu eksperymentu.
Należy też pamiętać, że jeśli wprowadza się zmianę w oryginalnej kampanii, to w eksperymencie nie jest ona uwzględniona. By nie zaburzać więc wyników, zmiany powinny być wprowadzane synchronicznie w obu wersjach.
Analiza wyników
W interfejsie AdWords w sekcji “Wszystkie eksperymenty” znaleźć można wszystkie utworzone testy. Po wybraniu konkretnego z nich, pojawia się porównanie skuteczności. Warto w tym momencie wybrać odpowiedni zakres dat (by uwzględnić okres od początku trwania testu – chyba, że zakładamy inaczej) i mieć na uwadze, że dane mogą mieć pewne opóźnienie. Oprócz analizowania danych na poziomie kampanii możliwe jest też wybranie konkretnej grupy i sprawdzenie wyników bardziej szczegółowo.
W tabeli w górnej części ekranu widoczne jest porównanie podstawowych wskaźników. Przy każdym z nich zauważyć można ikonkę (jej brak oznacza za małą ilość danych), która prezentuje istotność statystyczną odnotowanej różnicy (romb to brak istotności, w innym wypadku pojawią się strzałki). Kierunek strzałek reprezentuje poziom wyników w odniesieniu do wersji bazowej, natomiast ich liczba jest bezpośrednio związana z istotnością statystyczną (im więcej, tym lepiej).
Warto wiedzieć, że już istotne z punktu widzenia testu wyniki, wraz z biegiem czasu, potrafią się jeszcze zmienić i pomimo istotności prowadzić do innych wniosków, w związku z czym ważne jest nie podejmowanie pochopnych działań i pozostawienie testu na dłuższy okres.
Podsumowanie
Jak widać, testy A/B także w AdWords to potężny oręż w walce o jak najlepsze wyniki. Robocze wersje kampanii i eksperymenty dają możliwość prowadzenia testów na zaawansowanym poziomie, bez potrzeby wykorzystywania skomplikowanych narzędzi czy skryptów, ułatwiają też analizę wyników. Eksperymenty umożliwiają przeskoczenie z poziomu “wydaje mi się” na “wiem”. Dają twardy dowód na słuszność podejmowanych działań. W przypadku wielu naszych klientów pomogły nam już znaleźć bardziej optymalne ustawienia.
A jak jest w Waszym przypadku? Co ciekawego udało Wam się zbadać dzięki tej opcji? Koniecznie podzielcie się spostrzeżeniami w komentarzach!