Maciek Tyśper
O roli i znaczeniu testów A/B w e-marketingu powiedziano i napisano już bardzo wiele, także na naszym blogu. Przywoływanie przykładów testów, które odniosły spektakularny sukces jest proste. Prawdopodobnie w większości książek poświęconej tej tematyce będą się powtarzały te najpopularniejsze. Czasami możecie spotkać teoretycznie różne historie, ale ten sam schemat (np. “Skróciliśmy formularz na stronie docelowej o połowę i uzyskaliśmy 257% konwersji więcej!” – Eureka! :)).
Co innego jednak czytać peany na cześć różnego rodzaju studiów przypadków, zachwycać się prostotą rozwiązań, pomysłowością i fantastycznymi wynikami, a co innego zastosować ich ideę w codziennej pracy. Jako specjaliści ds. marketingu w wyszukiwarkach musimy testować praktycznie wszystko. Wyniki nie zawsze są jednak aż tak medialne jak te w kampanii Baracka Obamy. Prawda jest taka, że przy większej liczbie testów i przy sporej skali działania, nawet mniej spektakularne na pierwszy rzut oka różnice potrafią mieć duże znaczenie.
Czym testować?
W przeszłości Google AdWords nie rozpieszczał nas pod względem dostępności narzędzi wspomagających testy porównawcze. Ustawienie w ramach kampanii naprzemiennej rotacji reklam jest jedną z tych opcji, które od samego początku pomagały reklamodawcom sprawdzać skuteczność kreacji względem siebie – wyświetlenia w tym przypadku nie zawsze jednak rozkładają się na tyle równomiernie, na ile byśmy chcieli.
Kolejną dostępną opcją, mniej zawodną pod względem dzielenia ruchu, były pierwsze eksperymenty kampanii (ACE – AdWords Campaigns Experiments – nie mylić z tymi obecnymi), które chyba aż do momentu ich wycofania można było znaleźć w ustawieniach kampanii wraz z czerwonym dopiskiem “beta”. Był to już zalążek obecnej funkcjonalności, gdzie możliwe stało się ustawienie proporcji pomiędzy wersją bazową a testową, okresu trwania testu, a także eksperymentalnych stawek, reklam czy też grup. Wadą tego rozwiązania były ograniczenia liczby elementów, które mogły posiadać eksperymentalne wartości, a także stosunkowo ubogi wachlarz możliwości.
Spektrum narzędzi dopełniała kreatywność osób zarządzających kontem. W większości polegała ona na tworzeniu testów nierównoległych i minimalizowaniu wad wiążących się z takim rozwiązaniem. Stosowano harmonogramy, by dwie wersje “eksperymentu” wyświetlały się w możliwie najbardziej naprzemienny sposób, do czego w opcji ambitnej można było użyć np. skryptu (co było wciąż nieidealnym, ale niezłym rozwiązaniem). Musieliśmy się jednak zadowolić swojego rodzaju rozwiązaniami prowizorycznymi, protezami eksperymentów. Aż wreszcie pojawiły się…
Wersje robocze i eksperymenty kampanii
Jest to funkcja, na którą osoby na poważnie pracujące z Google AdWords czekały od dawna. W pierwszej kolejności dostępna była dla kampanii w sieci wyszukiwania, teraz też dla sieci reklamowej. Na ten moment jednak nie jest jeszcze osiągalna dla kampanii zakupowych.
Umożliwia ona prowadzenie bardziej zaawansowanych testów równoległych, obejmujących nawet cały szereg zmian w kampanii i jej ustawieniach. Polega na stworzeniu duplikatu kampanii, w którym możliwe jest wprowadzenie zmian. Następnie robocze modyfikacje można zastosować w kampanii oryginalnej, bądź wykorzystać w ramach testu, gdzie losowo będą wyświetlać się kreacje z bazowej lub eksperymentalnej wersji.
Tworzenie wersji roboczej
Aby utworzyć nową wersję roboczą, należy otworzyć odpowiednią kampanię w interfejsie i w prawym górnym rogu ekranu rozwinąć menu “Wersje robocze”, po czym wybrać opcję “Utwórz nową”.
Tworzenie wersji roboczej
Następnie wersji roboczej nadaje się nazwę. Na tym etapie pojawia się także informacja, że zmiany wprowadzone w ramach wersji roboczej można potem bezpośrednio wdrożyć w istniejącej już kampanii oryginalnej, albo też stworzyć na jej podstawie eksperyment. Dowiadujemy się również, iż można przygotować wiele zmian do wprowadzenia w kampanii – to prawda, należy jednak pamiętać, że w przypadku testów A/B powinniśmy skupić się na testowaniu jednej zmiennej, by potem móc określić, że to właśnie ta, a nie inna, różnica decydowała o wyniku.
Nadawanie nazwy wersji roboczej
Po utworzeniu wersji roboczej przystępujemy do wprowadzania w niej zmian i na tym etapie pojawia się właśnie ogrom możliwości. Nie jesteśmy już ograniczeni wyłącznie do testów reklam czy stawek, ale też rozszerzeń, struktury czy ustawień kampanii.
Jest kilka funkcji niedostępnych z tego poziomu (m.in. używanie niektórych strategii ustalania stawek), o których więcej można przeczytać na stronach supportu Google. Mimo to, możliwości jest naprawdę sporo. Macie ochotę sprawdzić czy ulepszone CPC jest w Waszym przypadku tak wspaniałe jak zakładają twórcy? A może optymalizacja rotacji reklam pod kątem kliknięć to wcale nie taki głupi pomysł? Wreszcie macie możliwość bezpośredniego przekonania się, ile warte są poszczególne ustawienia i opcje.
Tworzenie eksperymentu
Po wykreowaniu alternatywnej wersji kampanii możemy przystąpić do tworzenia eksperymentu. Należy więc w prawym górnym rogu ekranu kliknąć mało intuicyjny niebieski przycisk z napisem “Zastosuj” – bez obaw, nie będzie to skutkowało bezpośrednim wdrożeniem nowych ustawień do oryginalnej kampanii. Pojawi się okno, w ramach którego możliwe stanie się zaznaczenie opcji “Przeprowadź eksperyment”.
Włączanie eksperymentu
W następnym kroku przejdziemy do konfigurowania podstawowych ustawień testu. W polu „Nazwa” warto wpisać taką treść, która w raportach pozwoli nam łatwo rozszyfrować ten element, bo, co warto zaznaczyć, eksperyment z niektórych perspektyw (Google Analytics, Edytor AdWords czy API) będzie widoczny jako osobna kampania. Można więc w tym przypadku przekopiować nazwę oryginalnej kampanii i dopisać do niej np. “EXP” albo “CPC-30%”. Określa się też datę początkową i końcową trwania testu, a także procentowy podział budżetu i aukcji, w których eksperyment będzie mógł wziąć udział.
Tworzenie eksperymentu
Po kliknięciu przycisku “Utwórz” minie dłuższa chwila, nim eksperyment faktycznie powstanie. Ciekawym i wartym wspomnienia scenariuszem jest ten, w którym wersja robocza nie różni się w żaden sposób od oryginalnej, a dopiero po utworzeniu eksperymentu zaczynamy pracę na nim, jako na oddzielnej kampanii z wykorzystaniem edytora czy też skryptów. Wprowadzanie zmian jest możliwe także już po uruchomieniu eksperymentu.
Należy też pamiętać, że jeśli wprowadza się zmianę w oryginalnej kampanii, to w eksperymencie nie jest ona uwzględniona. By nie zaburzać więc wyników, zmiany powinny być wprowadzane synchronicznie w obu wersjach.
Analiza wyników
W interfejsie AdWords w sekcji “Wszystkie eksperymenty” znaleźć można wszystkie utworzone testy. Po wybraniu konkretnego z nich, pojawia się porównanie skuteczności. Warto w tym momencie wybrać odpowiedni zakres dat (by uwzględnić okres od początku trwania testu – chyba, że zakładamy inaczej) i mieć na uwadze, że dane mogą mieć pewne opóźnienie. Oprócz analizowania danych na poziomie kampanii możliwe jest też wybranie konkretnej grupy i sprawdzenie wyników bardziej szczegółowo.
Podsumowanie wyników eksperymentu
W tabeli w górnej części ekranu widoczne jest porównanie podstawowych wskaźników. Przy każdym z nich zauważyć można ikonkę (jej brak oznacza za małą ilość danych), która prezentuje istotność statystyczną odnotowanej różnicy (romb to brak istotności, w innym wypadku pojawią się strzałki). Kierunek strzałek reprezentuje poziom wyników w odniesieniu do wersji bazowej, natomiast ich liczba jest bezpośrednio związana z istotnością statystyczną (im więcej, tym lepiej).
Warto wiedzieć, że już istotne z punktu widzenia testu wyniki, wraz z biegiem czasu, potrafią się jeszcze zmienić i pomimo istotności prowadzić do innych wniosków, w związku z czym ważne jest nie podejmowanie pochopnych działań i pozostawienie testu na dłuższy okres.
Podsumowanie
Jak widać, testy A/B także w AdWords to potężny oręż w walce o jak najlepsze wyniki. Robocze wersje kampanii i eksperymenty dają możliwość prowadzenia testów na zaawansowanym poziomie, bez potrzeby wykorzystywania skomplikowanych narzędzi czy skryptów, ułatwiają też analizę wyników. Eksperymenty umożliwiają przeskoczenie z poziomu “wydaje mi się” na “wiem”. Dają twardy dowód na słuszność podejmowanych działań. W przypadku wielu naszych klientów pomogły nam już znaleźć bardziej optymalne ustawienia.
A jak jest w Waszym przypadku? Co ciekawego udało Wam się zbadać dzięki tej opcji? Koniecznie podzielcie się spostrzeżeniami w komentarzach!
