A/B test: co to jest i jak go zrobić na małym ruchu

Co to właściwie znaczy

A/B test to eksperyment, w którym puszczasz dwie wersje czegoś, wersję A i wersję B, i mierzysz, która daje lepszy wynik. Zmieniasz tylko jedną rzecz naraz: nagłówek, zdjęcie, przycisk. Dzięki temu wiesz, co konkretnie zrobiło różnicę.

Przykład z życia firmy

Sklep internetowy z butami testuje przycisk „Kup teraz” kontra „Dodaj do koszyka”. Połowa wchodzących widzi jedną wersję, połowa drugą. Po tygodniu: „Dodaj do koszyka”: 3,1% kupujących, „Kup teraz”: 2,2%. Przy 4000 wejść to różnica kilkudziesięciu zamówień miesięcznie z jednej zmiany słowa na przycisku.

Dlaczego to dla Ciebie ważne

A/B test zamienia „wydaje mi się” na „wiem”. Bez niego zmiany na stronie robisz na czucie i nigdy nie masz pewności, czy pomogły, czy zaszkodziły. To najtańszy sposób, żeby przestać zgadywać i zacząć decydować na liczbach.

Jak to wykorzystać

Testuj po jednej rzeczy naraz, inaczej nie będziesz wiedział, co zadziałało. Zbieraj wynik, aż nazbiera się sensowna próbka: kilka zamówień to za mało, żeby cokolwiek ogłaszać. Zacznij od rzeczy o największej stawce: nagłówek na stronie, temat maila, główny przycisk.

Test A/B po angielsku

Po angielsku to A/B test albo split test. Ruch dzieli się na dwie grupy: jedna widzi wersję A, druga wersję B. Różni je tylko jeden element, na przykład nagłówek, cena albo kolor przycisku. Po zebraniu wystarczającej liczby danych sprawdzasz, która wersja dała lepszy wynik.

Co warto testować

Nagłówki na stronie i w reklamach.
Tematy maili w newsletterze.
Przyciski i CTA: tekst, miejsce, wielkość.
Ceny i sposób ich pokazania: miesięcznie albo rocznie, z kotwicą albo bez.
Zdjęcia produktów i grafiki reklam.
Formularze: liczba pól, kolejność.

Przykłady z różnych branż

Sklep internetowy. Sklep testuje dwa zdjęcia głównego produktu: na białym tle i w użyciu. Drugie daje wyraźnie więcej dodań do koszyka.
Usługi. Biuro podróży wysyła newsletter z dwoma tematami do dwóch połówek listy. Temat z konkretną ceną i datą wygrywa z ogólnym „Najlepsze oferty jesieni”.
Firma B2B. Firma szkoleniowa testuje formularz z 3 i z 7 polami. Krótszy daje więcej zgłoszeń, dłuższy lepiej przygotowane.

Jak przeprowadzić test A/B krok po kroku

Zapisz hipotezę: „krótszy formularz da więcej zgłoszeń”.
Zmień tylko jeden element. Przy kilku zmianach nie wiesz, co zadziałało.
Podziel ruch losowo i po równo. Pomogą w tym narzędzia do maili, systemy reklamowe i narzędzia do testów na stronie.
Poczekaj na odpowiednią liczbę danych, zwykle co najmniej tydzień lub dwa, żeby objąć różne dni.
Sprawdź istotność wyniku w kalkulatorze statystycznym i wdróż zwycięską wersję.

Najczęstsze błędy

Najczęstszy błąd to kończenie testu za wcześnie, gdy jedna wersja chwilowo prowadzi. Przy małym ruchu różnice bywają przypadkowe. Drugi to testowanie wielu zmian naraz. Trzeci to testowanie drobiazgów, jak odcień przycisku, gdy strona ma dużo większy problem, na przykład niejasną ofertę.

Ile ruchu potrzeba do testu A/B

Test potrzebuje wystarczającej liczby konwersji w każdej wersji, żeby wynik nie był przypadkiem. Przy małym ruchu, na przykład kilkuset odwiedzinach miesięcznie, test może trwać bardzo długo albo nic nie rozstrzygnąć. Wtedy lepiej testować duże zmiany, na przykład zupełnie inny nagłówek czy ofertę, a nie kolor przycisku. Małe zmiany dają małe różnice, które wymagają dużo danych. Pomoże tu hasło istotność statystyczna.

Narzędzia do testów A/B

Reklamy: Google Ads i Meta mają wbudowane eksperymenty i testy kreacji.
E-mail: większość systemów newsletterowych pozwala testować temat wiadomości.
Strona: narzędzia do eksperymentów, niektóre kreatory stron i platformy sklepowe mają testy w panelu.
Bez narzędzia: dwa osobne landing page'e i ruch dzielony po równo w kampanii.

Test A/B a sezonowość

Obie wersje muszą działać w tym samym czasie. Porównanie wersji z października z wersją z listopada nie jest testem A/B, bo w międzyczasie zmienia się wiele rzeczy: pogoda, promocje konkurencji, święta. Prowadź test przez pełne tygodnie, żeby uwzględnić różnice między dniami roboczymi a weekendem.

Co zrobić po teście

Zapisz hipotezę, wynik i datę.
Wdróż zwycięską wersję na stałe.
Sprawdź po miesiącu, czy efekt się utrzymuje.
Zaplanuj kolejny test, korzystając z tego, czego się nauczyłeś.

Przykładowe hipotezy do testu

„Jeśli pokażemy cenę w nagłówku, więcej osób wyśle zapytanie, bo odpadną wątpliwości o budżet.”
„Jeśli skrócimy formularz z siedmiu do trzech pól, wzrośnie liczba zapytań.”
„Jeśli w temacie wiadomości podamy konkretną liczbę, wzrośnie odsetek otwarć.”

Dobra hipoteza mówi, co zmieniasz, czego oczekujesz i dlaczego. Bez tego trudno wyciągnąć wnioski z wyniku.

Test A/B w małej firmie bez narzędzi

Wystarczy dwa tygodnie wysyłać ofertę w jednej wersji, a dwa tygodnie w drugiej, i porównać odpowiedzi. To nie jest pełny test, bo zmienia się czas, ale przy małej skali daje pierwsze wskazówki.

Wyjaśnienie na prostym przykładzie

Chcesz sprawdzić, który przepis na naleśniki bardziej smakuje rodzinie. Robisz dwa talerze: jeden z cukrem waniliowym, drugi bez. Dajesz jeden połowie rodziny, drugi drugiej połowie i patrzysz, który znika szybciej. To jest test A/B: porównujesz dwie wersje w tym samym czasie i sprawdzasz, która działa lepiej.

W marketingu zamiast naleśników porównuje się nagłówki, przyciski, zdjęcia czy tematy wiadomości. Połowa odbiorców widzi wersję A, połowa wersję B, a wynik pokazuje, którą zostawić.

Trudne słowa z tego hasła

Hipoteza: przypuszczenie, które sprawdzasz testem. Zobacz hipoteza i eksperyment.
Istotność statystyczna: pewność, że wynik nie jest przypadkiem. Zobacz istotność statystyczna.
CRO: poprawianie strony, żeby więcej osób kupowało. Zobacz CRO.
Konwersja: działanie, które mierzysz w teście. Zobacz konwersja.

Ćwiczenie na 15 minut

Wybierz następną wiadomość do newslettera.
Napisz dla niej dwa różne tematy.
Ustaw w systemie wysyłkę testową do części listy i wybór zwycięzcy według kliknięć.

To najprostszy pierwszy test A/B, który nie wymaga żadnych dodatkowych narzędzi.

Najczęstsze pytania

Co to jest test A/B?

To porównanie dwóch wersji strony, maila lub reklamy różniących się jednym elementem. Ruch dzieli się na dwie grupy i sprawdza, która wersja daje lepszy wynik.

Jak długo powinien trwać test A/B?

Zwykle co najmniej tydzień lub dwa, żeby objąć różne dni tygodnia, i tak długo, aż zbierze się wystarczająca liczba danych do statystycznie istotnego wyniku.

Co testować w pierwszej kolejności?

Elementy o największym wpływie: nagłówek, ofertę, cenę, przycisk i formularz. Drobne zmiany kolorów zostaw na później.

Jak długo trwa test A/B?

Zwykle co najmniej dwa pełne tygodnie i tyle, ile potrzeba, by zebrać wystarczającą liczbę konwersji w obu wersjach.

Czy test A/B szkodzi SEO?

Nie, jeśli robisz go zgodnie z zaleceniami Google: bez pokazywania robotom innej treści niż ludziom i z tagiem canonical przy osobnych adresach wersji.

Powiązane pojęcia

CRO · Hipoteza i eksperyment · Istotność statystyczna