Hipoteza i eksperyment

Co to właściwie znaczy

Hipoteza to Twoje założenie zapisane tak, żeby dało się je sprawdzić: jeśli zrobię X, to stanie się Y. Eksperyment to wpuszczenie tego założenia w świat i zmierzenie, czy się potwierdziło. Razem to prosty sposób, żeby przestać zgadywać i zacząć wiedzieć.

Przykład z życia firmy

Właściciel sklepu online kłóci się z żoną: on twierdzi, że darmowa dostawa podniesie sprzedaż, ona, że wystarczy niższa cena. Zamiast się spierać, stawiają hipotezę: „darmowa dostawa od 150 zł podniesie liczbę zamówień o co najmniej 15 procent”. Przez dwa tygodnie testują to na połowie ruchu. Wynik: wzrost o 22 procent. Koniec dyskusji: nie wygrało czyjeś zdanie, tylko liczba. Gdyby wyszło 2 procent, też by wiedzieli, i nie przepaliliby marży na całe miesiące.

Dlaczego to dla Ciebie ważne

Większość decyzji w małej firmie zapada na „mnie się wydaje”. To najdroższy doradca, jakiego masz. Hipoteza i eksperyment zamieniają kłótnie o gusta w pytania z odpowiedzią. Zamiast wdrażać coś na rok w ciemno, sprawdzasz to w dwa tygodnie na małej próbie.

Jak to wykorzystać

Zapisz założenie w jednym zdaniu i dopisz, po jakiej liczbie uznasz je za prawdziwe, bez tego progu oszukasz się po fakcie. Testuj jedną rzecz naraz, na tyle długo, żeby to nie był przypadek. Wynik, nawet ten, którego nie chciałeś, jest tańszy niż rok wdrażania błędnego przeczucia.

Hipoteza i eksperyment po angielsku

Po angielsku to hypothesis i experiment. W marketingu hipoteza to przypuszczenie, które da się sprawdzić, na przykład „krótszy formularz da więcej zgłoszeń”. Eksperyment to zaplanowany test, który pokazuje, czy przypuszczenie się sprawdza. Najczęstszą formą eksperymentu w marketingu jest test A/B.

Jak zapisać dobrą hipotezę

Popularny schemat brzmi:

Jeśli zmienimy [co], to [wskaźnik] wzrośnie lub spadnie o [ile], ponieważ [dlaczego].

Na przykład: „Jeśli pokażemy koszt dostawy na karcie produktu, to odsetek porzuconych koszyków spadnie o 10%, ponieważ klienci nie będą zaskoczeni kosztem na końcu”. Taka hipoteza mówi, co zmieniasz, co mierzysz i czego się spodziewasz.

Przykłady z różnych branż

• Sklep internetowy. Hipoteza: zdjęcie produktu w użyciu zwiększy dodania do koszyka. Test na połowie ruchu przez dwa tygodnie potwierdza wzrost.
• Usługi. Hipoteza: przycisk „Sprawdź wolne terminy” da więcej rezerwacji niż „Kontakt”. Wynik: więcej kliknięć, ale tyle samo rezerwacji, więc gabinet szuka problemu dalej, w samym formularzu.
• Firma B2B. Hipoteza: cena podana na stronie odstraszy część zapytań, ale zwiększy odsetek podpisanych umów. Firma mierzy oba wskaźniki przez kwartał.

Jak przeprowadzić eksperyment krok po kroku

1. Wybierz problem na podstawie danych, na przykład stronę z wysokim współczynnikiem odrzuceń.
2. Zapisz hipotezę według schematu.
3. Ustal jeden główny wskaźnik i czas trwania testu przed jego startem.
4. Zmień jedną rzecz i podziel ruch losowo.
5. Poczekaj na wystarczającą liczbę danych, a potem sprawdź wynik.
6. Zapisz wnioski, także z testów, które nie wyszły. To też wiedza.

Najczęstsze błędy

Najczęstszy błąd to testowanie bez hipotezy, na zasadzie „zobaczymy, co się stanie”. Trudno wtedy wyciągnąć wnioski. Drugi to zmiana kryterium sukcesu po zobaczeniu wyników. Trzeci to brak zapisu eksperymentów, przez który firma po roku powtarza testy, które już robiła.

Przykładowy zapis eksperymentu

Hipoteza: Jeśli dodamy widełki cen na stronie usługi, więcej osób wyśle zapytanie, bo nie będą się obawiać, że usługa jest poza ich budżetem. Miernik: odsetek wizyt zakończonych wysłaniem formularza. Czas: cztery tygodnie. Próg: wzrost o co najmniej 20% przy podobnym ruchu. Wynik: zapisany po zakończeniu, razem z wnioskiem i decyzją. Taki zapis zajmuje kilka minut, a pozwala po roku wiedzieć, co naprawdę zadziałało.

Eksperyment przy małym ruchu

Mała firma rzadko ma dość ruchu, żeby test był statystycznie pewny. Nie znaczy to, że eksperymenty są bezcelowe. Lepiej testować duże zmiany, które mogą dać wyraźną różnicę, i dłużej obserwować wynik. Pomaga też łączenie danych z różnych źródeł: analityki, rozmów z klientami i opinii.

Rejestr eksperymentów

Prosty arkusz z kolumnami: data, hipoteza, zmiana, miernik, wynik, decyzja. Po kilku miesiącach staje się bazą wiedzy o klientach. Zapisuj też eksperymenty nieudane, bo mówią równie dużo, co udane. Bez rejestru łatwo po roku powtarzać ten sam test albo zapomnieć, dlaczego coś zostało zmienione.

Eksperymenty poza stroną

• dwie wersje oferty wysyłane na zmianę,
• dwa sposoby odbierania telefonu,
• różne godziny publikacji postów,
• dwie wersje ulotki z różnym kodem rabatowym.

Metoda jest ta sama: hipoteza, jedna zmiana, miernik, czas i decyzja.

Pierwszy krok

Zapisz jedną hipotezę dotyczącą strony lub oferty, wybierz miernik i termin. Wróć do niej za miesiąc.

Najczęstszy błąd

Zmiana kilku rzeczy naraz. Wtedy nie wiadomo, która zadziałała.

Wynik negatywny też jest wynikiem

Gdy test nie potwierdza hipotezy, zyskujesz wiedzę, że ta zmiana nie ma znaczenia, i możesz zająć się czymś innym.

Wyjaśnienie na prostym przykładzie

Podejrzewasz, że ciasto wychodzi płaskie, bo dajesz za mało proszku. Pieczesz dwa ciasta: jedno po staremu, drugie z łyżeczką więcej. Porównujesz. Teraz już wiesz, a nie zgadujesz.

Hipoteza i eksperyment to taki sposób sprawdzania pomysłów w marketingu. Najpierw zapisujesz przypuszczenie: jeśli zmienię nagłówek na konkretny, więcej osób wyśle formularz. Potem testujesz zmianę na części ruchu albo przez określony czas i porównujesz wynik. Dzięki temu decyzje opierają się na danych, a nie na tym, komu bardziej się podoba.

Trudne słowa z tego hasła

• A/B test. Porównanie dwóch wersji na podobnych grupach ludzi. Zobacz A/B test.
• Istotność statystyczna. Pewność, że różnica nie wyszła przypadkiem. Zobacz istotność statystyczna.
• KPI. Liczba, po której poznasz, czy działanie się udało. Zobacz KPI.
• CRO. Poprawianie strony tak, żeby więcej osób robiło to, co chcesz. Zobacz CRO.

Ćwiczenie na 15 minut

1. Zapisz jeden pomysł na zmianę w formie: jeśli zrobię X, to wzrośnie Y.
2. Wybierz jedną liczbę, po której to ocenisz.
3. Zapisz, ile wynosi ona dziś i ile czasu dasz zmianie.
4. Wprowadź zmianę i wpisz w kalendarz dzień sprawdzenia.

Masz pierwszy uczciwy test, a większy ruch pozwoli zrobić porządny A/B test.

Najczęstsze pytania

Co to jest hipoteza w marketingu?

To przypuszczenie, które da się sprawdzić testem, na przykład że krótszy formularz da więcej zgłoszeń. Dobra hipoteza mówi, co zmieniasz, co mierzysz i czego się spodziewasz.

Jak zapisać hipotezę?

Według schematu: jeśli zmienimy coś, to wskaźnik wzrośnie lub spadnie o określoną wartość, ponieważ podajemy powód.

Czy nieudany eksperyment ma wartość?

Tak. Pokazuje, co nie działa, oszczędza pieniądze i kieruje kolejne testy w lepszą stronę. Dlatego warto zapisywać wnioski z każdego eksperymentu.

Jak zapisać hipotezę?

Według schematu: jeśli zmienimy X, to Y wzrośnie lub spadnie, ponieważ Z. Dodaj miernik i czas trwania testu.

Czy mała firma może robić eksperymenty?

Tak. Przy małym ruchu warto testować duże zmiany, dłużej obserwować wynik i łączyć dane z różnych źródeł.

Powiązane pojęcia

A/B testy  ·  CRO  ·  Istotność statystyczna  ·  Growth hacking