Istotność statystyczna
Odpowiedź na pytanie „czy ta różnica jest prawdziwa, czy zwykły traf?”. Bez niej łatwo uwierzyć w zwycięstwo, które za tydzień okaże się przypadkiem na zbyt małej próbie.
Co to właściwie znaczy
Istotność statystyczna to sposób sprawdzenia, czy różnica między dwiema wersjami (na przykład w teście A/B) jest naprawdę zasługą zmiany, czy tylko dziełem przypadku. Mówiąc po ludzku: czy wynik jest na tyle pewny, że warto na nim opierać decyzje, czy to za mało danych, żeby cokolwiek stwierdzić.
Przykład z życia firmy
Testujesz dwa nagłówki na stronie zapisu do newslettera. Po pierwszym dniu wersja B ma 6 zapisów, a wersja A ma 4 - i już chcesz ogłosić, że B wygrywa o 50 procent. Problem w tym, że to tylko 10 osób - to jak rzucić monetą dziesięć razy i po sześciu orłach uznać, że moneta jest wadliwa. Dopiero gdy każda wersja zobaczy setki odwiedzających i różnica się utrzyma, wynik staje się istotny statystycznie, czyli godny zaufania. Do tego czasu 6 do 4 nic nie znaczy.
Dlaczego to dla Ciebie ważne
Bez tego pojęcia mała firma podejmuje decyzje na podstawie szumu i wmawia sobie, że coś działa, gdy to był traf. Zmieniasz stronę „bo test tak pokazał”, a naprawdę pogarszasz sprzedaż. Świadomość, ile próby trzeba, chroni Cię przed gonieniem za przypadkowymi wynikami.
Jak to wykorzystać
Zanim ogłosisz zwycięzcę testu, poczekaj, aż każda wersja zbierze wystarczająco dużo osób i konwersji - przy małym ruchu to często kilka tygodni, nie dwa dni. Skorzystaj z darmowego kalkulatora istotności (wpisujesz liczby, on mówi, czy wynik jest pewny). A jeśli masz naprawdę mały ruch, testuj rzeczy o dużej różnicy, nie subtelne detale - te przy małej próbie i tak nic nie pokażą.