Istotność statystyczna: co to jest w testach A/B?

Co to właściwie znaczy

Istotność statystyczna to sposób sprawdzenia, czy różnica między dwiema wersjami (na przykład w teście A/B) jest naprawdę zasługą zmiany, czy tylko dziełem przypadku. Czyli: czy wynik jest na tyle pewny, że warto na nim opierać decyzje, czy to za mało danych, żeby cokolwiek stwierdzić.

Przykład z życia firmy

Testujesz dwa nagłówki na stronie zapisu do newslettera. Po pierwszym dniu wersja B ma 6 zapisów, a wersja A ma 4. Już chcesz ogłosić, że B wygrywa o 50 procent. Problem w tym, że to tylko 10 osób, to jak rzucić monetą dziesięć razy i po sześciu orłach uznać, że moneta jest wadliwa. Dopiero gdy każda wersja zobaczy setki odwiedzających i różnica się utrzyma, wynik staje się istotny statystycznie, czyli godny zaufania. Do tego czasu 6 do 4 nic nie znaczy.

Dlaczego to dla Ciebie ważne

Bez tego pojęcia mała firma podejmuje decyzje na podstawie szumu i wmawia sobie, że coś działa, gdy to był traf. Zmieniasz stronę „bo test tak pokazał”, a naprawdę pogarszasz sprzedaż. Świadomość, ile próby trzeba, chroni Cię przed gonieniem za przypadkowymi wynikami.

Jak to wykorzystać

Zanim ogłosisz zwycięzcę testu, poczekaj, aż każda wersja zbierze wystarczająco dużo osób i konwersji, przy małym ruchu to często kilka tygodni, nie dwa dni. Skorzystaj z darmowego kalkulatora istotności (wpisujesz liczby, on mówi, czy wynik jest pewny). A jeśli masz naprawdę mały ruch, testuj rzeczy o dużej różnicy, nie subtelne detale: te przy małej próbie i tak nic nie pokażą.

Istotność statystyczna po angielsku i co oznacza

Po angielsku to statistical significance. Wynik testu jest istotny statystycznie, gdy mało prawdopodobne jest, że różnica między wersjami powstała przypadkiem. Najczęściej przyjmuje się poziom istotności 5%, co odpowiada tak zwanemu poziomowi ufności 95%. Oznacza to, że godzimy się na mniej więcej jedną szansę na dwadzieścia, że uznamy różnicę za prawdziwą, choć jest przypadkowa.

Co wpływa na istotność

Wielkość próby: im więcej odwiedzin i konwersji, tym łatwiej wykryć różnicę.
Wielkość różnicy: duże różnice widać szybciej niż małe.
Zmienność: wyniki, które bardzo się wahają, wymagają więcej danych.
Czas trwania: test powinien objąć pełne tygodnie, żeby uwzględnić różnice między dniami.

Przykłady z różnych branż

Sklep internetowy. Wersja A strony ma 50 zamówień z 2000 odwiedzin, wersja B 65 zamówień z 2000. Różnica wygląda dobrze, ale kalkulator istotności pokazuje, że przy takiej liczbie danych może być przypadkowa. Sklep czeka na więcej ruchu.
Usługi. Gabinet testuje dwa tematy maila do 400 osób. Przy tak małej liście różnica 2 punktów procentowych zwykle nie jest istotna.
Firma B2B. Firma z kilkunastoma zapytaniami miesięcznie rezygnuje z testów A/B na stronie i zamiast tego rozmawia z klientami, bo test trwałby miesiącami.

Jak sprawdzić istotność krok po kroku

Przed testem ustal, jaki wskaźnik mierzysz i jak długo test potrwa.
Policz w kalkulatorze wielkości próby, ile danych potrzebujesz.
Nie kończ testu wcześniej tylko dlatego, że jedna wersja chwilowo prowadzi.
Po zakończeniu wpisz wyniki do kalkulatora istotności dla testów A/B.
Oceń też, czy różnica ma znaczenie biznesowe, a nie tylko statystyczne.

Najczęstsze błędy

Najczęstszy błąd to kończenie testu w chwili, gdy wynik pierwszy raz wygląda na istotny. Tak zwane podglądanie zwiększa ryzyko fałszywego zwycięstwa. Drugi to testy na zbyt małym ruchu, które nigdy nie dadzą wiarygodnej odpowiedzi. Trzeci to mylenie istotności z wagą: wynik może być istotny statystycznie, a różnica tak mała, że nie ma znaczenia dla firmy.

Wartość p w prostych słowach

Wartość p mówi, jak prawdopodobne byłoby uzyskanie tak dużej lub większej różnicy, gdyby w rzeczywistości obie wersje działały tak samo. Często przyjmuje się próg 0,05, czyli 5%. Wynik poniżej tego progu uznaje się za istotny statystycznie. Nie oznacza to jednak, że różnica jest duża ani ważna dla biznesu, a tylko że prawdopodobnie nie jest dziełem przypadku.

Istotność a znaczenie praktyczne

Przy bardzo dużym ruchu nawet minimalna różnica, na przykład 0,1 punktu procentowego, może być istotna statystycznie, ale nie ma znaczenia dla wyniku firmy. Przy małym ruchu duża różnica może nie być istotna, bo danych jest za mało. Dlatego obok istotności zawsze patrz na wielkość efektu i to, ile realnie zyska firma.

Kalkulatory istotności

Nie trzeba liczyć ręcznie. Darmowe kalkulatory testów A/B w internecie wymagają tylko liczby odwiedzin i konwersji w każdej wersji. Pokazują, czy wynik jest istotny i jaka jest pewność. Wiele narzędzi do testów i paneli reklamowych liczy to automatycznie. Warto też przed testem użyć kalkulatora wielkości próby, żeby wiedzieć, ile ruchu potrzeba.

Najczęstsza pułapka: zaglądanie co chwilę

Sprawdzanie wyniku codziennie i kończenie testu w chwili, gdy pierwszy raz pokaże istotność, zwiększa ryzyko fałszywego wyniku. Wyniki na początku testu mocno się wahają. Ustal z góry czas trwania testu i potrzebną liczbę odwiedzin, a decyzję podejmij dopiero po ich osiągnięciu.

Wyjaśnienie na prostym przykładzie

Rzucasz monetą dziesięć razy i wypada siedem orłów. Czy moneta jest oszukana? Pewnie nie, tak się zdarza. Ale gdy wypada siedemset orłów na tysiąc rzutów, coś jest na rzeczy.

Istotność statystyczna to sposób sprawdzenia, czy różnica w teście nie wyszła przypadkiem. Gdy wersja A strony daje 5 zapytań, a wersja B 7, to za mało, żeby coś stwierdzić. Gdy różnica utrzymuje się przy setkach czy tysiącach odwiedzin, możesz jej bardziej zaufać. Kalkulatory testów A/B liczą to za Ciebie.

Trudne słowa z tego hasła

A/B test. Porównanie dwóch wersji na podobnych grupach ludzi. Zobacz A/B test.
Hipoteza i eksperyment. Sprawdzanie pomysłu na danych. Zobacz hipoteza i eksperyment.
Konwersja. Działanie, na którym Ci zależy. Zobacz konwersja.
CRO. Poprawianie strony tak, żeby więcej osób robiło to, co chcesz. Zobacz CRO.

Ćwiczenie na 15 minut

Znajdź wynik dowolnej zmiany, którą wprowadziłeś na stronie albo w reklamie.
Zapisz liczbę odwiedzin i konwersji przed i po zmianie.
Wpisz te liczby do darmowego kalkulatora testu A/B.
Sprawdź, czy wynik jest pewny, czy trzeba zebrać więcej danych.

Wiesz, czy zmiana naprawdę działa; jak zaplanować porządny test, opisuje hasło A/B test.

Najczęstsze pytania

Co to jest istotność statystyczna?

To ocena, czy różnica między wersjami w teście jest na tyle duża i oparta na tylu danych, że mało prawdopodobne jest, by powstała przypadkiem.

Jaki poziom istotności przyjmuje się w testach A/B?

Najczęściej 5%, czyli poziom ufności 95%. Oznacza to akceptację około jednej szansy na dwadzieścia, że różnica jest przypadkowa.

Ile danych potrzeba do testu A/B?

Zależy od obecnej konwersji i oczekiwanej różnicy. Najlepiej policzyć to przed testem w kalkulatorze wielkości próby. Przy małym ruchu test może trwać bardzo długo.

Co oznacza wartość p równa 0,05?

Że przy braku prawdziwej różnicy taki lub większy wynik pojawiłby się w około 5% przypadków. Zwykle uznaje się to za próg istotności.

Czy wynik istotny statystycznie jest zawsze ważny?

Nie. Przy dużym ruchu nawet bardzo mała różnica może być istotna, ale bez znaczenia dla wyników firmy.

Powiązane pojęcia

A/B testy · Hipoteza i eksperyment · CRO