Přejít k obsahu
GetProfit
Přihlásit se

← Všechny pojmy

A/B test

A/B test je porovnání dvou verzí stránky, které se náhodně zobrazují různým návštěvníkům současně, aby se zjistilo, která jich víc dovede k cílové akci.

Jak to funguje

Test náhodně rozděluje návštěvníky mezi stávající stránku (A) a upravenou (B). Obě běží současně, ve stejné sezóně, za stejných cen a reklam, takže rozdíl v konverzním poměru lze přičíst úpravě. Statistická významnost ukáže, zda rozdíl přesahuje náhodu.

Počet návštěvníků stanovíte před začátkem. Poloviční rozdíl vyžaduje čtyřikrát víc. Obchod bez takové návštěvnosti má jiné způsoby, jak změnu posoudit: pečlivé srovnání před a po nebo nahrávky relací a teplotní mapy, zdarma v Microsoft Clarity. Test je jednou z metod optimalizace konverzního poměru.

Vzorec

Návštěvníci na verzi ≈ 16 × p × (1 − p) ÷ d², kde p je současný konverzní poměr a d rozdíl, který chceme odhalit (významnost 5 %, síla testu 80 %)

Kde to uvidíte

Google nemá žádný nástroj pro testování webu od zavření Google Optimize 30. září 2023. Místo toho Google pracuje na integracích Analytics s AB Tasty, Optimizely a VWO.

Příklad

Ukázkový obchod, nejde o data klientů.

Obchod se stolním nádobím má konverzní poměr 3,75 % z 8 000 měsíčních návštěv z reklam. Aby odhalil nárůst na 4,5 %: 16 × 0,0375 × 0,9625 ÷ 0,0075² ≈ 10 270 návštěvníků na verzi, asi 20 500 celkem, tedy 2,6 měsíce takové návštěvnosti. Aby odhalil 4,0 %, je d třikrát menší a test potřebuje devětkrát víc: asi 92 400 na verzi.

Nezaměňovat s

  • Experiment kampaně — test v Google Ads, který rozděluje reklamní provoz nebo rozpočet mezi dvě kampaně, ne návštěvníky webu mezi dvě stránky.

Správný a chybný výklad

  • Špatně: „Třetí den je B vpředu s významností 95 %, takže test ukončíme.“ Správně: nejhorší případ podle Evana Millera kontroluje výsledek po každém návštěvníkovi a zastaví se u významného výsledku nebo při 150 návštěvnících. Změna bez účinku se pak jeví jako významná v 26,1 % případů, ne v 5 %.
  • Špatně: „B konvertovala 4,2 % proti 3,8 % při 1 000 návštěvnících na verzi, takže B vyhrává.“ Správně: to je 42 objednávek proti 38; ani rozdíl 3,75 % proti 4,5 % nevyžaduje méně než asi 10 270 na verzi.

Zdroje