Statistická významnost

Jak to funguje

I dvě stejně dobré verze stránky obvykle ukážou různý konverzní poměr: objednávky přicházejí náhodně. P-hodnota říká, jak často by stejné verze ukázaly rozdíl alespoň tak velký jako ten váš. Pokud je pod hladinou stanovenou předem, nejčastěji 5 % (hladina spolehlivosti 95 %), považuje se rozdíl za významný.

Významnost říká, že rozdíl pravděpodobně není náhoda, ne jak moc na něm záleží. Zastavit A/B test při prvním významném výsledku vyrábí falešné vítěze mnohem častěji, než udává zvolená hladina, proto velikost vzorku stanovte předem. Co dělat, když je návštěvnost malá, popisuje průvodce A/B testováním pro malé obchody.

Vzorec

z = (CR verze B − CR verze A) ÷ √(p × (1 − p) × (1/n verze A + 1/n verze B)); CR je konverzní poměr, n počet kliků, p společný poměr obou verzí; při 5 % je významné z mimo ±1,96

Příklad

Ukázkový obchod, nejde o data klientů.

Obchod se stolním nádobím rozdělí měsíčních 8 000 kliků mezi dvě rozvržení. A: 150 objednávek ze 4 000 kliků, 3,75 %. B: 170 ze 4 000, 4,25 %, nárůst o 13 %. Společný poměr: 4 %. z = 0,005 ÷ √(0,04 × 0,96 × 0,0005) = 1,14, p-hodnota ≈ 0,25: nevýznamné. Zjistit takový nárůst při 5 % a síle testu 80 % vyžaduje asi 23 100 kliků na verzi: téměř půl roku návštěvnosti.

Jak to čte GetProfit

Místo testu významnosti posuzuje kanál změn portálu změnu podle pevných pásem za 14 dní: zafungovalo, pokud ROAS vzroste nad 1,2× při konverzích na úrovni 0,8× a více; uškodilo, pokud ROAS klesne pod 0,8× nebo konverze pod polovinu; verdikt nevznikne, pokud uplynulo méně než 7 dní nebo nejsou žádné konverze. Pro představu: v datech GetProfit se měsíční ROAS obchodu obvykle odchyluje o 16 % od vlastního mediánu (medián ze 110 obchodů s alespoň 8 měsíci dat, červen 2025 – červen 2026).

Správný a chybný výklad

• Špatně: „Významné na 95 %, takže B je lepší s pravděpodobností 95 %.“ Správně: 5 % je to, jak často by stejné verze přesto ukázaly významný rozdíl, ne pravděpodobnost, že vyhraje B.
• Špatně: „Nevýznamné, takže rozvržení nic nemění.“ Správně: v příkladu chyběla návštěvnost; nárůst o 13 % může být skutečný.

Zdroje

• 7.1.3.1. Critical values and p values (NIST/SEMATECH e-Handbook of Statistical Methods, anglicky) — hladina významnosti stanovená předem. Ověřeno 2. 10. 2026.
• How Not To Run an A/B Test (Evan Miller, anglicky) — nahlížení do výsledků zvyšuje počet falešně pozitivních zjištění. Ověřeno 2. 10. 2026.
• Sample Size Calculator (Evan Miller, anglicky) — velikost vzorku na verzi (výchozí hodnota 3,75 %, efekt 0,5 procentního bodu absolutně, síla testu 80 %, α 5 %). Ověřeno 2. 10. 2026.
• Data GetProfit: 110 e-shopů, červen 2025 – červen 2026 — měsíční odchylka ROAS od mediánu každého obchodu.