A/B-тест

Как работает

Тест случайным образом делит посетителей между текущей страницей (A) и изменённой (B). Обе работают одновременно, в один сезон, при одинаковых ценах и рекламе, поэтому разницу в коэффициенте конверсии можно отнести на счёт изменения. Статистическая значимость показывает, превышает ли она случайный разброс.

Число посетителей фиксируют до старта. Разница вдвое меньше требует вчетверо больше посетителей. У магазина без такого трафика есть другие способы оценить изменение: аккуратное сравнение «до и после» или записи сессий и тепловые карты, бесплатные в Microsoft Clarity. Тест — один из методов оптимизации конверсии.

Формула

Посетителей на версию ≈ 16 × p × (1 − p) ÷ d², где p — текущий коэффициент конверсии, а d — разница, которую нужно обнаружить (значимость 5%, мощность 80%)

Где это видно

С тех пор как 30 сентября 2023 года Google Optimize закрылся, у Google нет инструмента для тестирования сайтов. Вместо него Google работает над интеграциями Analytics с AB Tasty, Optimizely и VWO.

Пример

Пример на вымышленном магазине, числа не клиентские.

Магазин посуды конвертирует 3,75% из своих 8 000 ежемесячных визитов с рекламы. Чтобы обнаружить рост до 4,5%: 16 × 0,0375 × 0,9625 ÷ 0,0075² ≈ 10 270 посетителей на версию, около 20 500 всего, или 2,6 месяца такого трафика. Чтобы обнаружить 4,0%, d втрое меньше, и тесту нужно в девять раз больше: около 92 400 на версию.

Не путать с

• Эксперимент кампании — тест в Google Ads, который делит рекламный трафик или бюджет между двумя кампаниями, а не посетителей сайта между двумя страницами.

Верно и неверно

• Неверно: «На третий день B впереди при значимости 95%, значит, останавливаем.» Верно: в худшем случае у Эвана Миллера (Evan Miller) проверка идёт после каждого посетителя, и тест останавливается на значимом результате или на 150 посетителях. Тогда изменение без всякого эффекта выглядит значимым в 26,1% случаев, а не в 5%.
• Неверно: «B сконвертировала 4,2% против 3,8% на 1 000 посетителей в каждой, значит, B выигрывает.» Верно: это 42 заказа против 38; даже для 3,75% против 4,5% нужно около 10 270 на версию.

Источники

• How Not To Run an A/B Test (Evan Miller, на английском) — ранняя остановка, правило 16σ²/δ². Проверено 02.10.2026.
• Sample Size Calculator (Evan’s Awesome A/B Tools) (на английском) — на вариант, значимость 5%, мощность 80%. Проверено 02.10.2026.
• [Sunset September 2023] Google Optimize (справка Google Analytics, на английском) — дата закрытия, партнёры. Проверено 02.10.2026 в архивной копии от 27.08.2026.
• Clarity Overview (Microsoft Learn, на английском) — бесплатные записи и тепловые карты. Проверено 02.10.2026.