A/B-тест

Як працює

Тест випадково ділить відвідувачів між поточною сторінкою (A) і зміненою (B). Обидві працюють одночасно, за того самого сезону, цін і реклами, тож різницю в коефіцієнті конверсії можна віднести на рахунок зміни. Статистична значущість показує, чи перевищує вона випадковість.

Кількість відвідувачів фіксують до початку. Удвічі менша різниця потребує вчетверо більше відвідувачів. Магазин без такого трафіку має інші способи оцінити зміну: ретельне порівняння «до й після» або записи сесій і теплові карти, безкоштовні в Microsoft Clarity. Тест — один зі способів оптимізації коефіцієнта конверсії.

Формула

Відвідувачі на версію ≈ 16 × p × (1 − p) ÷ d², де p — поточний коефіцієнт конверсії, а d — різниця, яку треба виявити (значущість 5%, потужність 80%)

Де це видно

Google не має інструмента для тестування сайтів із 30 вересня 2023 року, коли закрився Google Optimize. Натомість Google працює над інтеграціями Analytics з AB Tasty, Optimizely і VWO.

Приклад

Приклад на вигаданому магазині, числа не клієнтські.

Магазин посуду конвертує 3,75% зі своїх 8 000 місячних візитів із реклами. Щоб виявити зростання до 4,5%: 16 × 0,0375 × 0,9625 ÷ 0,0075² ≈ 10 270 відвідувачів на версію, близько 20 500 разом, або 2,6 місяця такого трафіку. Щоб виявити 4,0%, d утричі менша, і тест потребує в дев’ять разів більше: близько 92 400 на версію.

Не плутати з

• Експеримент кампанії — тест у Google Ads, що ділить рекламний трафік або бюджет між двома кампаніями, а не відвідувачів сайту між двома сторінками.

Правильно й неправильно

• Неправильно: «На третій день B попереду зі значущістю 95%, тож зупиняємо». Правильно: найгірший сценарій Evan Miller перевіряє результат після кожного відвідувача й зупиняється на значущому результаті або на 150 відвідувачах. Зміна без жодного ефекту тоді виявляється значущою у 26,1% випадків, а не в 5%.
• Неправильно: «B конвертувала 4,2% проти 3,8% на 1 000 відвідувачів кожна, отже, B виграє». Правильно: це 42 замовлення проти 38; навіть 3,75% проти 4,5% потребує близько 10 270 на версію.

Джерела

• How Not To Run an A/B Test (Evan Miller, англійською) — рання зупинка, правило 16σ²/δ². Перевірено 02.10.2026.
• Sample Size Calculator (Evan’s Awesome A/B Tools) (англійською) — на варіант, значущість 5%, потужність 80%. Перевірено 02.10.2026.
• [Sunset September 2023] Google Optimize (довідка Analytics, англійською) — дата закриття, партнери. Перевірено 02.10.2026 за архівною копією від 27.08.2026.
• Clarity Overview (Microsoft Learn, англійською) — безкоштовні записи та теплові карти. Перевірено 02.10.2026.