Значимость A/B-теста
Введите посетителей и конверсии двух вариантов — калькулятор покажет, можно ли доверять разнице, или это случайность. И подскажет, сколько трафика нужно для следующего теста.
Результаты теста
| Посетители | Конверсии | |
|---|---|---|
| A — контроль | ||
| B — тест |
Вывод
Сколько трафика нужно для теста
Как понять, что A/B-тест удался
Если вариант B дал 3,8% конверсии против 3% у A, это ещё не значит, что B лучше: при небольшом трафике такая разница может появиться случайно. Калькулятор проверяет статистическую значимость — насколько вероятно получить такую разницу, если на самом деле варианты одинаковы.
Как читать результат
- p-value — вероятность увидеть такую или большую разницу случайно. Если она меньше 5% (при уровне доверия 95%), разница статистически значима.
- Доверительный интервал — в каких пределах, скорее всего, лежит настоящий прирост. Если интервал целиком выше нуля — B действительно лучше. Если захватывает ноль — данных недостаточно.
- Прирост — относительное изменение конверсии B по сравнению с A.
Расчёт выполняется двусторонним Z-тестом для двух долей — стандартным методом для конверсий.
Частые ошибки
- Подглядывание. Нельзя останавливать тест в момент, когда разница стала значимой: так вероятность ложной победы вырастает в разы. Заранее посчитайте размер выборки и дождитесь его.
- Слишком короткий тест. Держите тест минимум неделю, чтобы захватить и будни, и выходные.
- Много метрик сразу. Если проверять 10 метрик, одна из них «выиграет» случайно. Выберите главную метрику до старта.
Частые вопросы
Не нашли ответ? Напишите в Telegram
Какой уровень доверия выбрать?
95% — стандарт для маркетинговых тестов. 90% допустимо для смелых гипотез с небольшим риском, 99% — для изменений, которые дорого откатывать, например цен или оформления заказа.
Что делать, если результат незначимый?
Это тоже результат: изменение не дало заметного эффекта. Можно продлить тест до расчётного размера выборки или проверить более смелую гипотезу — маленькие изменения требуют огромного трафика.
Подойдёт ли калькулятор для теста объявлений в Директе?
Да. Посетители — это показы или клики, конверсии — клики или заказы, в зависимости от того, что вы сравниваете: CTR или конверсию.
Данные куда-то отправляются?
Нет, расчёт выполняется в браузере.
Нужна не таблица, а рост продаж?
Инструменты сделаны из реальных задач в проектах cetto.ru. Если хотите, чтобы семантику, структуру и техническое SEO интернет-магазина сделали под ключ — закажите аудит.