Как провести A/B тест и не ошибиться

A/B-тестирование — один из самых надёжных способов принятия решений в маркетинге и продуктовой разработке. Вместо споров «мне кажется, красная кнопка лучше» вы получаете конкретные данные. Но чтобы тест дал достоверный результат, нужно соблюсти ряд правил. Разберём весь процесс по шагам.

Что такое A/B-тестирование

A/B-тест (сплит-тест) — это эксперимент, в котором аудитория случайным образом делится на две (или более) группы. Каждая группа видит свою версию страницы, письма, объявления или элемента интерфейса. Затем вы сравниваете результаты и определяете, какая версия работает лучше по выбранной метрике.

Группа A видит контрольную версию (текущий вариант), группа B — тестовую (с изменением). Разница в конверсии между группами показывает эффект изменения.

Шаг 1: Сформулируйте гипотезу

Любой тест начинается с гипотезы. Хорошая гипотеза содержит три элемента:

Что вы хотите изменить (например, текст кнопки CTA).
Почему вы считаете, что это повлияет на метрику (например, «текущий текст неочевиден, пользователи не понимают, что произойдёт при нажатии»).
Какой результат вы ожидаете (например, «конверсия вырастет на 10–15%»).

Пример: «Если мы заменим кнопку "Отправить" на "Получить бесплатный расчёт", конверсия формы вырастет на 15%, потому что пользователь получит чёткое представление о выгоде».

Шаг 2: Определите метрику

Выберите одну основную метрику (primary metric), по которой вы будете судить об успехе теста. Это может быть:

Конверсия (CTR, процент заполнения формы, процент покупок).
Средний чек или доход на пользователя.
Показатель отказов или глубина просмотра.

Важно: не пытайтесь оптимизировать сразу несколько метрик в одном тесте. Это усложняет интерпретацию и увеличивает вероятность ложных выводов.

Шаг 3: Рассчитайте необходимый размер выборки

Одна из главных ошибок — остановить тест слишком рано. Чтобы результат был статистически значимым, нужно набрать достаточный объём данных. Размер выборки зависит от:

Текущей конверсии — чем она ниже, тем больше данных нужно.
Минимального обнаруживаемого эффекта (MDE) — какой прирост вы хотите зафиксировать. Обнаружить эффект в 1% требует в разы больше данных, чем эффект в 20%.
Уровня значимости и мощности — обычно используют 95% уровень значимости (alpha = 0.05) и 80% мощность (beta = 0.2).

Для расчёта размера выборки используйте специальные калькуляторы. Не полагайтесь на интуицию — математика здесь критична.

Шаг 4: Запустите тест

При запуске соблюдайте несколько правил:

Рандомизация. Распределение по группам должно быть случайным. Нельзя показывать версию A утром, а версию B вечером — это внесёт системную ошибку.
Одновременность. Обе версии должны показываться в один и тот же период. Сравнивать понедельник с воскресеньем некорректно.
Изоляция изменений. Тестируйте одно изменение за раз. Если вы одновременно поменяли заголовок, цвет кнопки и текст, вы не поймёте, что именно повлияло на результат.

Шаг 5: Дождитесь результата

Не подглядывайте в результаты каждый час и не останавливайте тест, как только увидите «перевес». Раннее подглядывание (peeking) — это статистическая ловушка: при маленькой выборке случайные колебания легко принять за реальный эффект. Запланируйте дату окончания теста заранее и придерживайтесь её.

Шаг 6: Интерпретируйте результаты

После окончания теста оцените:

Статистическую значимость. Если p-value меньше 0.05, результат с высокой вероятностью не случаен.
Практическую значимость. Даже статистически значимый рост конверсии на 0.1% может быть экономически бессмысленным.
Доверительный интервал. Он показывает диапазон вероятного истинного эффекта. Если доверительный интервал включает ноль — эффект не доказан.

Частые ошибки

Остановка теста при первых «хороших» результатах.
Тестирование слишком маленьких изменений при недостаточной выборке.
Запуск нескольких тестов одновременно на одной аудитории без учёта взаимного влияния.
Игнорирование сегментов — результат может отличаться для мобильных и десктопных пользователей.

Заключение

A/B-тестирование — это дисциплина, а не волшебная кнопка. Правильно поставленный эксперимент даёт объективные данные для принятия решений. Следуйте описанным шагам, уважайте статистику — и ваши продуктовые решения станут значительно точнее.

Рассчитать статистическую значимость A/B-теста можно с помощью нашего калькулятора A/B-тестов.