🧪 A/B-тесты: дизайн, значимость, ловушки
Чтобы понять, работает ли удобрение, ты поливаешь им половину грядки, выбранную наугад, а не самые солнечные кусты
Как это работает
- Гипотеза и метрика — целевая, плюс контрольные
- Минимальный эффект (MDE) — какое изменение нам важно заметить
- Размер выборки и длительность — считаем калькулятором до старта. Тест длится полными неделями, чтобы учесть разницу будних и выходных
- Случайное разбиение — по пользователю, а не по сессии
- Запуск без подглядывания — не останавливаем тест, как только увидели «значимость»
- Анализ — p-value, доверительный интервал, проверка контрольных метрик и сегментов
Термины, которые спрашивают:
| Термин | Простыми словами |
|---|---|
| p-value | Насколько вероятно увидеть такую разницу, если эффекта нет |
| Уровень значимости, обычно 5 % | Порог p-value, ниже которого считаем эффект настоящим |
| Ошибка I рода | Нашли эффект, которого нет |
| Ошибка II рода | Не нашли эффект, который есть |
| Мощность, обычно 80 % | Шанс заметить эффект размером с MDE |
Пример из жизни
Магазин запустил тест новой карточки товара и через три дня увидел рост конверсии на 8 % с p-value 0,03. Тест остановили и раскатили. Через месяц конверсия вернулась к прежней. Причина — подглядывание и эффект новизны: постоянные покупатели первые дни кликали из любопытства
Важно запомнить
- Выборку и срок считают до старта
- Подглядывание и остановка при первой значимости сильно повышают шанс ложной победы
- Проверяй SRM — сильно ли разошлись размеры групп. Если да, тесту нельзя доверять
Углубление: когда A/B-тест не нужен
Если трафика мало, тест будет идти месяцами. Если изменение обязательное, например требование закона, тестировать нечего. Если эффект огромный и очевидный, проще выкатить с наблюдением. В этих случаях подходят интервью, прототипы, сравнение до и после с оговорками
Как ответить на собесе
Как ты запустишь A/B-тест?
«Формулирую гипотезу, выбираю целевую метрику и контрольные. Определяю минимальный эффект, который нам важен, и по нему считаю выборку и длительность, полными неделями. Разбиваю по пользователям случайно. Не подглядываю до конца срока. В конце проверяю, что группы не разъехались по размеру, смотрю значимость, контрольные метрики и сегменты»
Что такое p-value?
«Это вероятность получить такую или большую разницу между группами, если на самом деле эффекта нет. Если она меньше заранее выбранного порога, обычно 5 %, считаем результат статистически значимым»