Что такое A/B-тестирование и как правильно его проводить

Что такое A/B-тестирование в маркетинге

A/B-тестирование — то же самое, что и эксперимент в лаборатории, только проводите вы его с реальными пользователями и на сайте или в приложении.

Например вы создаёте две версии одной страницы. Версия A — нетронутый оригинал, а версия B — та, где вы что-то изменили. Может быть, поменяли цвет кнопки с синего на красный, переписали заголовок или переместили форму для подписки на рассылку ближе к началу письма. Половина ваших посетителей увидит версию A, половина — версию B. 

Таким образом вы исключите влияние внешних факторов и сможете точно сказать: именно это изменение привело к улучшению результата. Никаких «Мне кажется» или «Я так чувствую» — только факты и цифры.

Зачем оно нужно

Вместо предположений вы получаете объективные данные. Пользователи буквально своими действиями показывают, что им нравится больше.

А ещё снижаете риски. Например, если вы полностью поменяете дизайн сайта, есть большая вероятность, что ваша конверсия начнёт лететь вниз. Тест же позволит прежде проверить изменения на небольшой части аудитории и убедиться, что всё работает как надо.

И, конечно, постоянная оптимизация. Рынок меняется, пользователи меняются, конкуренты не спят, и то, что работало год назад, сегодня может уже не работать. Тестирование помогает держать руку на пульсе и постоянно улучшать результаты.

Это одна из схем по A/B-тестированию в Netflix. Здесь компания проверяет гипотезу: какая версия интерфейса или конкретные функции лучше сработают для разных пользователей. Источник: блог Netflix TechBlog на Medium

Когда и в каких случаях его можно использовать

Представьте, что у вас интернет-магазин одежды. На него приходится много трафика, но конверсия в покупку — всего 2%. Вы хотите понять, что мешает людям покупать. Вот тут и пригодится A/B-тестирование.

Тестировать можно практически всё: заголовки, кнопки, изображения, формы, расположение элементов, тексты, цены, даже целые страницы. Главное условие — у вас должно быть достаточно трафика для получения статистически значимых результатов.

Особенно эффективно что-то менять на ключевых страницах: главной, карточках товаров, формах заказа, регистрации. Именно здесь небольшие модификации могут дать максимальный эффект.

Но не стоит тестировать то, что значительно поменяет пользовательский опыт, особенно если вы не уверены, что эксперимент не заруинит показатели. А модифицировать мелочи, которые вряд ли повлияют на поведение пользователей — зачастую бессмысленно.

Как провести A/B-тест на сайте

Пусть A будет контрольным вариантом (без изменений), а B — вариантом для тестирования (с одним изменением).

Победитель — тот, у кого конверсия выше

Этапы проведения A/B-тестирования

Проанализируйте текущие данные. Посмотрите на аналитику, изучите поведение пользователей, найдите узкие места. Может, вы увидите, что люди массово уходят с главной страницы или не нажимают на единственную кнопку «Подписаться».

Затем сформулируйте гипотезу. Например: «Если я изменю текст на кнопке с “Подписаться“ на “Получить скидку“, то конверсия увеличится — пользователи сразу увидят выгоду».

Цель должна быть измеримой и конкретной. «Поменять текст на кнопке» — плохая цель, мы же меняем буквы не ради букв, а ради роста показателей. «Увеличить конверсию в покупку с 5% до 7%» — уже лучше.

Добавьте к цели метрику — именно она покажет, насколько тест оказался удачным. Метрику можно привязать к конверсии, времени на сайте, количеству страниц за сессию или к прибыли от новых покупателей.

Дополните основную метрику парой второстепенных. Они помогут понять, не ухудшилось ли что-то ещё. Например, если увеличилась конверсия, выросла ли в таком случае частота отказов? А если количество заказов увеличилось, упал ли средний чек?

3. Сделайте выборку и разделите трафик

Решите, сколько человек попадёт в ваше A/B-тестирование. Слишком маленькая выборка не даст статистически значимых результатов. Слишком большая — отнимет много времени и ресурсов.

Убедитесь также, что выборка случайна и достаточна велика, чтобы результаты оказались репрезентативными. Сбалансировать пропорции помогут специализированные сервисы. Например, у «Яндекс Метрики» есть инструмент «Вебвзиор», в котором A/B-тестирование можно провести либо вручную с помощью функции «Цели», либо автоматически с помощью эксперимента в «Яндекс Тесте». Пользователи будут распределяться случайным образом благодаря анонимным идентификаторам в браузере.

Не забудьте и про соотношение. Обычно используют сплит 50/50, но можно иначе: 90% трафика на контрольную версию и 10% на тестовую. Второй вариант безопаснее, если вы не уверены в новой версии.

4. Проведите тестирование

Создайте варианты, которые будут немного отличаться друг от друга. Если будете тестировать кнопку, не меняйте оттенок цвета — попробуйте выбрать другой тон. То же самое касается размера кнопки и её расположения.

5. Мониторьте тест

Не спешите сразу делать выводы. Даже если через два дня уже вырисовывается явный лидер, дождитесь окончания теста. А чтобы не терять время, мониторьте внешние факторы: акции конкурентов, праздники, технические проблемы — всё это тоже может повлиять на результаты.

Ведите журнал изменений. Записывайте всё, что происходит во время теста: когда запустили, были ли технические проблемы, меняли ли какие-то настройки.

Если коротко: сформулируйте гипотезу, постройте выборку, тестируйте без спешки и следите за деталями — они решают.

Чек-лист проверки перед запуском теста

Техническая проверка

• Проверьте, что все варианты на десктопе отображаются корректно.

• Убедитесь, что мобильная версия также работает без ошибок.

• Откройте сайт в разных браузерах, чтобы убедиться, что и это не повлияет на тест.

• Настройте систему аналитики для отслеживания нужных событий.

• Проверьте правильное распределение трафика между вариантами.

Содержательная проверка

• Сформулируйте конкретные гипотезу и цель.

• Установите основную и дополнительные метрики.

• Рассчитайте размер выборки.

Организационная проверка

• Сообщите команде о запуске теста.

• Установите продолжительность тестирования.

• Назначьте ответственного за мониторинг.

• Подготовьте план действий на случай технических проблем.

Как анализировать результаты теста

Проверьте ключевые показатели

Есть ли разница между вариантами и насколько она надёжна? Обычно ориентируются на уровень 95% — это значит, что шанс ошибки всего 5%, и результат можно считать достоверным.

Но не всё, что достоверно, полезно. Если конверсия выросла с 10,1% до 10,2% — это может быть значимо с научной точки зрения, но на деле едва ли что-то изменит в бизнесе.

Оцените силу эффекта, насколько сильно изменение повлияло на результат:

• +50% — круто.

• +15% — неплохо.

• +3% — ни густо, ни пусто.

Смысл в том, чтобы смотреть не только на цифры, но и на то, имеют ли они значение в реальной жизни.

Таблица интерпретации результатов:

Избегайте ошибок при интерпретации результатов

Главная ошибка — остановить тест, как только начнут появляться первые результаты. Они ведь склонны к колебаниям, и то, что сегодня выглядит как устойчивая позитивная картина, завтра может оказаться случайностью.

Учитывайте множественное тестирование. Если проводите 20 тестов одновременно, один из них с вероятностью 95% покажет ложноположительный результат. 

И не игнорируйте практическую значимость. Малое, но статистически значимое улучшение может не окупить затраты на внедрение.

Ошибки при проведении A/B-тестирования

Неправильная выборка

Если вы тестируете новую версию мобильного приложения, и в выборке пользователи только из одного города, — результаты следует относить только к этому городу, а не ко всей аудитории в целом.

Учитывайте и сезонность. Если тестируете в период распродаж, результаты будут отличаться от тех, которые бывают в обычное время.

Также убедитесь, что выборка репрезентативна: она должна включать разные сегменты пользователей, устройства и источники трафика.

Проверьте, правильно ли вы определили выборку:

• География. Посмотрите, все ли регионы представлены пропорционально.

• Устройства. Убедитесь, что соотношение мобильных и десктопных пользователей соответствует обычному.

• Время. Проверьте, охватывает ли тест все дни недели и разное время суток.

• Сегменты. Изучите пользователей: должны быть и новые, и постоянные — и что их соотношение близко к нормальному.

• Источники трафика. Убедитесь, что представлены все каналы привлечения (поиск, соцсети, реклама).

Поделитесь с коллегами: если любой параметр отклоняется более чем на 20% от нормы — пересмотрите настройки теста.

Слишком быстрый тест

Спешка — главный враг качественного тестирования. Если ваши клиенты доходят до покупки в течение недели, то и тест должен длиться минимум неделю. Если у вас B2B-продукт с циклом принятия решений в среднем полгода, тестируйте также не менее 6 месяцев.

Учитывайте выходные и будни. Поведение пользователей в субботу может значительно отличаться от поведения во вторник.

Запомнить: бизнес-цикл — время, которое проходит от первого визита пользователя до совершения им целевого действия. У кофейни это может быть пять минут, у производителя оборудования — полгода.

Некорректная метрика

Выбор неправильной метрики может привести к ложным выводам. Если вы оптимизируете клики по кнопке, но не следите за конечными покупками, — скорее всего, получите больше кликов, но меньше продаж.

Всегда связывайте метрики с бизнес-целями. Увеличение времени проведения на сайте хорошо для медиа, но плохо для интернет-магазина.

Несоответствие тестируемых вариантов

Не тестируйте всё и сразу. Если вы одновременно меняете цвет кнопки, заголовок и изображение, будет сложно понять, какое именно изменение дало эффект.

Лучше тестировать по одному элементу за раз или использовать многовариантное тестирование с правильным планированием эксперимента.

Чем отличается A/B-тест от многовариантного тестирования:

Пример A/B-теста для email-рассылки:

Победителем будет вариант с большим процентом открытий.

Ошибки в выводах

Не путайте совпадение с причиной. То, что результат улучшился после изменения, ещё не значит, что именно это изменение помогло.

Будьте осторожны и с ложными связями. Например, летом растут и продажи мороженого, и спрос на солнцезащитный крем — но одно ведь не вызывает другое. Они оба актуальны именно в жару.

Скажем прямо — иногда A/B-тесты просто не работают, и это нормально. Компания Groove честно поделилась результатами целых шести тестов сразу. В одном из них она протестировала разные цвета кнопок на своём сайте и получила… нулевой результат. Ни один из выбранных цветов не показал значимого преимущества. 

Значит ли это, что тест проводили неправильно? Возможно. Но также это может означать, что вот это конкретное изменение просто не повлияло на поведение пользователей.

«Многие компании добились результатов, протестировав изменение цвета кнопок. Мы не получили такого же результата», — делится своим опытом Groove.

Преимущества A/B-тестирования

Улучшение конверсии

Даже небольшие изменения могут дать впечатляющие результаты. Если у интернет-магазина оборот 10 000 000 рублей в месяц, то 1% прироста конверсии даст ему дополнительные 100 000 рублей в месяц.

Ещё приятнее составной эффект — это когда небольшие улучшения накапливаются и дают наибольший результат. Как снежный ком, который катится с горы и становится всё массивнее.

Тестируйте систематически, чтобы оптимизировать воронку продаж. Сегодня улучшите главную страницу на 5%, через месяц — страницу товара на 3%, ещё через месяц — форму заказа на 7%. В сумме получите значительный прирост выручки.

Калькулятор потенциальной выгоды:

Такой расчёт показывает потенциальную выгоду даже от минимальных улучшений.

Оптимизация пользовательского опыта

Пользовательский опыт (UX) — общее впечатление человека от взаимодействия с вашим продуктом. Хороший UX как удобная обувь: его не замечаешь, но чувствуешь комфорт.

Тестирование помогает лучше понять такой опыт. Вы открываете для себя много нового: какие формулировки вашим покупателям понятнее, какие элементы интерфейса для них удобнее, какая информация им полезна в первую очередь.

Снижение стоимости привлечения клиента

CAC (Customer Acquisition Cost) — метрика, показывающая, сколько денег вы тратите на привлечение одного клиента. Чем ниже CAC, тем больше ваша прибыль.

Если конверсия растёт, то стоимость привлечения клиента автоматически снижается. Если раньше из 100 посетителей покупали два, а теперь покупают три, то стоимость привлечения одного клиента уменьшилась в 1,5 раза. Значит, вы можете либо тратить меньше денег на рекламу при том же количестве клиентов, либо привлекать больше клиентов за те же деньги.

A/B-тестирование: вопросы и ответы

Как определить оптимальный размер выборки?

Размер зависит от нескольких факторов: текущей конверсии, ожидаемого размера эффекта, уровня статистической значимости и мощности теста.

Мощность теста — вероятность обнаружить различие, если оно действительно есть. Обычно используют мощность 80%, что означает: если различие есть, мы найдём его в 8 случаях из 10.

Если у интернет-магазина конверсия в заявку — 2%, и он хочет повысить её до 4,5%, потребуется около 6000 посетителей в каждую группу. Если ожидаете менее существенные изменения — скажем, рост с 2% до 3% — выборка должна быть больше, потому что статистически сложнее доказать небольшую разницу. Зато эффект будет более реалистичным.

Примерные размеры выборки для популярных сценариев

*при трафике 1000 уникальных посетителей в день

Для онлайн-расчёта пригодятся бесплатные калькуляторы от mindbox и LimeSurvey.

Как долго проводить тесты?

Рассчитывайте подходящее время, ориентируясь на бизнес-цикл. Если большинство ваших клиентов покупают в течение дня после первого визита, недели будет достаточно. Если цикл принятия решения длится месяц, тест должен идти минимум месяц, а лучше — два или три.

Учитывайте сезонность и недельные циклы. Тест, который идёт только в выходные, может дать искажённые результаты.

Не останавливайте тест досрочно, даже если результаты кажутся очевидными. Эффект новизны может исказить первоначальные данные — пользователи могут по-разному реагировать на изменения в первые дни.

Матрица длительности тестов по типам бизнеса:

Как оценить влияние тестирования на бизнес-показатели?

Свяжите результаты тестов с финансовыми метриками. Повышение конверсии на 0,5% — это сколько дополнительных рублей в месяц? А какой процент от общей выручки? Такие вопросы помогут соотнести цифры в аналитике с реальными деньгами и приоритетами компании.

Учитывайте долгосрочные эффекты. Изменение, которое увеличивает конверсию, но ухудшает удержание клиентов, в перспективе может оказаться невыгодным.

Ведите журнал тестов и их результатов. Он поможет увидеть общую картину: сколько тестов провели, какой процент оказался успешным, какой суммарный эффект получили.

Ресурсы и курсы по A/B-тестированию

Начните с базы. Книга «Доверительное А/В-тестирование. Практическое руководство по контролируемым экспериментам» от Рона Кохави, Дианы Тан и Я Сюй — библия A/B-тестирования, в которой подробно с и примерами объясняются все важные моменты.

Дальше можно изучить материалы сервисов, специализированных под A/B-тестирование, — VWO и Optimizely. А также блоги компаний Netflix, Airbnb, Booking.com — они активно проводят A/B-тестирование и открыто делятся результатами. На нашем курсе «MBA: Управление маркетингом» только на эту тему материала на 4 часа! Опять же, ни на что не намекаем…

Новости и обновления в области A/B-тестирования

За последние 10 лет появились несколько новинок. Да, A/B — это вам не нейросети, тут всё медленнее и продуманнее. Это, к примеру, многорукие бандиты (multi-armed bandits), байесовский подход, машинное обучение для персонализации экспериментов.

Когда начали ужесточать политику конфиденциальности и ввели ограничения на использование cookies, стало популярно и серверное тестирование (server-side testing).

Также активно развивается направление каузального вывода (causal inference) — более продвинутого метода в тестировании. Такой метод помогает лучше разобраться в причинно-следственных связях в уже проведённых экспериментах или наблюдательных данных. Например, вместо банального «этот вариант сработал лучше», можно понять, почему он сработал, для кого, и что будет, если раскатить его на всех.

Одна из последних новинок появилась совсем недавно — в апреле 2025 года. Команда исследователей из IBM представила систему AgentA/B. Эта система использует LLM-агентов, которые «играют» роли пользователей и взаимодействуют с веб-сайтами в реальном времени. Они кликают, ищут товары, совершают покупки, а затем сравнивают поведение в разных вариантах интерфейса — как будто вы прогнали тест, не дожидаясь реального трафика. И что самое интересное: результаты этих симуляций по метрикам времени, воронки и действиям оказались похожи на настоящие пользовательские паттерны.

Конечно, в ближайшей перспективе они не заменят живых пользователей, но могут давать интересные возможности: быстро проверять гипотезы, отфильтровывать слабые идеи и ускорять разработку. Кто знает, возможно, через пару лет тесты будут начинаться не с запуска трафика, а с симуляции поведения.

Что дальше

Теперь, когда вы разобрались в том, что такое A/B-тестирование и как правильно его проводить, можно переходить к практике. Выберите одну из своих гипотез и проверьте её в течение следующей недели.

И помните слова Томаса Эдисона: «Я не потерпел неудачу. Я просто нашёл 10 000 способов, которые не сработали». Поэтому смело тестируйте разные варианты и найдите свой 10 001-ый (а лучше уже 2-ой) способ, который точно сработает.