A/B-тест сайта — как провести и оценить результат

Что такое A/B-тестирование

A/B-тестирование, или сплит-тестирование, — метод проверки гипотез, при котором пользователей сначала распределяют по жребию между исходной и измененной версиями (такое назначение участников еще называют рандомизацией), а затем сравнивают заранее выбранную метрику.

Исходная версия A — страница до изменений, а версия B содержит тестируемое изменение. На протяжении теста участник видит назначенный ему вариант.

Так маркетологи и вебмастера выясняют, влияет ли новый заголовок, кнопка или другой элемент на целевые действия посетителей.

На сайте можно тестировать такие элементы.

• структуру лендинга;
• количество и расположение контента;
• заголовки и подзаголовки;
• тексты и описания;
• изображения;
• дизайн и тексты у кнопок призыва к действию (CTA);
• формы регистрации на сайте;
• всплывающие окна;
• баннеры и окна с акциями, специальными предложениями.

Можно проверять и функции — поиск, рекомендации или порядок оформления заказа. Обратите внимание, что для проверки сначала нужно выбрать измеримое действие. К примеру, в отчете Optimizely 2026 года около трех четвертей из 173 тысяч экспериментов более чем 1 200 компаний — простой A/B-дизайн. Выборка охватывает клиентов платформы за 2018–2026 годы и наглядно показывает распространенность этого дизайна среди них.

При небольшом потоке посетителей нужная выборка собирается долго. Можно перейти к более посещаемой странице, сократить число вариантов или начать с исследования поведения пользователей. Optimizely в своих рекомендациях для малых сайтов также предлагает проверять более существенные изменения.

Подготовка к A/B-тесту

Как определить размер выборки

Еще до запуска вам нужно определить, какую разницу вы хотите обнаружить и какой риск ошибки допускаете. При уровне значимости α = 0,05 и отсутствии эффекта процедура в долгой серии сопоставимых тестов допускает около 5% ложноположительных решений. Настройки 90% и 95% встречаются в сервисах; их выбирают до анализа вместе с другими параметрами теста.

Для расчета выборки нужны исходная конверсия, наименьший обнаруживаемый эффект (MDE), уровень значимости и статистическая мощность. MDE — наименьшее изменение выбранной метрики, которое планируют обнаруживать с заданной мощностью при выбранном уровне значимости. А мощность означает вероятность обнаружить заданный эффект, когда он действительно существует. Например, в расчетах MDE Вариокуба используются α = 0,05 и мощность 80%. Чем меньше эффект, тем больше данных понадобится.

Калькулятор размера выборки Optimizely помогает оценить количество участников для каждого варианта.

Русскоязычный расчет выборки есть, например, в калькуляторе Mindbox. Еще можно использовать калькулятор Вариокуба — введите трафик участвующих страниц, длительность, долю аудитории, число вариантов и исходную конверсию, и сервис покажет MDE.

Одна и та же разница конверсий выглядит по-разному в зависимости от единицы измерения. Рост с 3% до 3,3% — это 0,3 процентного пункта или 10% относительно базы. Поэтому при вводе данных в калькулятор уточните, какой из двух способов он использует.

Из числа участников можно получить оценку срока. Допустим, нужны по 10 000 пользователей на вариант, а в две группы вместе приходит 1 000 подходящих пользователей в день. При распределении 50/50 выборка соберется примерно за 20 дней. К этому расчету добавляются задержка целевого действия и бизнес-цикл — их разбирают рекомендации по длительности теста.

Теперь у вас есть оценка числа участников и срока. С ней можно выбрать гипотезу, для проверки которой хватит посетителей.

Что тестировать в первую очередь

Первый сплит-тест должен связывать изменение страницы с измеримым результатом. Выбор страницы зависит от ее посещаемости, показателей и того, что уже известно о поведении пользователей.

Способ 1. Протестировать страницы с высоким трафиком

На странице с большим трафиком выборка собирается быстрее, а улучшение конверсии дает больше целевых действий. Такая страница подходит, если ее аудитория соответствует гипотезе.

Способ 2. Протестировать страницы с самыми плохими показателями

Низкая конверсия — повод выяснить, где посетители уходят. Причиной бывает техническая ошибка, например неработающая форма. Ее сначала исправляют. Сравнивать варианты можно, когда оба работоспособны и на страницу приходит достаточно посетителей нужной аудитории.

Способ 3. Оценить качественные и количественные данные

Данные юзабилити-тестов и других исследований подсказывают, что изменить. Посетители не могут найти кнопку бронирования? Попробуйте другое расположение, например по центру страницы. Результат такого изменения оцените в A/B-тесте.

Как сформулировать гипотезу

Гипотеза описывает изменение и показатель результата. Ее нужно записать еще до начала теста. Например, «Если разместить кнопку после описания услуги, вырастет доля посетителей, завершивших бронирование, потому что к этому моменту они получат сведения для решения».

SEO-специалист Брайан Дин проверял момент появления формы подписки в блоге Backlinko. В исходном варианте она появлялась сразу, на первом экране.

Брайан предположил, что окно после прокрутки даст больше подписок на рассылку и не ухудшит конверсию других элементов страницы. Так в гипотезе появляется и желаемый результат, и последствия, которые автор не готов принять.

Победителя нужно выбирать по одной основной метрике, ее и показатели возможного вреда задают в плане до запуска. Для бронирования это может быть, например, доля завершенных бронирований, а к показателям вреда относятся ошибки формы и неуспешные оплаты. Вспомогательные клики помогут объяснить поведение. О назначении показателей можно прочитать в документации Optimizely о метриках.

Конверсия завершенного бронирования — число участников, завершивших бронирование, разделенное на число участников, которым показали вариант, и умноженное на 100%. Если один пользователь бронирует несколько раз, для этой бинарной метрики он учитывается один раз.

Выбирать победителя по самой удачной из десятков метрик — плохая идея. Так повышается риск ложноположительного вывода. В исследовании Microsoft от июля 2026 года авторы проверили 2 300 наборов результатов из 14 A/A-экспериментов с одинаковыми вариантами. При объединении связанных метрик метод Фишера дал 22% ложноположительных срабатываний при пороге 0,05. Для процедуры Бенджамини — Хохберга доля составила 2,1%. При выборе платформы выясните, как она учитывает множественные сравнения.

Для страницы бронирования возможна и другая гипотеза — о тексте возле кнопки. К примеру, участники юзабилити-теста не поняли, когда бронь считается подтвержденной. Причина затруднения найдена, и теперь нужно подготовить описание, в котором этот порядок изложен яснее. Кнопка останется на прежнем месте, а в B изменится только текст. Для его черновика можно использовать следующий инструмент.

1. Откройте инструмент «Перефразировать текст» и вставьте исходное описание. Для примера возьмем текст «Выберите свободную дату, заполните имя и телефон и отправьте заявку. Менеджер свяжется с вами для подтверждения бронирования. Без подтверждения бронь не работает».
2. Для русского языка выберите уровень «Средний» и нужный тон. Этот режим перестраивает предложения. Выбранная модель и показанный расход лимитов определяют условия запроса; после их проверки нажмите «Отправить».
3. Предложенный текст появится в разделе «Результаты». Через «Показать различия» сравните его с исходным. Здесь задача редактора — сохранить порядок действий и условие подтверждения. Например, утверждение ИИ о том, что бронь подтверждается сразу после заявки, нужно исправить.

В A остается исходное описание, в B — отредактированный черновик. Перенесите его в эксперимент и измерьте влияние формулировки на бронирования по выбранной метрике и правилу завершения.

Запуск A/B-теста

Если проверяете гипотезу о расположении кнопки, исходная страница A остается прежней, а в B кнопка оказывается после описания. Предложение, цена и форма бронирования должны совпадать в обеих версиях. Текст в таком эксперименте тоже нужно сохранить, чтобы оценить именно расположение.

Тестируйте постепенно

Если сравнивать много вариантов с разными кнопками, размерами и оформлением, трафик придется разделить на несколько групп. А для такого теста понадобится больше данных. Поэтому лучше начните с наиболее обоснованной гипотезы и двух вариантов. Следующую итерацию подготовите после оценки результата. При планировании тестов с небольшим трафиком выбирайте изменения, ожидаемый эффект которых можно обнаружить на доступном числе участников.

Еще один эксперимент Брайана Дина касался двух дизайнов главной страницы Backlinko. Он мог проверять размеры логотипа, шрифты и кнопки по одному, но выбрал две существенно разные страницы. На исходной были недавние статьи блога.

У второй страницы был минималистичный дизайн. Здесь посетителю предлагали бесплатно прочитать тематическое исследование в обмен на адрес электронной почты. Эти две страницы Брайан и сравнил.

В отчете этого эксперимента у нового варианта конверсия выше.

Используйте программы

Специальные программы распределяют пользователей между версиями и собирают результаты. Для экспериментов на сайте можно выбрать, например, уже знакомый вам Яндекс Вариокуб. Он работает с Метрикой, поддерживает визуальные изменения, редиректы и тесты с флагами в коде. Базовый тариф включает два одновременных эксперимента на счетчик и основную плюс одну дополнительную метрику.

Почитать по теме: Альтернативы Google Optimize в 2026 году для сайтов из России

Как запустить тест

Тест можно запустить одним из двух способов.

1. Редирект на другую страницу.
   Если вы тестируете структуру, расположение блоков или дизайн всей страницы, создайте ее новый вариант. Например, исходный вариант A размещен на https://example.com/index.html, а тестовая версия — на https://example.com/index1.html. Часть пользователей увидит исходный вариант A, а другую часть программа перенаправит на альтернативу. При последующих посещениях система должна показывать участнику тот же вариант по правилам эксперимента.
   
2. Изменение на одном URL.
   Для проверки кнопки или текста можно создать вариант в визуальном редакторе либо в коде. Система покажет участнику назначенную версию. Проверьте загрузку на мобильном устройстве и влияние скрипта на скорость. При серверном тесте сервер формирует вариант до того, как отправит страницу.

Если новая фотография или дополнительный скрипт в B замедляют загрузку, это тоже меняет путь к бронированию. Проверка скорости перед запуском поможет выявить такую проблему. Для сценария с редиректом инструмент «Проверить скорость сайта» позволяет проверить два разных URL A и B, доступные сервису, например адреса из примера выше. При изменении на одном URL сервис обращается к общему адресу и не назначает нужный вариант по cookie. В таком тесте доступ к каждой версии нужно организовать через средства системы экспериментов.

1. В инструменте введите URL исходной страницы A и выберите «Для телефона» или «Для компьютера». Нажмите «Проверить».
2. В отчете будут сводка показателей загрузки и рекомендации. Повторите запрос для URL варианта B с тем же типом устройства. Сохраните адреса, дату и отчеты, чтобы сопоставить показатели в нескольких запусках.
3. Свяжите рекомендацию с измененным элементом. Если отчет указывает на неоптимизированное изображение, выясните, относится ли оно к новой фотографии в B.

Исправьте файл или код, например сожмите изображение или уберите лишнюю загрузку скрипта. После исправления повторите запрос с тем же типом устройства и пройдите целевой путь в браузере. Если гипотеза касается скорости, ее изменение учитывают в плане эксперимента.

Цель конверсии — событие, которое считается результатом. Для кнопки «Зарегистрироваться» это успешная регистрация. Например, окно «Спасибо за регистрацию» появляется после того, как система сохранит данные и подтвердит регистрацию; его показ можно связать с целью.

Если цели еще не настроены, прочитайте в руководстве PR-CY по Метрике, как установить счетчик и проверить события.

До запуска пройдите целевой путь в обоих вариантах. События, назначение группы, формы и загрузка страниц должны отрабатывать в каждой версии; в Вариокубе их можно открыть через проверочные ссылки. После запуска данные должны продолжать поступать в обе группы.

В Метрике откройте раздел Вариокуба для нужного счетчика. Настройка включает страницы, аудиторию, варианты и метрики, а для показа версий нужно подключить код по инструкции сервиса. Для первого теста с двумя вариантами выберите распределение, которое не будете менять во время теста, и проверьте показ каждой версии.

При тесте с редиректами сравните технические условия групп. FAQ Вариокуба рекомендует перенаправлять и вариант A на копию, а код эксперимента устанавливать на всех участвующих страницах.

Для индексируемых страниц соблюдайте рекомендации Google по A/B-тестам и SEO. Для альтернативных URL укажите canonical на исходную страницу, а временное перенаправление выполняйте через 302 вместо постоянного 301. После завершения уберите тестовые скрипты, альтернативы и перенаправления.

Правила проведения A/B-теста

1. Не спешите с выводами.
   Тест должен собрать рассчитанное число участников и охватить характерный цикл поведения аудитории, например будни и выходные. В тесте с заранее заданным сроком или объемом данных значимость оценивают после сбора всех данных; последовательные методы допускают ранние решения. Технические ошибки проверяют во время любого теста, а опасное изменение прекращают.
   
   
2. Тестируйте варианты одновременно.
   Обе версии получают трафик в один период, целевое действие измеряют одинаково для каждой группы. Важное изменение условий, например сбой оплаты, запишите в журнал эксперимента.
   
   
3. Делайте элементы согласованными.
   Одна и та же кнопка на нескольких страницах должна сохранять назначенное участнику оформление на всем пути эксперимента.
   
   
4. Выбирайте аудиторию по гипотезе.
   Для новой формы первого заказа подходят новые клиенты, для повторного бронирования — возвращающиеся. Условия аудитории задают в Вариокубе. Они опираются на то, как система определяет пользователя и удерживает его в варианте.
   
   
5. Не отказывайтесь от результатов, если они вам не нравятся.
   К примеру, красная кнопка на зеленом сайте может показать более высокую конверсию. Решение зависит от основной метрики, неопределенности и нежелательных последствий.
   
   
6. Проверяйте повторные тесты как новые эксперименты.
   При ошибке настройки тест запускают заново после ее исправления. Повторный эксперимент может изучать воспроизводимость результата или другую аудиторию. В истории тестов сохраняют гипотезы, условия и все исходы, включая отрицательные.

Необъяснимое статистически существенное отклонение долей участников от запланированного распределения называют Sample Ratio Mismatch, или SRM. Такой перекос требует диагностики распределения групп. Еще один способ проверить новую систему — A/A-тест, в котором обе версии одинаковы.

Оценка результатов тестирования

Решение о внедрении начинается с качества данных — поступают ли события и соответствует ли распределение групп плану. Дальше нужны основная метрика, размер эффекта и его неопределенность. Когда эти данные разобраны, можно оценивать затраты на внедрение, окупаемость и нежелательные последствия.

В отчете эксперимента результат описывают через p-value, доверительный интервал или байесовскую вероятность превосходства. Их смысл и способ расчета раскрывает документация платформы.

Нулевая гипотеза предполагает отсутствие различия между вариантами по выбранной метрике. P-value — вероятность получить такое или более сильное отклонение, если нулевая гипотеза верна. Доверительный интервал помогает оценить неопределенность размера эффекта, а байесовскую вероятность превосходства рассчитывают по выбранной модели.

Например, в условном тесте бронирование завершили 600 из 20 000 участников A и 660 из 20 000 участников B. Конверсии составили 3% и 3,3%, то есть рост относительно A — 10%. На первый взгляд B победил. Но для простого двустороннего сравнения двух независимых долей при заранее заданном объеме данных нормальное приближение дает p-value около 0,086. При заранее выбранном α = 0,05 значимой разницы нет.

У результата есть несколько возможных исходов.

• B показывает подтвержденное улучшение — оцените размер эффекта, затраты на внедрение и показатели вреда.
• B показывает ухудшение — сохраните A и используйте вывод для следующей гипотезы.
• Значимой разницы нет — оцените интервал и чувствительность теста.
• Данные или реализация теста не позволяют сравнить варианты. Исправьте проблему и заново спланируйте эксперимент.

Калькулятор достоверности A/B-тестирования

Для анализа бинарной конверсии есть калькуляторы, результаты эксперимента можно также получить в отчете самой платформы.

• Mindbox — русскоязычный калькулятор анализа результатов.
• ABTestGuide — англоязычный калькулятор с графиками, настройкой уровня уверенности и типа проверки.
• Вариокуб — отчет результатов эксперимента, проведенного в сервисе.

В калькулятор внесите число участников и число совершивших действие в каждой группе. Эти числа должны относиться к одной единице наблюдения и периоду. Тип теста и выбранный порог берут из плана эксперимента. Сам отчет сохраните вместе с гипотезой, версиями страниц и решением о внедрении.

Вопросы, которые могли у вас остаться

Можно ли запустить два эксперимента на одной странице?

Да, вы можете проверить, как эти два изменения действуют вместе. Чтобы оценить каждое изменение без второго, создайте группу взаимного исключения либо проведите тесты по очереди.

Как связать визиты пользователя с телефона и компьютера?

Для эксперимента среди авторизованных клиентов передавайте в систему единый ID пользователя на обоих устройствах. Используйте внутренний обезличенный идентификатор аккаунта для назначения версии и учета событий.

Почему исходная страница мелькает перед появлением версии B?

Браузер успевает показать исходный контент, пока скрипт ожидает нужный элемент или выполняет изменения. Это мерцание называют flicker.

Как исключить визиты сотрудников из эксперимента?

До запуска задайте правило, исключающее служебную аудиторию. Для офиса с постоянным внешним IP подойдет условие по этому адресу, а для удаленной команды — специальный cookie.

Что делать, если CDN отдает всем одну версию страницы?

CDN может сохранить готовый HTML и выдать его до того, как сервер назначит участнику версию. Для такого серверного теста включите признак назначенного варианта в ключ кеша CDN. Тогда сеть будет хранить содержимое A и B под разными ключами.