Баннер мобильный (1) Пройти тест

A/B-тестирование

Глоссарий

16 мая 2023

Поделиться

Скопировано

Содержание

    A/B-тестирование — это метод маркетингового исследования, который заключается в сравнении контрольного (A) варианта продукта с его измененной (B) версией. Позволяет определять степень и характер влияния внесенных изменений на целевые показатели.

    Этот метод часто применяется в разработке сайтов и мобильных приложений для оценки улучшений, способных повысить трафик и конверсию, сократить количество отказов, увеличить продолжительность сессии и т. д. Его используют продуктовые аналитики и аналитики данных, веб-разработчикиинтернет-маркетологи и другие специалисты. С помощью A/B-тестирования можно строить и проверять гипотезы, чтобы выбрать, какое изменение необходимо внести в работу продукта для повышения эффективности.

    Для чего нужно тестирование?

    Многие специалисты вносят изменения в продукт, основываясь на своей интуиции, личном опыте и т. д. Это ведет к тому, что процент решений не соответствует объективной реальности и оказывается неэффективным.

    В разработке и проверке гипотез A/B-тест позволяет решать следующие задачи:

    • понимать реальные потребности, привычки, поведение пользователей и объективные факторы, которые на них влияют;
    • уменьшать риски, связанные с влиянием субъективного восприятия разработчика на принимаемые решения;
    • правильно распределять ресурсы на внедрение эффективных решений.

    В веб-разработке с помощью этой методики тестируются следующие элементы:

    • текстовое наполнение (содержание, структура, объем, шрифт);
    • дизайн, размеры, расположение конверсионных кнопок и форм;
    • логотип и другие элементы фирменного стиля;
    • дизайн и верстка веб-страницы;
    • цена товара, различные скидки и акции;
    • уникальное торговое предложение;
    • изображения продуктов и прочие визуальные материалы.

    Виды A/B-тестирования

    Простой A/B-тест (сплит-тест)

    Это классический способ, в котором сравниваются два варианта (контрольный и тестовый) исследуемого объекта, различающиеся только одним параметром. Например, страница лендинга с синей и желтой кнопкой призыва к действию (см. скриншот). Эта разновидность теста эффективна в случае точечных изменений, не затрагивающих глобально работу сайта.

    Многовариантное тестирование

    Сравниваются два варианта (контрольный и тестовый) нескольких элементов в различных комбинациях. Например, можно одновременно проанализировать кнопку целевого действия, блок с отзывами, логотип и т. д. Многовариантное тестирование более сложное, но позволяет анализировать воздействие на аудиторию не только каждого элемента по отдельности, но и их сочетаний друг с другом.

    A/B/n-тест

    Одновременно запускаются один или несколько вариантов на исходной странице. Для получения результата сравниваются коэффициенты конверсий среди вариантов на основе одного изменения. Например, посадочные страницы с прямоугольной, круглой, треугольной и трапециевидной кнопкой действия. A/B/n-тестирование позволяет выбрать подходящее решение из нескольких предложенных вариантов.

    Принципиальная схема A/B/n-теста

    Как провести тестирование?

    Разберем проведение A/B-тестирования на примере классического сплит-теста, так как две другие разновидности выполняются в целом по тому же алгоритму действий. Разница только в количестве исследуемых вариантов. Сплит-тест — экспериментально-статистический метод исследования, поэтому его эффективность напрямую зависит от соблюдения ряда строгих правил.

    Цели и метрики. Перед проведением A/B-теста нужно четко понимать желаемый результат. Это может быть увеличение трафика или конверсии, снижение отказов и т. д. В зависимости от цели выбираются метрики — количественные показатели, по которым определяется эффективность вносимых изменений. Например, количество заказов, средний чек, процент открываемых писем в рассылке.

    Гипотеза. Результаты A/B-тестирования напрямую зависят от сформулированного предположения, которое необходимо проверить. Гипотеза должна содержать анализируемый объект, его изменение и предполагаемые результаты. При этом общее предположение разделяется на 2 частных:

    • нулевая гипотеза — внесенные изменения не дадут результата, а все отклонения обусловлены случайностью;
    • альтернативная гипотеза — вариант B покажет статистически значимый результат.

    Количество проверяемых переменных. Каждый сайт или мобильное приложение содержит в себе десятки элементов, так или иначе влияющих на пользовательский опыт и, соответственно, трафик, конверсию и другие целевые показатели. Проверять несколько или все сразу — не лучший вариант, так как после тестирования будет сложно определить, какая переменная оказала решающее влияние на результат. Поэтому для одного сплит-тестирования необходимо выбрать только один проверяемый элемент (при этом его вариаций может быть более двух).

    Распределение аудитории. Для чистоты проведения сплит-теста необходимо случайным образом и поровну распределить трафик между контрольным и тестируемым вариантом. При этом пользователи, которые видят версию A, не должны видеть версию B. Если продукт уже используется и подвергается дополнительным улучшениям (например, по нему проводится параллельная рекламная кампания), для достоверности результатов нужно разделить трафик не на 2, а на 3 группы — A, A и B. Первым двум демонстрируется контрольный вариант продукта, а третьей — тестируемый. Если результаты в первых двух группах одинаковые, внешние факторы не повлияли на достоверность тестирования и результату можно доверять.

    Размер выборки. Для получения статистически значимых результатов нужно рассчитать размер аудитории, которой будет демонстрироваться контрольный или экспериментальный вариант продукта. На этот показатель влияют различные параметры, включая личные предпочтения экспериментатора. Рассчитать выборку можно вручную или с помощью специальных сервисов, например Driverback или Optimizely.

    Порог значимости. Это показатель, характеризующий разницу между результатами контрольной и экспериментальной групп, обусловленную случайностью. Стандартный порог значимости — 0,05, то есть в 5% случаев отклонения не имеют ценности для эксперимента. Чем меньше этот показатель, тем ниже риск обнаружить в результатах эксперимента случайные данные. В онлайн-сервисах для проведения сплит-теста порог значимости выбирается автоматически.

    Сроки проведения теста. Чтобы сплит-тест показал достоверные, а не случайные результаты, его нужно проводить определенное время. Если закончить тест раньше времени, то это может привести к ошибке подглядывания. Даже если результат статистически значим, это не гарантия правдивости результата, пока период теста не завершен. Если анализируется сайт, то рассчитать время тестирования можно с учетом ежедневного трафика. В среднем, для проведения объективного теста достаточно двух недель. Чтобы исключить влияние внешних факторов (например сезонности, курса валют, погоды и т. д.), контрольный и тестовый вариант нужно проверять одновременно.

    Анализ результатов

    В завершение A/B-тестирования необходимо сравнить результаты групп A и B друг с другом, а получившуюся разницу (если она есть) — с порогом значимости. Также нужно оценить, в какую сторону изменилось значение метрики в варианте B — положительную и отрицательную. Это позволит понять целесообразность изменений.

    Если сплит-тест не показал значимой разницы между общими показателями метрики A и B, можно попробовать их сегментировать. Например, измененная с прямоугольной на круглую кнопка подписки не привела к увеличению числа заказов, но улучшила отдачу у женской части аудитории. Такое сегментирование можно провести по географическим параметрам, типу платформы (десктопной или мобильной), полу, возрасту, источнику трафика и т. д.

    Не всегда небольшая разница между целевыми показателями в контрольной и экспериментальной группах означает отсутствие результата. Их необходимо соотносить со степенью внесенных изменений. Например, если тестируемый вариант лендинга отличается от изначального только небольшим увеличением кнопки, сложно ожидать большого влияния на конверсию. Тем не менее даже такой результат может повысить эффективность работы сайта.

    Если тестирование проведено корректно и показало статистически значимый результат, а внесенные изменения себя оправдали, это не повод останавливаться. Во-первых, на том же лендинге, кроме кнопки целевого действия, есть заголовок, основной текст, изображения и фотографии, виджет, отмеряющий срок действия акции, и множество других элементов. Все они влияют на поведение пользователей. Во-вторых, рекомендуется проводить несколько итераций теста для одного и того же элемента, причем в каждой новой контрольным вариантом делать экспериментальную версию из предыдущего теста.

    Инструменты для A/B-тестирования

    Для проведения сплит-теста нужна большая выборка аудитории. Это сложный процесс, особенно если респонденты из контрольной и экспериментальной групп находятся в разных частях страны и даже мира. Поэтому для ускорения тестирования и сокращения вероятности ошибок можно использовать различные онлайн-сервисы.

    Google Optimize. Сервис входит в онлайн-платформу Google Marketing Platform. Он позволяет тестировать различные элементы страниц, в том числе заголовки, шрифты, конверсионные кнопки и формы, картинки, текст и т. д. Сервис можно интегрировать с Google Analytics для сегментирования и настройки целей, а также с Firebase, Google AdWords и другими продуктами компании. Есть бесплатная версия.

    Optimizely. Один из самых востребованных платных сервисов. Стоимость рассчитывается индивидуально после консультации с отделом продаж. Optimizely отличается высокой персонализацией и гибкостью, но не может интегрироваться с продуктами Google.

    Visual Website Optimizer. Платный онлайн-сервис. Стоимость подписки — от 99 до 999 долл./мес. Позволяет настраивать свыше 15 параметров для проведения эксперимента, частично интегрируется с Google Analytics, но без возможности импорта целей. Есть демоверсия на 30 дней с ограничением по трафику до 1000 посетителей.

    VWO — платный сервис для A/B-тестирования с широким функционалом

    AB Tasty. Еще один англоязычный ресурс с простым и понятным интерфейсом, широким набором функций, гибкой настройкой и персонализацией. Может интегрироваться с сервисами Google для таргетинга и постановки целей, имеет автоматизированные средства обмена сообщениями. Доступен по подписке от $39 за 5 тысяч посетителей до $390 за 200 тысяч пользователей в месяц.

    AB Tasty для A/B-тестирования

    A/B-тестирование — универсальный, надежный и проверенный метод маркетингового исследования. При соблюдении условий проведения можно получить объективное понимание, как нужно улучшить продукт. Тем не менее, не нужно рассчитывать только на него. Для получения максимально объективных данных A/B-тестирование нужно комбинировать с другими маркетинговыми исследованиями.

    Поделиться

    Скопировано

    0 комментариев

    Комментарии