Как провести A/B-тест акции и не принять случайность за результат

Акция с подарочными баллами вернула 30% клиентов. А если бы подарок был в полтора раза меньше — вернулось бы столько же? На этот вопрос отвечает A/B-тест: два варианта одной акции на двух одинаковых группах клиентов и сравнение, какой сработал лучше. В Анкоре это делается внутри одной акции. Ниже — как настроить, сколько клиентов нужно и как читать вывод, чтобы не принять случайность за результат.

Что такое A/B-тест акции

Аудиторию акции делят на группы случайным образом, и каждая получает свой вариант: например, A — 200 баллов, B — 300 баллов. Группы похожи по составу, поэтому если вариант B вернул заметно больше клиентов, дело в подарке, а не в том, что в группу случайно попали самые лояльные. Ещё одна группа — контрольная — не получает ничего: она показывает, сколько клиентов пришли бы и без акции.

Сравнивать два подарка на разных неделях или в разных точках — не A/B-тест: на результат влияют сезон, погода и праздники, и отделить их от подарка нельзя.

Как настроить в Анкоре

1. Создайте акцию. В разделе «Акции» — «Бонус со сроком» или «Множитель на период». Аудитория, тип подарка, сумма или коэффициент, срок и текст пуша — это вариант A. Как устроены сами акции, подробно в гайде «Как запустить акцию для сегмента клиентов и прочитать результат».
2. Добавьте вариант. Ниже в форме, в блоке «Варианты: что сработает лучше», нажмите «Добавить вариант B». У бонусной акции укажите «Сколько дарим» и свой текст пуша. У множителя — коэффициент, строку на карте и, если у варианта A есть анонс, свой текст анонса. Третий вариант — «Добавить вариант C».
3. Оставьте контрольную группу. По умолчанию это 20% аудитории. Она ничего не получает и показывает, нужен ли подарок вообще.
4. Проверьте размер групп. Сохраните черновик: в блоке «Аудитория сейчас» Анкора напишет, по сколько карт получится в каждом варианте и какую разницу в доле вернувшихся на такой аудитории тест скорее всего не заметит.
5. Запустите. «Запустить сейчас» или «Запланировать». Кто в какой группе, решает система, и каждый клиент получает подарок, пуш и строку на карте своего варианта.

Варианты одной акции — одного типа: у бонуса они отличаются суммой, у множителя — коэффициентом. Тип подарка (баллы, кэшбек или штампы) и механики множителя общие. Сравнить баллы с кэшбеком или подарок с двойными начислениями в одной акции нельзя. У множителя на штампы вариантов не больше двух: штамп бывает только ×2 или ×3.

Сколько клиентов нужно

Чем меньше разница между вариантами, тем больше клиентов нужно, чтобы её увидеть. Если за время акции обычно возвращаются 20% клиентов, то в каждом варианте нужно примерно:

• 80 карт, чтобы отличить 20% от 40%;
• 140 карт — 20% от 35%;
• 300 карт — 20% от 30%;
• 1 100 карт — 20% от 25%.

И наоборот: на 50 картах в варианте тест заметит только разницу больше 22 процентных пунктов, на 200 картах — больше 11, на 1 000 — больше 5. Это оценки с обычными для таких расчётов допущениями: случайную разницу тест выдаёт за настоящую не чаще 5 раз из 100, а настоящую замечает с вероятностью 80%.

Отсюда практическое правило: на небольшой базе сравнивайте заметно разные варианты — 100 и 300 баллов, а не 200 и 250. Небольшую разницу на ней не увидеть.

Как читать результат

На странице запущенной акции, в блоке «Результат», появляется раздел «По вариантам». Для каждого варианта — сколько карт, какая доля вернулась, разница с контрольной группой с пометкой «достоверно» или «может быть случайностью», покупки на 100 карт и сумма чеков на карту. Над таблицей — строка вывода, где лучший вариант сравнивается со вторым:

• «Вариант B вернул больше клиентов, чем вариант A… Разница достоверна». Можно делать вывод: подарок B работает лучше.
• «Пока не отличить от случайности». Разница есть, но на таком числе клиентов она могла получиться случайно. Если рядом написано, сколько карт нужно, — стоит повторить тест на аудитории побольше или сравнить варианты, которые отличаются сильнее.
• «Варианты пока не различаются» — доля вернувшихся одинаковая.

Вывод делается по доле вернувшихся: для акции возврата это главный показатель. Покупки и сумму чеков отчёт показывает числами без вывода — для них нужен другой расчёт, и один крупный чек в маленькой группе может перевернуть картину.

Пример: в каждом варианте по 50 карт, вернулись 26% против 18%. Разница кажется большой, но отчёт напишет «пока не отличить от случайности»: на 50 картах случайность даёт такую разницу примерно в трети случаев.

Типичные ошибки

• Сделать вывод слишком рано. В первые дни после пуша разница скачет. Дождитесь конца срока подарка или окна множителя.
• Сравнивать на маленькой базе. На 50 картах в варианте видна только очень большая разница — см. числа выше.
• Делать много вариантов. Аудитория делится между ними поровну, и каждый лишний вариант уменьшает группы. Чаще всего хватает двух.
• Убрать контрольную группу. Тогда видно, какой вариант лучше, но не видно, окупился ли подарок вообще.

Коротко о том, что умеют акции в Анкоре, — на странице «Акции для клиентов». Когда какие акции запускать в течение года, разобрали в гайде «Календарь акций для кофейни и салона красоты на год».