Дмитро Мазурян

Краткое изложение доклада

Зачем нужны A/B-тесты?

A/B-тесты – это точка роста.

• способ достичь роста за минимальное время;
• можно считать разницу;
• позволяют понять аудиторию;
• добавляют разнообразия в работе.

Но не все так просто.

Как правильно делать A/B-тесты, если у вас органический трафик основной?

Цель A/B-теста:

• улучшить монетизацию;
• не ухудшить SEO.

Главное правило, чтобы с трафиком ничего не произошло: не трогать контент. Страницы должны оставаться такими же полезными, как до эксперимента. Работаем только с визуальной частью и действиями юзеров.

Если вы монетизируетесь от рекламных систем, обязательно следуйте стандартам Better Ads. Гугл мониторит этот стандарт.

Проверяйте все рекламные скрипты, которые ставите на сайт, на вирусы:

1. Создаем страницу с скриптом, которую закрываем от поисковиков.
2. Создаем объявление в Google Ads.
3. Ждем модерацию.

Как проводить A/B-тесты?

План действий:

1. Подобрать документы для эксперимента.
2. Начать фиксировать позиции/трафик за 1-2 недели до начала эксперимента.
3. Внедрить эксперимент.
4. Мониторить изменения позиций и трафика, пока набирается репрезентативная выборка.
5. Если новый вариант победил, внедряем и ждем 1-2 недели после индексации всех документов с новым вариантом.
6. Если все норм, внедряем на своем сайте.

Требования к выборкам:

• Не меньше 30 документов в выборке. Больше – лучше.
• Наличие или трафика или видимости.
• Нет документов с аномальным трафиком (сильно больше/меньше).

Основные метрики

Как фиксировать стату

• Analytics – вариант фиксируем через datalayer.push в переменную через GTM/
• Ссылки/блоки – для каждого варианта добавляем свой набор.
• Иногда подойдет и Google Optimize.
• Обязательно проверяем в самом начале запуска теста.

Как проверять:

• Репрезентативная выборка. Это то множество пользователей, которое должно пройти через каждый вариант, чтобы мы могли сказать, что наш A/B-тест работает правильно и мы можем выделить один из вариантов, что он работает лучше или хуже.
• Разные устройства. Пользователи на десктопе и на мобайле абсолютно по-разному реагируют на ваш трафик. Если какой-то вариант очень хорошо работает на десктопе, он может плохо работать на мобайле.
• Целевое гео. Наблюдайте только за целевыми странами.

Советы

• Когда делаете эксперименты с SEO, используйте придуманные слова в новом варианте.
• Если позиции начали падать, останавливайте эксперимент.
• Периодически создавайте новые объявления в Google Ads.
• Фиксируйте даты начала и остановки экспериментов.
• Проверяйте эксперимент после запуска.
• Не запускайте тесты перед выходными.
• Планируйте тесты наперед.
• Подводите итоги внимательно.
• Если разница меньше 5%, это может быть погрешность
• Соблюдайте правила и законодательство.
• Ведите реестр экспериментов.