A/B-тестирование — метод, позволяющий оценивать количественные показатели работы двух вариантов одной страницы.
Например, есть гипотеза, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, мы сделаем ее более заметной. Чтобы проверить, приведет ли это изменение к увеличению конверсии, создается копия существующей страницы, но с другим цветом кнопки.
Теоретически это абсолютно верный подход, но на деле A/B-тест часто выдает неадекватный результат.
Дело в том, что сравнительное тестирование — сложная техническая задача, и мало у кого сходу получается правильно организовать процесс. В очень многих случаях тест сложно интерпретировать (плохо настроили аналитику, загрязнили данные). Но даже если получен внешне качественный результат, не факт, что он статистически значим или не является следствием нарушения чистоты эксперимента.
Например, есть гипотеза, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, мы сделаем ее более заметной. Чтобы проверить, приведет ли это изменение к увеличению конверсии, создается копия существующей страницы, но с другим цветом кнопки.
Теоретически это абсолютно верный подход, но на деле A/B-тест часто выдает неадекватный результат.
Дело в том, что сравнительное тестирование — сложная техническая задача, и мало у кого сходу получается правильно организовать процесс. В очень многих случаях тест сложно интерпретировать (плохо настроили аналитику, загрязнили данные). Но даже если получен внешне качественный результат, не факт, что он статистически значим или не является следствием нарушения чистоты эксперимента.
