Почему ваши A/B-тесты в магазине приложений вводят вас в заблуждение

Магазин приложений показал, какой вариант победил. Этот результат является лишь ориентиром, а не истиной — и если большая часть вашего трафика платная, вы могли измерить совершенно не тех пользователей. В этом интервью для App Talks Скотт Мастерс, директор по стратегии и партнерствам в Gummicube (https://www.gummicube.com), поговорил с технологическим журналистом Дэвидом Мерфи о том, почему A/B-тестирование мобильных приложений никогда не бывает одноразовым, что тестировать на странице продукта и как определить, является ли результат теста реальным. Большинство разработчиков и маркетологов недостаточно инвестируют в A/B-тестирование — простое поддержание присутствия в магазине не увеличивает видимость приложения, а пользователи, которых вы теряете, уходят к конкурентам. A/B-тестирование — это не разовое мероприятие: тренды меняются, предпочтения пользователей меняются, и функции приложения тоже меняются, поэтому страница продукта, которая не меняется, устаревает. Важна периодичность — тестируйте один-два раза в месяц, при этом каждый тест должен длиться не менее двух недель, чтобы достичь статистической значимости (продолжительность зависит от объема трафика на страницу вашего продукта). Тестируйте по одному элементу за раз: если вы будете менять текст скриншота и изображение одновременно, вы не узнаете, какой вариант сработал. Все элементы на странице могут быть использованы — заголовок, подзаголовок, краткое и полное описание, иконка, графика функций и скриншоты — все это влияет на стратегию тестирования. Тест, не выявивший победителя, все равно является результатом: вы узнали, чего делать не следует, затем вы повторяете и тестируете снова. Платформы предоставляют вам оценку влияния на конверсию и доверительный интервал, но эти данные носят направленный характер — это не так. Доказательство Реальная проверка результатов происходит после запуска приложения-победителя: сравните коэффициент конверсии до развертывания с коэффициентом конверсии после развертывания в работающем магазине. Состав трафика влияет на результаты — если трафик в основном платный, результат отражает платное поведение, а не органическую конверсию в поиске. Пользователи iOS и Google Play по-разному реагируют на страницу продукта одного и того же приложения, поэтому не стоит предполагать, что победитель распространяется между магазинами. Три главных вывода Скотта: обращайтесь за помощью к экспертам, если она вам нужна, проводите тестирование постоянно, независимо от того, насколько малы изменения, и измеряйте результаты по всем каналам, а не оценивайте их как единое целое. Главы: 0:00 Введение 0:29 Что делает Gummicube 0:46 Что означает A/B-тестирование мобильных приложений — и почему разработчики недооценивают его важность 1:54 Почему тестирование никогда не бывает «настроил и забыл» 2:46 Сколько времени должен длиться тест для достижения статистической значимости 3:29 Лучшая практика: одна переменная за раз 4:09 Что тестировать помимо скриншотов 5:23 Как измерить эффективность теста сработало 5:57 Почему победитель платформы лишь указывает направление 6:27 Различия каналов и платформ: iOS против Google Play 6:53 Три важных момента для начала 8:01 Заключение О Скотте Мастерсе Скотт — директор по стратегии и партнерствам в Gummicube, одной из первых в мире компаний по оптимизации магазинов приложений. Он работает с разработчиками приложений и маркетологами над A/B-тестированием мобильных приложений и стратегией конверсии, от частоты тестирования и статистической значимости до оптимизации заголовков, описаний, значков и скриншотов, а также проверки результатов по органическому и платному трафику в App Store и Google Play. LinkedIn: https://www.linkedin.com/in/scottmasterscsm/ О Gummicube Gummicube — компания по оптимизации магазинов приложений, которая работает с разработчиками мобильных приложений около 16 лет. Компания объединяет технологии ASO с экспертами в области креатива, дизайна, маркетинга и развития, чтобы помочь разработчикам улучшить свое присутствие в магазинах приложений, проводить A/B-тестирование метаданных и визуальных ресурсов, а также повысить конверсию как в органическом, так и в платном сегменте App Store и Google Play. https://www.gummicube.com О компании Business of Apps Business of Apps ставит перед собой задачу объединять и развивать экономику приложений. Наша серия мероприятий зарекомендовала себя как ведущая серия конференций по развитию приложений в Лондоне, Берлине и Нью-Йорке. Наша медиа-платформа является незаменимым ресурсом для людей, создающих, продвигающих и монетизирующих приложения, и цитируется как авторитет в индустрии приложений такими изданиями, как New York Times, BBC, Harvard Business Review и The Economist. Присоединяйтесь к нам на мероприятии Business of Apps — https://www.businessofapps.com/events Больше от Business of Apps: Еженедельная рассылка — https://www.businessofapps.com/register LinkedIn — https://www.linkedin.com/company/businessofapp...