A/B-тестирование ASO для сезонных ивентов. Опыт Belka Games

Как именно построен процесс A/B-тестирования визуального контента для магазинов приложений в Belka Games, — в своей статье для App2Top.ru рассказала ведущий ASO-менеджер компании Анастасия Личная.

Анастасия Личная

Новый арт к праздникам — это важно

Обновлять витрину к праздникам полезно по ряду причин. Остановимся на паре очевидных.

Во-первых, визуальный контент, подготовленный специально под конкретный «красный день календаря», дает хороший прирост конверсии в сезон в рамках рекламных кампаний.

Во-вторых, он же может привлечь внимание редакций сторов.

Дело в том, что их модераторы часто составляют тематические подборки к определенному событию или празднику. Если обновить графику вовремя, у игры появится больше шансов в них попасть, а значит — получить больше фичеров и, как следствие, больше органического трафика.

Например, наш тематический баннер для Microsoft Store ко Дню святого Валентина (Solitaire Cruise) был замечен стором. Нас включили в праздничные подборки, благодаря чему мы получили на 300% больше органических установок.

Как и все топовые компании, мы устраиваем в играх ивенты. Демонстрируя их на витрине (а не просто меняя оформление скриншотов), мы повышаем не только конверсию в загрузки, но и вовлечение: игроки, которых привлекло событие, с большей вероятностью останутся в игре с сезонными активностями.

Составить календарь — первый этап при планировании сезонных обновлений

Для всех проектов мы готовим календарь праздников и мероприятий, к которым нужно обновлять графику.

Важно: чтобы работа шла бесперебойно, нам нужно учитывать загрузку художников, выделять время на тесты.

Раньше в App Store графику без обновления билда менять было нельзя. То есть, если у продукта жесткие даты апдейтов, мы должны были подстроиться и под них.

Сейчас все иначе — можно обновлять скриншоты и видео с помощью экспериментов без билда. Но в любом случае нам важно заранее планировать сезонные активности по всем проектам.

Некоторые из праздников, к которым мы в обязательном порядке готовим новую графику:

• День благодарения;
• Хеллоуин;
• Рождество;
• Лунный Новый год;
• Рамадан.

Как мы готовим сезонное ASO

Контент к каждому празднику проходит через шесть этапов.

1. Генерация идей.
2. Разработка графики.
3. Тест.
4. Применение.
5. Анализ применения.
6. B/A-тест по окончанию события или тест графики к следующему событию.

На каждом из них останавливаться не буду. Тут все довольно очевидно, да и наш материал посвящен в первую очередь тестированию.

Отмечу только, что на этапе генерации идей для креативов мы изучаем тренды в нашем жанре и смежных нишах.

Что касается этапа разработке графики, то мы обычно пользуемся наработками для предыдущих сезонов. Если ASO сработало однажды, то можно протестировать его снова или заложить в основу нового контента.

Нельзя менять контент без тестов

Сезонную графику не стоит вешать, предварительно не проверив ее в рамках тестирования. Без него предсказать результаты обновления невозможно. Новая графика может в равной степени как увеличить конверсию, так ее и снизить, тем самым ударив по рекламному бюджету.

Так что запоминаем: любая графика должна быть протестирована.

В одной далекой-далекой компании как-то не протестировали баннеры на Рамадан, и по всем источникам конверсия упала на 10%. Объемы небольшие, но было немного больно. Не надо так.

Инструменты тестирования

В «Белке» для тестов мы используем:

1. A/B-тесты в Google Developer Console;
2. функционал для оптимизации страницы продукта в App Store Connect;
3. наш внутренний инструмент тестирования, который позволяет вести трафик на страницы, имитирующие стор, и замерять результаты тестирования.

Как мы тестируем?

Этап тестирования очень комплексный. Тут нужно учитывать множество моментов. Один из них — как долго праздник будет радовать пользователей и к какому моменту начнет их раздражать.

Например, к Рождеству семьи обычно готовятся заранее, поэтому и тесты можно запускать уже в конце ноября. А вот графику ко Дню святого Валентина нет смысла тестировать раньше, чем за две недели — период актуальности праздника очень короткий, поэтому по тестам можете даже уйти в минус.

Практика показывает, что тесты лучше запускать на каждое гео отдельно. Так можно применять наиболее подходящие под локацию креативы. Плюс это удобнее при интерпретировании результатов.

Обычно мы тестируем графику на основных гео, на которые приходится наибольшая доля трафика и дохода. Часто в разных странах лидеры в тестах отличаются, и тогда мы применяем разные варианты.

Поскольку в App Store нет возможности использовать разные иконки для разных гео, мы делаем так:

• используем вариант иконки, который лидировал в тестах в большинстве гео;
• или применяем иконку-лидера из теста в гео, где нам важнее всего получить прирост конверсии.

Практика показала, что в обоих случаях мы получаем рост метрик (или удержание на уровне) во всех значимых регионах. Но у такого подхода есть и минусы. Например, Рождество в христианских странах празднуют, а в азиатских и мусульманских — нет. В таком случае иконку с елкой и игрушками лучше протестировать в соответствующих странах заранее, чтобы не навредить конверсии продукта.

Кейсы

Рождество и Лунный Новый год — Clockmaker

Мы протестировали рождественскую графику не только в католических странах, но и в Японии, где, казалось бы, католиков практически нет. И были приятно удивлены результатам.

Вот результаты теста.

Обе новые иконки с рождественской тематикой показали в Японии рост. Вариант 1 показал прирост конверсии в установку в 7%, вариант 2 — плюс 11%.

Зимний сет скриншотов со снегом и Сантой дал плюс 10% в плане конверсии в установку.

Рождественский вариант баннера также дал прирост конверсии в плюс 5%.

А вот, например, что было с Лунным Новым годом. Мы подготовили графику для азиатских гео и протестировали одновременно иконку и баннер.

В Японии лучше всего показал себя вариант 02 (плюс 20%), в Корее — 01 (плюс 16%).

Но мы решили проверить, как покажет себя графика в других странах. Результаты нас порадовали. США, Германия, Россия — везде второй вариант показал прирост на 14%. А вот в Британии, как ни странно, варианты отработали даже хуже оригинальной витрины.

Хэллоуин — Solitaire Cruise

Мы разработали три варианта иконок на базе текущей и за две недели до праздника приступили к тестам.

Все три варианта сыграли в плюс, но наибольший прирост дала иконка № 2 — плюс 12%. Это хороший результат. Но можно ли его увеличить? Мы украсили лидирующий вариант и протестировали еще три иконки:

Первая иконка в тесте показала прирост 20% — гораздо лучше. Ее мы и применили.

Весь процесс уложился в две итерации. В первой итерации мы вывели лидера, во второй — протестировали получившиеся от него производные.

Такое разделение процесса отлично экономит время. Не нужно ждать, когда закончатся тесты всех вариантов — можно взять тот, который лучше всего себя показал, модифицировать его и протестировать уже обновленные версии. Минус такого подхода — оценить результаты применения сложнее.

Анализ применения иконки показал рост конверсии во всех гео применения. Наибольший рост получили в Германии и США — конверсия по всем источникам трафика увеличилась на 20%. А вот в России результаты не такие впечатляющие — прибавилось всего 4%.

Важно знать, когда праздник сходит на нет. Две недели после Хеллоуина мы наблюдали за конверсией, снижений не было. А 15 ноября А/В-тест показал, что оригинальная иконка работает наравне с тематической. Значит пользовательский интерес к празднику угас. Нам стало понятно, что пора сворачиваться. Мы вернули оригинальную иконку в стор.

Рождество и День Святого Валентина — Bermuda Adventures

Bermuda Adventures — это ферма/приключение про жизнь семьи на тропическом острове. Для нее мы подготовили зимние варианты баннеров, а затем — иконки.

На удивление ни один из вариантов не показал прироста конверсии в тестах. Вероятнее всего, пользователи не увидели в графике того, что ожидали от игры. В баннерах нет и намека на ферму, да и островная тематика пропала.

Но у нас был припасен еще один вариант.

Он и показал в тесте рост конверсии до плюс 7%. Успех!

Затем мы перешли к тесту иконок.

Иконки в тесте отработали хуже текущей. Скорее всего, по тем же причинам, что и баннеры. Тогда мы подготовили варианты, близкие по содержанию к текущей:

Тесты мы начали в конце ноября (к Рождеству стоит готовиться заранее). По итогам тестов первый вариант показал прирост 10% во всех гео. 15 декабря мы его успешно применили.

В начале января у нас возникла идея протестировать надпись на иконке. Добавили лаконичное «2022». Согласно нашей гипотезе, указание года могло убедить пользователей в актуальности игры, побудить скачать, чтобы проверить обновления.

Это сработало. Новая иконка дала плюс 10% к конверсии в установку. Поэтому мы ее и поставили.

Время шло к Дню всех влюбленных, и мы решили подготовить тематические иконки и баннеры.

Помимо отсылки к празднику, подготовленная графика продолжала романтическую тему наших наиболее перформящих UA-креативов, что могло хорошо сказаться на IR.

Все варианты иконок отработали хуже зимней. Причин могло быть несколько:

• иконки оказались слишком «мислидовыми»;
• иконки не отображали суть приложения;
• «зимняя» графика все еще актуальна и больше интересна пользователям, чем романтичная и более весенняя;
• на иконке не было надписи «2022» (мы готовили их до старта теста второй зимней иконки).

Помимо иконок, мы подготовили два тематических праздничных баннера.

В тесте они проявили себя по-разному:

В Германии и Франции лидировал первый баннер — плюс 17%, в России популярностью пользовался второй — плюс 10%.

Как ни странно, в США и Великобритании графика не зашла, показав 0% прироста и полное равнодушие аудитории. Применять ее не стали — продолжили тесты других вариантов.

Рамадан — Solitaire Cruise и Clockmaker

В наших играх мы готовим обновления и к главному мусульманскому празднику — Рамадану. У нас были тесты контента в Турции, Саудовской Аравии и ОАЭ.

Например, так выглядели тестируемые нами баннеры Solitaire Cruise:

Во всех мусульманских гео лидировал баннер 01 — он дал прирост установок в 10%.

С Clockmaker была гораздо более интересная история. Мы тестировали следующие креативы:

С фантастическим опережением выиграл второй вариант. Он показал рост конверсии в 40%.

Откуда такие цифры?

Наша гипотеза следующая: в Рамадан мусульмане постятся весь день — даже воду не пьют. Только вечером наступает время первого приема пищи.

И как раз в этот период мы даем им живую картинку, где считывается и вечер, и богато накрытый стол. Первый вариант хоть и настраивает на подобающий лад, но выглядит гораздо проще, да и не приводит к целевому действию.

К слову

Иногда мы применяем ASO, которое не показало увеличения конверсии, но прошло тесты наравне с текущим вариантом.

Во-первых, так мы демонстрируем пользователям в сторе, что в наших играх активно ведется работа над графикой и новым функционалом (и в целом идут изменения).

Во-вторых, это помогает нам поработать над ретаргетингом. Текущие пользователи заметят новую иконку с елкой и игрушками и, возможно, захотят зайти в игру и проверить, что интересного вышло.

Заключение

Наш опыт тестирования визуальных составляющих ASO можно свести к следующим положениям:

• все сезонные изменения графики лучше заранее протестировать, чтобы не снизить конверсию;
• сезонное ASO работает не только на конверсию, но и на вовлечение игроков, если проводить ивенты по теме в приложении;
• у каждого праздника — свой срок актуальности, и это нужно учитывать. А после завершения праздника нужно запускать обратные тесты с предыдущей графикой, чтобы не упустить момент, когда праздник начнет приедаться;
• предпочтения от страны к стране разнятся, поэтому тесты лучше проводить отдельно для каждого гео (если вы хотите, чтобы ваше ASO сработало на 100%, конечно);
• хорошая практика — применять в тестах две итерации: быстро протестировать первые варианты, выбрать лидера, усовершенствовать его и провести тесты для вариантов-производных;
• одно указание года может дать плюс 10% к конверсии;
• важна консистентность. Если продукт позиционирует себя как ферма на тропическом острове, на иконках должен быть индикатор фермы, а на баннерах — индикаторы острова: песок, пальмы, море.