Pixonic: «Как мы тестировали и проверяли наши гипотезы»

О важности ивентов и опыте работы над ними, — рассказывает Вадим Чаругин, гейм-дизайнер компании Pixonic.

Материал — адаптированная версия доклада Вадима, прочитанная на осенней сессии White Nights в Москве.

Вадим Чаругин

Ивенты: понятие, плюсы и минусы

Для нас в Pixonic, когда речь заходит о гипотезах и их проверке, одним из ключевых терминов являются «ивенты». Под этим словом можно понимать разные вещи, поэтому я хотел бы начать с того, что под ним обычно подразумеваем мы.

Ивенты – это внутриигровые события, которые ограничены по времени. В рамках этих событий игрокам дается какой-либо дополнительный функционал или контент, который в продукте в любое другое время недоступен.

Среди плюсов проведения ивентов:

— возможность увеличить пользовательскую базу игроков;

У пользователей во время праздников гораздо больше времени на то, чтобы посмотреть игру, поиграть в нее, поучаствовать в каких-то активностях. Также они больше общаются, смотрят больше роликов.

Например, на нашем YouTube-канале все ролики, связанные с ивентами, собирают гораздо больше просмотров, чем обычные (разница иногда составляет миллионы просмотров).

— высокая эффективность для ретаргетинга;

Пользователи лучше реагируют именно на те кампании, которые связаны с ивентами. Особенно хорошо работает реклама на бывших юзеров, если игра обещает премировать в случае возвращения каким-либо контентом.

— увеличение среднего чека;

В рамках ивентов пользователи тратят больше, чем обычно. Это связано как с тем, что во время праздников люди более склонны к эмоциональным покупкам, так и с тем, что в ходе ивентов часто проходят распродажи.

— способ проверки гипотез и обкатки новых механик.

С помощью ивентов мы в Pixonic добавляем новый функционал или контент, а затем отслеживаем, как реагируют игроки, собираем фидбэк. При этом, если гипотеза неудачная, нам не нужно говорить игрокам, что это какая-то временная активность, она изначально заявляется как приходящая. Если же она им очень сильно нравится, то они сами активно просят ее ввести на постоянной основе, что мы и делаем.

К минусам ивентов можно отнести:

— временное падение продаж после ивента;

В рамках ивентов пользователи играют активнее, чем обычно. Есть риск пресыщения игрой. Со временем оно уходит, но в рамках этого периода «восстановления» метрики игры могут оказаться хуже среднестатистических.

— привыкание к ивентам;

Если события происходят в игре слишком часто, игроки могут к ним привыкнуть. Им будет казаться, что ивент со специальным контентом и временными акциями может начаться в любой момент. И вместо того, чтобы тратить здесь и сейчас, они будут дожидаться события. Это приведет к падению выручки с игры в целом.

— жесткие временные рамки в отношении сезонных и праздничных ивентов.

Многие ивенты связаны с конкретными датами. Например, вы не можете выпустить новогодний ивент в феврале. Это держит команду в постоянном напряжении. Чтобы успевать, приходится начинать их готовить иногда за полгода до релиза. Невозможность отсрочек приводит к тому, что они могут выходить с багами.

Наш первый ивент

Мы взялись за ивенты в War Robots только в 2016 году. Тогда мы уже четко понимали не только их плюсы и минусы, но и то, что они стали для индустрии стандартом, а значит, необходимостью для нас.

Однако было еще два важных обстоятельства, почему мы свой первый ивент запустили только той осенью.

Первое. К тому моменту в игре было уже достаточно контента для всех типов пользователей. И мы были готовы делать больше.

Второе. Мы хотели добавить что-то новое в игру.

Время запуска ивента и продолжительность

С момента запуска первого ивента мы много экспериментировали со временем старта и длительностью ивента. В результате мы пришли к следующим выводам.

Первое. Ивент на всех платформах, на которых выпущена наша игра, должен проходить в одно и то же время. Если он начинается на одной платформе 20-го числа, а на другой — 22-го, это будет очень неудобно для игроков и может внести путаницу в работу самих разработчиков.

Второе. Ивент должен быть не слишком долгим. Иначе он может утомить пользователей.

Например, у нас был ивент, который начался в начале декабря и закончился в середине января. В первые недели он воспринимался игроками положительно. Но когда ивент пошел на четвертую неделю, игроки переутомились. В итоге к середине января мы получили падение активности. На прежний уровень она выходила весь оставшийся январь.

Третье. Слишком коротким ивент делать тоже нельзя. Важно, чтобы в ивенте могло поучаствовать как можно больше пользователей. Мы пришли к тому, что оптимальное время для ивента — 17-18 дней. Старт лучше запланировать на четверг, когда рабочая неделя начинает подходить к концу.

Что мы делем в рамках ивентов

Мы изменили множество вещей в наших ивентах за время их проведения.

Иконки

Это такое изменение, которое видит любой игрок, как только обновляется игра. Многие понимают, что игра как-то изменилась, и это стимулирует их вернуться в проект.

Слишком часто или слишком сильно иконку менять не стоит. В этом случае возможен сценарий, когда пользователь либо вообще не сможет понять, что за игра перед ним, либо будет гадать: это новая иконка или все еще старая?

Новые визуальные элементы на картах

Хорошее решение — в рамках ивента добавлять новые элементы, которые не влияют на геймплей, но вносят визуальное разнообразие. Такие вещи показывают игрокам, что ивент начался.

Новое оформление обычно вызывает дискуссии в сообществах, ведь новый визуал всегда кому-то заходит, а кому-то нет. Игроки идут на форумы, делятся мнениями. Последнее положительно влияет на вовлеченность.

Главное, чтобы тематическое оформление не работало слишком долго. Последнее может утомить и тем самым вызвать негативную реакцию в духе «на улице весна, а у вас в игре до сих пор на картах праздничные елки».

Наш самый яркий кейс здесь — первый ивент на Хэллоуин. Нам пришла идея добавить на карты роботов-призраков. Это звучало очень логично, ведь Хэллоуин ассоциируется с призраками. Наши призрачные роботы должны были появляться там и тут, бегать по карте, пугать игроков, вносить легкую суматоху на поле боя.

Перед релизом ивента мы выпустили видео об этом временном нововведении. Ролик собрал очень много просмотров и был тепло встречен. Игроки очень ждали этой фичи.

Однако, когда мы выкатили изменение, игра сразу стала падать из-за очень большого количества игроков. Поэтому в тот Хэллоуин далеко не все смогли увидеть роботов-призраков. Так этот ивент стал чем-то вроде легенды, которую многие до сих пор просят и ждут.

Новые визуальные элементы на основном экране и в UI

Сегодня в рамках ивентов мы стараемся не вносить больших изменений на игровых картах. Вместо этого мы сосредотачиваем свои усилия в первую очередь на ангаре и всплывающих окнах. Причина проста. Любой игрок, который заходит в нашу игру, в первую очередь видит именно ангар и получает pop-up.

Главной сложностью здесь для нас остается — сохранение производительности на прежнем уровне. Если вы запустите игру, а она у вас начнет тормозить, то вместо позитивных эмоций вы получите негативные. И ивент сработает с обратным эффектом.

Дополнительные задания

Сейчас в обязательном порядке мы добавляем в рамках ивентов квесты. Одна из их целей — увеличить время, проводимое пользователями в игре во время ивентов.

Изначально у нас были цепочки квестов. Они работали следующим образом: как только игрок выполнял первый квест, он мог выполнить следующий. В конце каждого блока из этих заданий игрок получал награду. Чем больше блоков прошел, тем круче награда.

Система положительно отразилась на активности пользователей. Среднее количество боев в день на человека во время ивентов значительно выросло. Более того, после окончания события активность стала возвращаться на прежний уровень. Мы избавились от спадов.

Также мы выяснили, что некоторые квесты выполнялись гораздо чаще, чем другие. Так команда пришла к выводу, что мы и пользователи по-разному оцениваем ценность игровых предметов. Впоследствии мы исправили ситуацию. Для этого оказалось достаточно перераспределить квесты таким образом, чтобы игроки вначале получали оружие, а только потом роботов.

Еще мы обратили внимание на то, что дальше всего в квестовых цепочках заходят те игроки, которые:

платят чаще всего;
платят больше всех;
играют больше всех.

У этой системы был один большой недостаток: если вы заходили в игру в конце ивента, у вас нет было возможности выполнить все квесты в цепочке: вы банально не успевали.

Поэтому мы переработали систему. Мы решили отказаться от квестовых цепочек, сделали квесты проще, ограничили их выполнение по времени и стали выдавать их каждый день.

Вне зависимости от того, выполнили ли вы предыдущие квесты или нет, если вы зайдете во вторник, вы получите квест за вторник, а уже в среду получите следующий.

Еще мы уменьшили суммарное количество наград, которые игроки могли получить в целом. Зато у нас вырос процент людей, которые получили хотя бы одну. В итоге некоторые награды стали получать раз в 20 больше людей, чем на предыдущих ивентах.

Тестирование в рамках ивентов

В этой главе я перехожу к новой теме. В ней я расскажу, что мы тестировали и тестируем в рамках ивентов.

Новая система покраски роботов

Систему покраски мы первоначально запускали именно в качестве временного нововведения. Новая механика позволила игрокам покупать схемы покраски и менять с их помощью визуальный вид роботов.

Здесь нашей целью было проверить, насколько большому числу игроков это будет интересно.

Результат нам не очень понравился. Эта механика заинтересовала небольшую часть аудитории. Возможно, дело в том, что у игроков в War Robots нет времени на изучение скинов союзников, а раскраску врагов из-за преимущественно дальнобойного геймплея у нас не разглядишь.

Увеличение лимита игроков в кланах

Еще одной фичей, которую мы тестировали в рамках ивентов, была возможность увеличивать размер кланов.

Наша система кланов позволяла игрокам накапливать очки активности. Чем больше игроков играет, тем больше у них очков активности и тем выше их клан в лиге.

Мы хотели проверить, насколько большому количеству людей это будет интересно. В итоге увидели, что наши кланы в целом не слишком интересны игрокам. Поэтому в дальнейшем мы плотно засели за улучшение всей системы.

Режимы игры

Самое интересное, что мы обкатываем в рамках ивентов — новые режимы игры. Каждый из них сильно меняет геймплей, дарит новый опыт игрокам. Если режим получает широкую популярность, он остается и после окончания ивента.

Одним из таких стал режим «Стычка» (Skirmish). Это был наш первый не рейтинговый режим, в котором игроки сражались друг с другом не на своих роботах, а на готовых сборках от разработчиков. Сами сборки регулярно меняются.

Перед этим режимом стояло три задачи:

прорекламировать наш новый контент среди высокоуровневых игроков;
дать возможность новым игрокам оценить весь игровой арсенал;
увеличить удержание.

В итоге интерес к контенту вырос незначительно. Однако выяснилось, что в этот режим игроки с удовольствием играют из-за того, что там постоянно меняются правила (например, некоторые типы роботов идут с вооружением, которое в обычных условиях на них не ставится).

Благодаря режиму соотношение DAU к WAU выросло на 5%.

A/B-тестирование в рамках ивентов

Благодаря ивентам мы также получили возможность регулярно проводить A/B-тесты.

Всплывающие окна (pop-ups)

Например, мы сравнивали эффективность различных всплывающих окон, предупреждающих об окончании ивента.

Группе A мы показали pop-up, в котором находился обычный текст с описанием того, что ждет игроков во время ивента, а также кнопка «Перейти» в социальную сеть, чтобы узнать детали.

Группа В увидела pop-up со стилизованными картинками, а группа С — красивые картинки, часть которых была даже анимирована.

Мы думали, что наибольшую конверсию покажет группа С. Однако более результативной оказалась картинка со стилизованными картинками. Наименьшую конверсию продемонстрировала группа А.

Оповещения

Мы также проводили A/B-тестирование пушей.

Мы разделили всех игроков на 8 групп. Каждой из групп мы отправили три пуша в течение ивента:

оповещение о том, что ивент начался;
оповещение на второй неделе о том, что ивент продолжается;
оповещение перед последними выходными о том, что ивент скоро закончится.

Пуши сильно отличались по тематике. В каких-то помимо главной информации сообщалось о подарках, в каких-то шла речь о квестах или специальных предложениях.

Наибольшую конверсию в запуск показала та группа, у которой каждый новый пуш значительно отличался от предыдущих (и по теме, и по содержанию, и по предложению).

Интересный факт: все пуши из групп, в которых были эмодзи, показали себя лучше, чем остальные, поэтому с тех пор мы используем эмодзи в наших оповещениях как можно чаще.

Текущие эксперименты

Еще одна вещь, которой я бы хотел с вами поделиться, это наши текущие эксперименты.

Например, прошлой осенью мы попробовали добавить в игру региональный ивент, который был бы виден всем игрокам, но ориентирован в первую очередь на конкретную страну.

В октябре у нас был ивент, посвященный дню КНР. Этот праздник приходится на начало месяца. Обычно в его рамках всю неделю в Китае никто не работает. Очевидно, что у пользователей появляется больше времени на игру.

Нам было интересно:

как отреагируют китайские пользователи на ивент?
действительно ли они будут больше играть в выходные?
будет ли такой ивент интересен пользователям из других стран?

Ответы на все эти вопросы оказались положительными.

***

Этой весной War Robots исполнилось пять лет. К этому моменту игра преодолела порог в 120 млн установок. И сегодня она не собирается сбавлять обороты.

Также по теме: