Как правильно тестировать арт?
Зачем нужен сплит-тест арта и как его правильно провести, — рассказывает маркетолог-аналитик в Kongregate Хезер Гейнер (Heather Gainer).
Раннее тестирование помогает оценить, как ваши креативы (в этом контексте под креативами подразумевается рекламный арт к игре, — прим редакции) влияют на привлечение игроков. Обычно арт тестируют по двум причинам:
- когда с визуальной составляющей игры еще не определились и команда находится в поисках художественного стиля;
- чтобы понять, насколько рентабелен выбранный стиль.
На что смотреть?
Пусть у тестирования будет всего одна задача. Если нужна информация по нескольким пунктам — запустите несколько тестов. Никогда не пытайтесь запихнуть сразу несколько задач в один тест: все закончится тем, что результаты окажутся бесполезными. Арт тестируют по разным параметрам; ниже перечислены четыре основных.
1. Какой сеттинг лучше всего сочетается с выбранным художественным стилем?
Когда тестируете сеттинг, постарайтесь, чтобы все изображенное на картинке оставалось в пределах выбранной тематики. Обратите внимание, как четырех персонажей на каждой из приведенных ниже картинок объединяет один сеттинг.
Отмечу, что на CTR зачастую очень влияет поп-культура. К примеру, премьера нового фильма Marvel может заставить людей охотнее кликать на арт с супергероями. К сожалению, то, что популярно сегодня, не обязательно останется популярным через месяц.
2. Какой художественный стиль лучше всего подходит к выбранному сеттингу?
Художественных стилей существует огромное количество: 3D, пиксельный, лоу-поли, мультяшный и так далее. Стиль способен многое рассказать пользователю об игре. Когда кто-нибудь впервые смотрит «Дашу-путешественницу», ему не надо объяснять, что это детский мультик: по арту сразу ясно, что сериал для малышей. Когда решаешь, какой художественный стиль протестировать, важно представлять себе свою аудиторию. Если хотите узнать об арт-стилях побольше, то вот несколько ресурсов по теме: Creating an Art Style и The Aesthetics of Game Art and Game Design.
3. Какая цветовая палитра лучше всего подходит игре?
Цветовую палитру иногда тоже тестируют, но чаще всего она определяется аудиторией проекта и теми эмоциями, которые должна вызывать игра. Вот тут довольно интересные гайды для тех, кто пытается найти цветовое решение для своей игры: Color in Video Games: How to Choose a Palette и Picking a Color Palette for Your Game’s Artwork.
4. Насколько коммерчески востребован выбранный арт?
Когда речь заходит об игровом арте, это, пожалуй, один из главных вопросов. В целом тенденция такая: чем казуальнее выглядит игра, тем дешевле покупка пользователей. Но при этом стоимость пользователей в пределах трех главных категорий (казуалки, мидкор и хардкор) все равно сильно варьируется! Для определения коммерческой востребованности CPI-тест гораздо надежнее, чем CTR-тест.
Как измерять результаты?
Билд готов? Если игра уже существует (пусть даже в виде прототипа), то можно измерять CPI, CTR и уровень конверсии. Если игры пока нет, то получится измерить только CTR.
CTR-тест: позволяет определить общий интерес к игре.
CPI-тест: дает более полную информацию о том, какой у игры коммерческий потенциал. Если CTR-тест позволяет измерить общий интерес к игре, а уровень конверсии — сколько пользователей готовы установить игру, то CPI-тест раскрывает, во сколько обойдется покупка пользователей.
CTR-тест:
- выберите один параметр, который будет тестироваться (сеттинг, стиль, палитра и т.д.);
- создайте 2-4 сильно отличающихся друг от друга креатива, но при этом сфокусируйтесь на тех элементах, которые собираетесь тестировать; добавьте 1 креатив из другого проекта, для которого значения CTR известны. Он будет использоваться в качестве ориентира;
- создайте с выбранными креативами рекламу в Facebook (для этого воспользуйтесь гайдами по созданию рекламы от Facebook). Сделайте так, чтобы при нажатии на каждый из креативов пользователь переходил к одному и тому же приложению (убедитесь, что никакие другие факторы на скачиваемость приложения не влияют);
- обеспечьте каждому рекламному объявлению одинаковое статистически значимое количество показов.
Самое важное — уверенность в результате! Чем меньше разница между двумя показателями, тем шире должна быть аудитория теста.
К примеру, если у одного креатива CTR 1,82%, а у другого — 2,18%, то потребуется 96,2 тысяч показов, чтобы разобраться, какое лучше. Если же CTR 1,70% против 2,30%, то потребуется всего 35 тысяч показов. Чтобы посчитать, сколько точно нужно показов, используйте калькулятор статистической значимости или что-нибудь в том же духе.
CPI-тест:
- выберите один параметр, который будет тестироваться (сеттинг, стиль, палитра и т.д.);
- создайте 2-4 сильно отличающихся друг от друга изображения, но при этом сфокусируйтесь на тех элементах, которые собираетесь тестировать;
- если это возможно, то для ориентира параллельно запустите еще одну игру в тех же странах, где и тестируемый проект. CPI может очень сильно меняться от месяца к месяцу. Всегда полезно, если есть с чем сравнить;
- создайте с выбранными креативами рекламу в Facebook. Сделайте так, чтобы при нажатии на каждое из изображений пользователь переходил к одному и тому же приложению (убедитесь, что никакие другие факторы на скачиваемость приложения не влияют);
- обеспечьте каждому рекламному объявлению одинаковое статистически значимое количество кликов (см. предыдущий пункт).
Обратите внимание: в случае с CPI-тестом нужно считать количество кликов, а для CTR-теста считается количество показов.
Почему Facebook?
Отвечу одним словом: таргетинг! В настройках кампании можно задать и возраст, и пол — так, чтобы арт точно увидела только ваша целевая аудитория. Если запустите тест без таргетинга и получите, к примеру, высокий CTR на какой-нибудь арт для дошколят, при том, что целевая аудитория игры — мужчины 18-35, то результаты такого теста вам вряд ли о чем-то скажут. Вот если игра для всех, то тестировать ее можно в любой сети.
Как понять, хорошие у арта показатели или плохие?
К сожалению, каких-то эталонных метрик, с которыми можно было бы сравнить показатели проекта, у меня нет. Рынок постоянно меняется. Вот почему я рекомендую использовать ориентир — изображение, которое использовалось для другой игры и на которое можно опираться при тестировании нового арта, чтобы была возможность оценить результаты в сравнении.
Тест завершен. Что теперь?
- Убедитесь, что разница между результатами теста является статистически значимой. Если она слишком маленькая, то могут понадобиться дополнительные данные или изображения, которые еще сильнее отличаются друг от друга.
- Какие у арта результаты — такие же, как у изображения-ориентира, и лучше? Если нет, то, возможно, придется внести дополнительные изменения и заново запустить тест.
Источник: блог Kongregate
