A/B测试ASO针对季节性活动。Belka Games的经验

在 Belka Games 的应用商店视觉内容 A/B 测试流程是如何构建的，公司的首席 ASO 经理 阿纳斯塔西娅·里希纳 在她为 App2Top.ru 撰写的文章中进行了阐述。

阿纳斯塔西娅·里希纳

为节日准备新艺术作品——这很重要

更新节日橱窗有多方面的好处。我们来讨论几个明显的原因。

首先，专门为特定“节假日”准备的视觉内容在广告活动中能显著提高季节性转化率。

其次，这也可能吸引应用商店编辑的注意。

原因在于，商店的审核人员经常会为特定事件或节日制作主题推荐。如果能及时更新图形，游戏被推荐的机会就会增加，从而获得更多的特性推广和随之增加的自然流量。

例如，我们为Microsoft Store 准备的情人节主题横幅（Solitaire Cruise）被商店注意到。我们被纳入了节日推荐，因此我们获得了300%的自然安装增长。

和所有顶级公司一样，我们在游戏中举行活动。通过在橱窗中展示这些活动（而不仅仅是更改截图），我们不仅提高了下载转化率，还提高了玩家的参与度：被活动吸引的玩家更有可能参与到季节性活动中。

制定日历——计划季节更新的第一步

对所有项目，我们都会准备一个节假日和活动日历，以便更新图形。

重要提示：为了确保工作的连续性，我们需要考虑艺术家的负荷，留出测试时间。

之前，在 App Store 中，图形是无法在不更新构建的情况下更改的。也就是说，如果一个产品有严格的更新日期，我们必须跟随这些日期进行调整。

现在一切都变了——可以通过实验更新截图和视频，而不必更新构建。但无论如何，我们都需要提前规划所有项目的季节性活动。

我们必须为以下节日准备新图形：

感恩节；
万圣节；
圣诞节；
农历新年；
斋月。

我们如何准备季节性 ASO

每个节日的内容经过六个阶段。

创意生成。
图形开发。
测试。
应用。
应用分析。
活动结束后的 B/A 测试或下一个事件的图形测试。

我不打算逐一讲解每个阶段。这里的一切都显而易见，我们的材料主要集中在测试上。

我只想强调，在创意生成阶段，我们会研究我们所处领域及相关细分市场的趋势。

至于图形开发阶段，我们通常会使用之前季节的成果。如果 ASO 曾经成功过一次，我们可以再次测试它或将其作为新内容的基础。

没有测试就不能更改内容

季节性图形在未经测试之前不应被上线。没有测试，就无法预测更新的结果。新的图形既可能使转化率上升，也可能使其降低，从而影响广告预算。

所以请记住：任何图形都必须经过测试。

在一家遥远的公司，某次 Ramadan 横幅没有经过测试，导致所有渠道的转化率下降了 10%。虽然体量不大，但仍然感到痛心。不要重蹈覆辙。

测试工具

在 “Belka” 中，我们使用以下工具进行测试：

Google Developer Console 的 A/B 测试；
App Store Connect 中的产品页面优化功能；
我们的内部测试工具，允许我们将流量导向模拟商店页面并测量测试结果。

我们如何进行测试？

测试阶段是非常复杂的。需要考虑许多因素。其中之一是，节日会给用户带来快乐的时间是多长，以及何时开始让他们感到烦扰。

例如，在圣诞节期间，家庭通常会提前准备，因此我们可以在 11 月底开始进行测试。然而，情人节的图形没有意义在两周之前进行测试——节日的适用期非常短，因此测试可能会有负面效果。

实践表明，最好为每个地理区域分别进行测试。这样可以使用最适合该地区的创意。此外，在解释结果时也更方便。

通常我们会在主要的地理区域进行图形测试，这些地区通常占据最大的流量和收入份额。不同国家的测试结果通常不同，这时我们会采用不同的选项。

由于 App Store 无法为不同的地理区域使用不同的图标，因此我们采取以下方式：

使用在大多数地理区域测试中表现突出的图标；
或者在对我们来说最重要的地理区域中，应用测试中表现最佳的图标。

实践证明，在这两种情况下，我们在所有重要区域都实现了指标的增长（或保持了稳定）。但这种方法也有缺点。例如，基督教国家庆祝圣诞节，而在亚洲和穆斯林国家则没有。在这种情况下，最好提前在相关国家测试带有圣诞树和装饰品的图标，以免影响产品的转化率。

案例

圣诞节和农历新年——Clockmaker

我们不仅在天主教国家测试了圣诞图形，还在日本进行测试，尽管这里几乎没有天主教徒。结果让我们感到惊喜。

以下是测试结果。

两个新的圣诞主题图标在日本都表现良好。选项 1 显示出 7% 的安装转化率增长，选项 2 显示出 11% 的增长。

带有雪花和圣诞老人的冬季截图集将安装转化率提升了 10%。

圣诞主题的横幅同样带来 5% 的转化率增长。

而对于农历新年，我们为亚洲地区准备了图形，并同时测试了图标和横幅。

在日本，表现最佳的是选项 02（增长 20%），而在韩国则是选项 01（增长 16%）。

但我们决定检验图形在其他国家的表现。结果让我们感到满意。美国、德国、俄罗斯——在所有地方，第二个选项均显示出 14% 的增长；但在英国，奇怪的是，这些选项的表现还不如原始橱窗。

万圣节——Solitaire Cruise

我们开发了三个基于当前图标的万圣节选项，并在节日来临前两周开始测试。

所有三个选项都表现良好，但图标编号 2 带来了最大的 12% 增长。这是一个不错的结果。那么能否再提高呢？我们装饰了最佳选项并测试了另外三个图标：

第一个图标在测试中显示出 20% 的增长——远超预期。这就是我们选择的图标。

整个过程包含两个迭代。在第一次迭代中，我们选出了领先者，在第二次中测试了它所衍生出的选项。

这样的分离过程很好地节省了时间。无需等待所有选项的测试结束——可以选择表现最佳的选项，对其进行修改并测试更新版本。此方法的缺点是评估应用结果较困难。

对图标应用的分析显示，在所有适用区域转化率增长。德国和美国获得了最大增幅——所有流量源的转化率增长了 20%。而在俄罗斯，结果则不太那么令人满意，仅增加了 4%。

重要的是要知道节日何时达到尾声。万圣节后两周，我们观察到转化率没有下降。然而，11 月 15 日的 A/B 测试显示，原始图标和主题图标的效果相当。这意味着用户对节日的兴趣减退了。我们知道是时候结束了。我们将原始图标带回商店。

圣诞节和情人节——Bermuda Adventures

Bermuda Adventures 是一个关于家庭生活在热带岛屿上的农场/冒险游戏。为此，我们准备了冬季横幅选项，然后准备了图标。

令人惊讶的是，测试中没有一个选项显示出转化率增长。用户很可能没有在图形中看到他们对游戏的期望。横幅中甚至没有农场的影子，岛屿的主题也消失了。

但我们还有另一个选项。

它在测试中显示了 7% 的转化率增长。成功！

然后，我们转向图标测试。

测试中的图标表现不佳，低于当前版本。这很可能是因为同样的原因而导致横幅表现不佳。于是我们准备了与当前内容相近的选项：

我们在 11 月底开始测试（为了圣诞节最好提前准备）。测试结果显示，第一个选项在所有地理区域的转化率增长了 10%。我们在 12 月 15 日成功地应用了它。

在 1 月初，我们有了测试图标上字母的想法。我们添加了简洁的“2022”。根据我们的假设，说明年份可能会使用户相信游戏的时效性，促使他们下载以查看更新。

这果然有效。新图标提高了 10% 的安装转化率。因此我们决定使用它。

随着情人节的临近，我们决定准备主题图标和横幅。

除了对节日的引用外，准备的图形仍然延续了我们最有效的 UA 创意的浪漫主题，这可能会对 IR 产生良好影响。

所有图标选项的表现都不如冬季图标。原因可能有几个：

图标太过“误导性”；
图标未能展现应用的本质；
“冬季”图形依然重要，并且对用户的吸引力远超浪漫和春季风格；
图标上没有“2022”的字样（我们在测试第二个冬季图标之前准备了这些图标）。

除了图标外，我们还准备了两个主题的节日横幅。

在测试中，它们的表现各不相同：

在德国和法国，第一条横幅表现最好——增长 17%，而在俄罗斯，第二条横幅更受欢迎——增长 10%。

奇怪的是，在美国和英国，图形未能成功，仅显示 0% 的增长，观众反响冷淡。我们没有应用这幅图形——继续测试其他选项。

斋月——Solitaire Cruise 和 Clockmaker

在我们的游戏中，我们为主要穆斯林节日——斋月准备更新。我们曾在土耳其、沙特阿拉伯和阿联酋进行内容测试。

例如，这是我们测试的 Solitaire Cruise 横幅：

在所有穆斯林地区，横幅 01 的表现最好——安装增长 10%。

Clockmaker 的故事则更加有趣。我们测试了以下创意：

第二个选项表现出色，转化率增长了 40%。

为什么会有这么高的数字？

我们的假设是：在斋月期间，穆斯林整天禁食——甚至连水也不喝。只有在晚上才能享用第一顿饭。

正是在这个时期，我们向他们展示了一幅生动的画面，传达了夜晚和丰盛的餐桌。第一个选项尽管设定了合适的情境，却显得相对简单，并未引导到达目标行为。

顺便说一句

有时我们会采用未能显示转化率增长，但与当前版本测试表现相当的 ASO。

首先，这样可以向商店的用户展示，在我们的游戏中，图形和新功能正在积极更新（整体上也在进行改进）。

其次，这有助于我们进行重新定向。当前用户会注意到新的带有圣诞树和装饰品的图标，可能想要重新进入游戏查看有什么有趣的新内容。

结论

我们对 ASO 视觉元素测试的经验可以归纳为以下几点：

所有季节性图形变化最好提前进行测试，以免降低转化率；
季节性 ASO 不仅会影响转化率，还会提高玩家的参与度，如果能在应用内进行相关活动；
每个节日都有其适用期限，需予以考虑。节日结束后，需启动对先前图形的反向测试，确保不要错过节日开始平淡的时机；
各国偏好不同，因此最好为每个地理区域单独进行测试（当然如果您希望您的 ASO 能达到 100% 的效果）；
良好的实践是进行两轮测试：快速测试初步选项，选择最佳者，再对其进行改进并测试衍生方案；
仅仅添加年份这一项，有可能使转化率提升 10%；
一致性很重要。如果产品将自己定位为热带岛屿的农场，那么图标中应有农场的元素，而横幅中则应显示岛屿的元素：沙滩、棕榈树、大海。