方法论是好的，但样本选择不正确——Sad Cat Studios的亚历山大·巴拉巴诺夫谈及perelesoq研究

上周，perelesoq工作室发表了一项研究，根据研究结果，Steam心愿单已经过时，围绕其策略的建设效率低下。部分社区对此研究提出了批评。Sad Cat Studios的首席设计师亚历山大·巴拉巴诺夫向编辑们解释了为什么应该谨慎看待perelesoq的结论。

亚历山大·巴拉巴诺夫

首先，我想说的是，perelesoq团队使用的方法论是优秀且正确的。使用三次回归来评估Steam游戏的兴趣波动是一个成功的决策。

然而，在类似研究中，重要的不仅仅是方法，还有正确的样本选择。如果没有正确的样本，就无法得出任何结论，只能分享假设以供后续验证。

perelesoq的研究样本有几个方面不正确。一个关键点是许多人已经提到的样本中项目数量有限。仅凭5至6个游戏项目无法评估算法的表现。

但问题不仅仅在于项目数量，样本也不均匀。项目在Steam上的时长不同，收集心愿单的时间也不同。有些项目用了五年时间才上线，有些项目在发布半年前才开设页面。我还没有提到它们在不同时间发布。

选择如此不同的项目是不合适的。我理解不是所有人都愿意分享数据，并且研究是在现有条件下进行的。但是，信息有限不应成为借口。

此外，样本中大多数项目的主要心愿单来自俄罗斯。现在，这一部分玩家在购买上遇到了显著困难：旧的俄罗斯心愿单可能因这个原因未能转化。

这个因素是否被考虑过？很遗憾，根据具体研究文本来看，并没有。因此，在进行工作时忽略了可能影响数据代表性的外部因素。

另一个使样本不理想的原因是缺乏足够的成功项目。在六个项目中，仅有一个项目收获超过1000条评论，另有两个项目评论略多于500条。

最终，perelesoq的样本不仅非常小，而且不均匀。基于这些项目得出的数据不能推广到整个平台，更无法做出全球性结论和提供建议。

公平地说，来自美国的市场营销人员克里斯·朱科夫斯基（Chris Zukowski）在其引发讨论的文章中声称心愿单“不过时”，他同样提供了非常小的样本，这同样不值得信赖。

最后我想谈谈perelesoq研究中的以下引言：

“盲目积累心愿单”是一种无效的策略。根据我们的数据，采取“尽早打开页面并逐步积累心愿单”的方法并未显著奏效。更好的是把精力集中于发布和发布后期，这一阶段对活跃的和有支付能力的观众更具吸引力。

在我看来，正是这段引发了游戏开发社区的主要批评。perelesoq团队的该结论读起来好像广告活动的覆盖面与活动时长无关。

这种情景只在发行前几个月的活动覆盖面一定高于，譬如，比起早期发布页面并被动积累心愿单时才奏效。不幸的是，没有人能保证或预测这一点。

因此，我觉得这是一条有害的建议。

关于我对心愿单过时的看法，我认为旧的心愿单的转化率确实较低。然而，perelesoq提供的数据不能在这里作为证据，样本过于小且不正确。