A/B测试中的“潜在陷阱”

为什么不应该过于依赖数据的收集和分析，营销公司Wooga的市场总监埃里克·舍费特在他的博客中讲述了这一点。

2013年夏季，Zynga公司裁员520人。第二天，一位前员工在Reddit上发起了一场讨论。有两个帖子引起了我的注意。

帖子 1

我认为收集用户在游戏中的所有行为信息这个想法非常好。但是，过度依赖这些数据就不那么好了。这使得开发工作更多地变成了一种分析工作，失去了直观性。当游戏带来乐趣和快乐时，很容易就能说出这款游戏很棒。而根据数据分析，就没有那么绝对了。

帖子 2

看起来公司决定放弃创新，转而采取“做之前有效的事情”的策略。我不确定在过去的一年中，有多少游戏进行了A/B测试以寻找新的优秀机制。不过，公司在数据收集方面取得了成功。

这些帖子让我想到Zynga在A/B测试中承担了“隐藏成本”。换句话说，公司遇到了此类测试的潜在问题。

A/B测试的明确成本显而易见：A/B测试需要时间进行创建、实施和评估，而这段时间本可以用来完善产品。实际上，在这种测试期间，游戏各组成部分的开发暂停。通常，对于A/B测试的显性成本，未来将拒绝参与综合测试是合理的。但我认为，这些开支被高估了。

如果创建和实施A/B测试需要超过30分钟，这仅仅意味着公司没有为利用内部工具进行A/B测试的分析基础设施分配足够的资源。但这并不是问题，因为像Swerve这样的服务提供了这样的解决方案。

它们不断进行测试和优化。在此类公司中，进行这些测试的成本是最低的。

但A/B测试的“潜在问题”则完全是另一回事。它们是由于对持续、渐进式变化的依赖而产生的。这种过度依赖使得公司可能无法注意到其产品的基本缺陷。

渐进式变化并不能完全被视为无形。通常，它们以单一变量的形式出现，改善了游戏过程——无论是目标页面的转化率、总收入、会话时长等等——它们随着时间的推移可能为产品在市场上带来优势。

下面的图直接显示了某个过程指标增长10%。

但是，执迷于这些微小的改进可能会让团队偏离产品的真正问题。这不是替代成本，往往问题甚至可以表述为：“我们应该选择A/B测试还是解决我们产品中的结构性缺陷”。这就是错误所在——将修复渐进式缺陷视为解决所有问题的灵丹妙药。

在下面的图表中，您可以看到某一过程指标增长10%的同时，产品的整体指标却下降了20%。

但请保持谨慎。A/B测试的后果可能不仅仅是资源和努力的错误分配。真正的问题开始于相信微小改进的工作可以替代产品的开发。对弱产品的A/B测试就像是带着枪伤去健身房一样。

那些专注于数据收集和用户行为跟踪的公司，以微小改进为代价牺牲宏观层面的增长，这并不能缓解项目的基本问题，甚至加速其转变。

A/B测试是一种工具，而不是开发策略。它应该被用来给那些已经享受产品的用户带来更多乐趣，而不是让他们相信游戏比他们认为的要好得多。