衡量用户忠诚度：净推荐值真的那么好吗？
首席分析师及共同创始人 devtodev 的瓦西里·萨比罗夫谈到 Net Promoter Score 是如何帮助衡量用户忠诚度的。
瓦西里·萨比罗夫
最近又有一个服务让我根据0到10的评分，评估我推荐他们的可能性。
每当我被问到这个问题时（这大约每周发生一次），我总是充满好奇：基于这个调查，服务会做出什么决策？真的会有哪些改变吗？
这个用户忠诚度的测量方法叫做 Net Promoter Score，并且它非常受欢迎（我们甚至在 App2Top.ru 上写过一篇小文章，时间是一年半之前）。然而，作为一名分析师，我对这一方法持有一些怀疑态度。我想在这里分享一下。
什么是 Net Promoter Score？
简单地说，它是如何计算的。根据用户给出的评分，他们被分类为以下几类之一：
推广者（9或10分）。 这些人愿意为产品赴汤蹈火，他们是对产品最忠诚的受众。
中立或冷漠的用户（7或8分）。 总体来说，他们喜欢这个产品，但不愿推荐。
批评者（0到6分）。 他们给出负面评价，不喜欢产品，并且愿意表达这一点。
接下来，就可以计算推广者和批评者在所有受访者中的比例。批评者的比例从推广者的比例中被减去，而你得到的就是 Net （即剔除批评者的）Promoter Score。这个分数越高，意味着受众对产品的忠诚度越高。
NPS 的优点
计算简单。 为了解释它是如何计算的，我甚至不需要使用公式，所有内容都可以用语言表述。实际上，得出结果的时间还不到一分钟。
通用性。 无论你是航空公司还是甜甜圈配送服务，都可以计算 NPS。计算规则统一且简单，信息收集快速且容易，用户只需按一个按钮。顺便说一下，这一系列使用 NPS 的公司（当然并不完整）。
普及性。 如果说不是所有人，那么很多人都会进行 NPS 计算。因此，很多人会分享结果，互联网也能找到不同产业的 NPS 基准值（免费访问, 付费访问）。
NPS 的缺点
NPS 是一个思维实验，而非实际行为
这是这一方法的第一个也是主要的缺点。并不是所有的批评者都真的在批评，也并不是所有的推广者都会告诉朋友。你只是要求用户在脑海中进行一个抽象的操作，仅此而已。每个人与朋友之间的关系不同，社交行为各异，并不是所有人对品牌的真实忠诚度与分享信息的意愿相符。病毒性传播只是观察更广泛忠诚度指标的一种视角。
NPS 排除了部分用户
假设每个评分的概率是均匀分布的，那么不考虑那些给出7和8评分的用户，你就忽视了18%的受访者。这对一种数量方法来说，可不是一个小误差。
NPS 受文化因素影响
我们每个人对现实的理解不同。0到10的评分在不同文化中并非统一解释。
例如，在美国，用户评分更具极端性，中立态度的比例要低得多：要么喜欢产品，给出最高分，要么不喜欢，给出负面评价。
而在俄罗斯文化中，人们更倾向于给出“正常”的评分（比如：你好吗？还不错！），给0-1或9-10的评分实际上意味着承认强烈的情绪，而这并非所有人都能做到。因此，5和6的评分在俄罗斯远更常见，代表着对产品的中等“正常”态度，但在 NPS 方法中却被视为负面评分。
NPS 不考虑用户结构
例如，在免费游戏中，90-95%的收入来自于早期注册并进行多次支付的老玩家。这样的玩家通常只占总受众的5%。因此，从 NPS 的角度来看，他们几乎不会对指数值产生明显影响。而这些用户在金钱上的真实忠诚度远超于此。如果过于关注年轻的不付费用户，你面临着可能做出一个吸引年轻玩家但未必受到盈利用户欢迎的决策的风险。
案例
有一家公司（确切是什么公司我们无法透露：受限于保密协议），他们向 devtodev 寻求分析咨询后，发布了一次更新，严重改变了游戏的经济模式。
为了评估用户对这个更新的反应，我们使用了 NPS。结果发现，NPS 上升了，而收入却下降了！
经过深入研究，我们明白了这个更新对不付费用户的效果很好，但不受付费玩家欢迎。付费玩家的数量远少于不付费玩家，因此他们在 NPS 中的比例微不足道。
如果单独计算付费和不付费玩家的 NPS，就会看到不同用户群体对变化的反应差别有多大。
为了避免这样的案例，NPS 应该是加权的，其中每个用户的支付总额作为权重。虽然这并不全面，但更加公平。
NPS 受访客以前是否参与过调查的影响
当用户在第二或第三次遇到“请您在0到10的范围内评估您会向朋友推荐该产品的可能性”这个问题时，如果他们记得上次的回答，当前的回答可能会受到以下两个因素的影响：
- “他们又在问，我上次已经回答过了。” 这样评分可能会因为问题重复而降低。
- “上次之后发生了什么变化？” 用户在评估忠诚度时，可能不会参考他们在这个项目上所有的体验，而仅仅是考量在两个问题之间的那段时间。这样就不再是真正的忠诚，而更像是对近期变化的反应。
NPS 需要定期重新计算
假设你算出的 NPS 是60%。自那以后，发生了不少变化，发布了很多新版，你想了解用户忠诚度是否发生了变化。
在这里要小心：在上一个点中我们提到过，重复性不利于准确性，因此最好选择新的受访者（并且最好是随机选择）来进行调查，且应选择那些之前没有参与过调查的用户。
这并不容易在保持样本代表性的情况下完成。一方面，你需要更多的用户来确保样本代表性，另一方面，用户再次参与调查的可能性也会增大。并且你可能没有足够的技术手段来解决这个问题。
NPS 是一个惯性指标。考虑到不同用户层次参与调查的频率，你不能简单地推断这些人在平均上使用产品的频率。如果从平均值来看，他们的使用频率可能低于你的想象。这意味着，用户对产品的态度显示出惯性：并非所有人都能及时关注你的更新，并且他们的评分往往是基于过去对产品的情感来做出的。
NPS 不能回答“为什么”
再说一次，NPS 是一个简单的思维实验，用于测量对产品当前表面态度的工具。单靠 NPS，你无法回答为什么某个用户会给出负面的或正面的评价。
我们可以得出什么结论？
那么，难道我们就不该使用 NPS 这个固有机制了吗？
- 首先，用户忠诚度并不只是依靠问卷调查。NPS 是用户在进行思维实验，而真正的忠诚度则是通过“脚投票”（返回产品）或“金钱投票”（进行产品购买）来体现的。因此，需要将其与留存率（retention）和货币化指标（ARPU，ARPPU，LTV）一同考虑。这些指标综合起来更能反映产品的真实表现。
- 其次，若仍然谈论问卷调查，NPS 也有其他调查方法可以替代。例如，美国的 ACSI 指数或欧洲的 EPSI 指数。虽然它们也有 NPS 的各种缺点，但其问题更深入。
- 第三，如果真正按照技术标准进行 NPS 调查，它可以提供关于产品更多的信息，倘若能对其进行细分。分别计算付费与不付费用户的 NPS，按国家、按年龄在产品中或其他细分方式进行分析，你将更清楚用户的忠诚度如何分布，以及它的运作机制。此外，我想说，必须对 NPS 应用细分，而缺乏细分的聚合评分只会形成一个“真空中的虚幻指标”。
- 最后，唯一值得参考的基准是你产品历史上的 NPS 值。其他来自开放来源的基准可能只会间接帮助你。如果你发现其他公司，即使是竞争对手，NPS 值比你高或者低，这个信息对你没有太大帮助：你并不知道他们的计算是否正确，也不知道 NPS 在不同用户细分中的分布情况。最重要的是，您的产品 NPS 值能够随时间上升。而且，更好的是，留存率和货币化指标也能一同提高。只有这样，你才能大致确定你项目中的用户忠诚度也在改善。
