β

实战打脸:有毒的NPS净推荐值【UXRen译#200】

13Tech 91 阅读

作者:Jared M. Spool | 翻译:Dch King 审校:丫丫

2003年,一位名叫弗雷德·赖克哈尔德的市场顾问在《哈佛商业评论》上发表了一篇名为 “一个你需要增长的数字”的文章,在商业领域引起了极大的轰动。他声称通过询问一个简单的问题——一个旨在评定客户忠诚度的问题——管理层就可以了解到客户对他们商业行为的感受。他在文章的结尾这样写道:“这个数字是唯一一个你需要去增长的数字。它是如此简单又是如此深奥。”

而事实上,它既不简单也不深奥。它对商业增长并无益处。它甚至无法准确的告诉管理层顾客到底是有多忠诚。

然而,净推荐值(简称NPS)满足了一个“有用的”商业指标的所有共性:

尽管NPS已经被很多学术研究论文一致否定,但它仍旧牢固的根植于许多商业领域。我们每天都能听到关于公司开展新的NPS调研项目的消息。

行业领袖们继续唱着NPS的赞歌。例如,斯蒂芬·班尼特在出任Intuit的CEO时曾说:“现在,每个业务部门都将NPS作为其战略规划的一部分;它是每笔运营预算的组成部分;它关系到每一位高管的奖金收入。我们在每月的运营回顾会上都会讨论净推荐(值)的增长情况”

类似Intuit这样的公司会基于这个指标作出重要的决策,但是这个指标并没有测量出他们认为的结果。事实上,NPS什么都没有测量。 我们不妨看看NPS是如何操作的,以此可以窥见它的空洞无意义。

NPS背后的古怪科学

NPS的计算方式并不科学。它的数据仅仅来源于一个简单的调查。

受访者回答一个简单的问题:你有多大可能会向朋友或同事推荐**公司? 在一个11点量表上,0被标记为“非常不可能”,10被标记为“非常可能”,受访者选择其中一个数字。 (在其后的调研版本中,弗雷德·赖克哈尔德建议追问受访者为什么给出这个分数。这个问题我们稍后再作讨论)

任何正常的统计人员都会选择报告他们收集到的所有分数的平均值。而由于某些未知的原因,NPS并不接受平均值的概念。他们选择将分数划分为三个部分:

计算公式:净推荐值 = 推荐者百分比 — 贬损者百分比

比如说我们有10个受访者的评分。分别是0,0,1,4,5,6,7,8,9,10。

这10个评分的平均值是5。

而根据公式我们计算出NPS为-40(20%-60%)

5分的平均分听起来不好也不坏,中立的分数。然而,-40听起来就很糟糕了。(虽然没有-100糟糕,但真的也很差。)

NPS背后的逻辑是,如果有人给出中立的评分,那么他们就不会像推荐者那样宣传公司。他们不是忠诚的客户,需要我们将其转化为推荐者。因此,我们将他们视为贬损者。

NPS掩盖了用户体验(UX)的成就

又比如说,某一天我们很不顺利,10位受访者全部给我们打了0分:0, 0, 0, 0, 0, 0, 0, 0, 0, 0。

这10个评分的平均值是0。

NPS是-100。这是能得到的最差结果了。

0分很糟心,我们当然不能嘉奖这样的分数。

现在,假设团队都很努力工作,让产品变得好很多改进了很多。经过这番努力,我们的得分变成了:6, 6, 6, 6, 6, 6, 6, 6, 6, 6。

这10个评分的平均值是6。

但是NPS值仍然是-100。

出于某种原因,NPS认为6与0一样。而其他人并不赞同。记住,如果你在Intuit这样的公司任职,那么从0到6所付出的所有努力都无法得到奖赏,领导也得不到奖金,就像你们什么都没有贡献。

当然,这是因为大家都给了6分。如果你把产品做得足够好,大家都给了8分呢?8,8,8,8,8,8,8,8,8,8。

平均值是8。然而,NPS现在是… 0。

在一个正常的公司里,能做到让所有用户的评分从0提升到8都算得上是一个了不起的成就。然而,如果你的公司并不满意NPS为0的结果,那么你的奖金还是泡汤了。

如果所有的数值都是9:9,9,9,9,9,9,9,9,9。

平均值是9。

而奇迹般地,NPS是100!

相对于8分那是100%的进步,所以,哇哦,你终于拿到了奖金。你仅仅是小小地提升了数据,就让NPS就从量表的中间值变成最高值。你还不是天才吗?

正如你所看到的,NPS调研并没有什么意义。对于NPS分值的“奇迹性突破”,尚无任何商业或数学上的解释。

渐进式的改进应该引发分数上渐进式的提升,只有大的改进才能导致分数上大的提升。然而,由于某些无法解释的原因,NPS并非如此。

这就是凯特鲁特所说的戏剧性分析(Analytics Theatre)。为了戏剧性效果而制造分数上戏剧性的变化,而非为了帮助我们改进产品或者服务。

平均值可以更好地展现数据的变化,同样简单并且能够揭示重要的改进。

如果说NPS的问题仅仅在于它的计算方式,那么我们可以转换到使用平均值。那么我们可以使用计算平均值的方式代替。然而平均值要求数据的有效性。不幸的是,受访者们所给出的NPS问题回答并无意义。

11点量表并不科学

假如我问你:你觉得这篇文章有趣吗?回答选项有是、否、不确定,你应该很容易选择其中一个。

这是3点量表。如果我将它升级到5点量表,你可能会觉得回答的难度也提升了:非常有趣、稍微有趣、不确定、稍微无趣、非常无趣。到底“稍微无趣”意味着什么?是否表示你对文章有点兴趣但是不足以让你继续阅读下去?

7点量表会使选择更加困难。选项的标签已经不够用了,我们诉诸于数字:7(非常有趣)、6、5、4(不确定)、3、2、1(非常无趣)。

这不仅难以回答,同样难以解释。3和2有什么不同?两者都是负面的评价,真的有区别吗?受访者的答案能否保持一致,在不同时间保持一致?与其他的受访者保持一致?

NPS使用的是11点量表,范围很大、刻度很多、区别却不明显。我们俩可能体验一致,但是我给出了7分,而你给了6分。这样的区别有意义吗?

不知怎的,NPS假设我们理解6与7的区别。但实际上,很多受访者都不理解。他们的选择多半随缘。

在NPS中,一个全是6分的数据集得分为-100,而一个全是7分的数据集得分是0。对于NPS而言,这两者区别巨大,但对于受访者而言,这两者模糊不清。受访者并不能解释他们为什么会选择这一个而非另一个。

NPS问题:无效的调研,无效的报告

在做NPS调查时,我们向用户提问“你有多大可能会向朋友或同时推荐**公司?”。表面上,问题是关于用户忠诚度的。但发表在《哈佛商业评论》的原始文章中,作者声称问题与用户的重复购买及推荐紧密相关。

后来的研究表明事实并非如此,原因如下:

最好的问卷是调查过去的行为,而非未来的。提问受访者“你愿意尝试一种健康的生活方式吗?”,“你愿意戒掉含糖分的饮食吗?”,或者“你愿意购买这款产品吗?”,这些问题需要他们预测未来的行为。相较于此,我们更愿意了解他们过去的行为。我们对真实行为感兴趣,而非他们对未来行为的预测。

感谢丹·巴克尔,一名英国的分析咨询师和NPS拥护者,我们有了某位电商用户在16个月期间的NPS数据,如下:

可以看出,这份数据中的NPS分值在5到10的范围中变化。但是,数据无法表明该用户是否真的做到了问卷中的提问,他真的将该网站推荐给朋友或同事了吗?我们不得而知。

从丹的用户购买数据中,我们发现用户最高的购买金额($110)对应的NPS是8分。最低的购买金额($57.60)对应9分。NPS为5分时,用户的购买金额只比10分时低了$3.00。从这份数据中我们可以看到,购买行为与NPS得分并无联系。同样也证明不了忠诚度。

NPS真的关于忠诚度与增长吗?

忠诚度是一个长期的议题,关于一个人在很长一段时间内的行为表现。在《哈佛商业评论》的原始文章中,弗雷德·赖克哈尔德说到“忠诚度代表了一个人的意愿,作为顾客、雇员、朋友,他为了加强关系所做出的投资或者牺牲。”

然而,NPS的问题既不涉及投资,也不涉及牺牲,甚至与忠诚度也无关。它仅仅提问了是否愿意推荐公司。而向人提问关于他未来的打算,并不代表忠诚度,只代表乐观度。

如果我们真正想去了解一个人的忠诚度,我们可以提问“在过去的6周内,你是否向朋友或者同事推荐过我们?”事实上,Netflix在其早期便是这样提问顾客的。同时,Netflix也向所有的新用户提问“你是否经由朋友或同事的推荐而使用我们?”

当用户选择“是”时,Netflix可见新用户数上升、公司稳步发展。当用户选择“否”时,可见用户注销数上升、新用户的增长变缓。这些问题与Netflix的发展有着直接的联系。而这些问题都是关于过去真实的行为,而非对未来行为的预测。

个人经历与NPS分值很少匹配

在我写这篇文章之时,美联航的网站显示我的总里程数已达891116英里。这一年,我又飞了49次共计73890英里。这一数据足以说明我是美联航的忠实客户。

如果你在Twitter上关注我,你会发现我经常抱怨美联航的服务。如果让我为航班的服务评分,0至10的分值范围,我甚至很难给到5分(5分是在没有人挨打的情况下)。

我是美联航的忠实客户吗?如果让我回答NPS的问题(未来行为)或者Netflix的问题(过去行为),我会给出相当高的分值。

我一直在向别人推荐美联航。出了波士顿,他们的确是飞往西海岸的最佳选择。服务尚可容忍。

但最佳选择并不代表令人愉快的服务。在一堆糟糕的选择中,他们显得并不那么差。我推荐他们,不是因为我喜欢他们,而是因为我更不喜欢其他备选。

得知我在写这篇文章,一位朋友发来了他在使用花期网上银行之后收到的问卷调查。

这位朋友5日前曾登录花旗账户转账,这次转账并没什么特别之处。那么为什么要因为一次普通的转账而向别人推荐花旗银行。(常规的银行转账总是没什么特别之处,如果有,那可能是因为出了什么问题。)

NPS并非为了调查用户在这个粒度上的反馈。他们可能在这次转账之后又进行了4次转账,为什么会记得每次转账的细节,进行地如何?

按NPS问卷设计的本意进行调研已非明智之举,再要用于这样的粒度上,可以说毫无用处。

将NPS用于定性研究

多年来,我们一直将NPS问题用于定性研究中,让受访者阐述他们给出相应分值的原因。我们发现最多的是大家并不理解问题本身。

给出低分值的典型用户在调研中使用产品或服务时可能并无任何不愉快的体验。当问到评分的理由时,他们通常会说到过去某次糟糕的经历,因此不想推荐。当再问到他们之后是否使用过公司的产品或服务时,我们得到了很多肯定的回答。

类似地,我们也看到用户很纠结地使用了产品或服务,之后给出了10分。他们回答因为“比我预期的要好”或者“我觉得还行”。再问他们以后是否会再次使用,回答则是“可能不会”。

我们遇到很多受访者因为想不到要推荐的人所以给出了0分,也有受访者因为朋友在那家公司任职所以给出了10分。当公司提供参与问卷调查的激励,比如有机会赢得一份价值$100的亚马逊礼品券时,我们发现受访者会给出更高的评分因为他们认为“公司不会将礼品卷奖给一个给出0分的人。”

由此可见NPS并没有代表用户的体验以及忠诚。事实上,我们不能指望NPS能带给我们任何有价值的东西。

NPS容易操纵

如果你的奖金与NPS的分值增长挂钩,提供一个$100的用户参与激励将会是增加得分的好方法。这不是操纵NPS的唯一方法。

另一个增加得分的方法是在用户流程的末尾部分提问。技巧是在用户成功完成任务之后,例如购买之后。

在任务完成之后提问,实际上只问了那些操作成功的用户,而屏蔽了那些在流程中受挫退出的用户。这自然会导致结果向好的一面倾斜。

还有一个大家容易忽视的问题——问卷的反馈率。大部分NPS反馈率在4%-7%之间。7%说明了你收到的每份回答背后,都有13个人并未参与。这13个人会和这1个人的评分一样吗?可能并不会。

低反馈率的原因之一是那些失望受挫的用户并不愿意给出任何反馈。按照弗雷德·赖克哈尔德对忠诚的定义,这些人并不想继续投资了。

要操纵NPS的得分,就让贬损者早点退出。利用一个糟糕的体验逼退他们,也就是将反馈者向积极者倾斜。(即使并非有意为之,通常也难免造成这样的情况,而几乎没有任何方法可以验证或者解决这一问题。)

这些暗黑NPS技巧可以让得分更高,从而让调查者受益。人人都是赢家,不对吗?

我们认为NPS有害无益。因为NPS很容易被误导,分值看起来表示体验更好了,实则可能是更糟了。

真正的价值在于后续问题

NPS拥护者告诉我们,在实施调研时不会仅仅只关注一个数值。正确的做法是在问卷中加上一个定性问题,询问“为什么?”。一些经过设计的问卷系统会根据用户的评分变化后续问题,问推荐者“我们哪些地方做得好?”,问贬损者“我们哪些地方有待改进?”

他们说的没错。真正的价值在于“为什么?”顾客告诉你发生了什么,你可以改进(或者确保你不会破坏做得不错的地方)。

对于这些NPS拥护者,我想说得到这些有价值的数据是件很好的事。那么为什么还要费心询问分值?只问那个定性问题不就好了。他们对此回答通常含糊不清,并无道理。

我们在现场的定性研究中增加了“为什么”的问题。反馈者通常会提及到一些实际操作的问题。与此同时,这些反馈者的NPS分值很少会与他们在现场的经历相关。现场收集的数据反映了真实的行为,而NPS并没有基于现实生活。

但我们的主管需要一个数字!

最近,一个500强公司的高级副总裁告诉我“每一个部门参加高级职员会议时都会给出一个数字,通常是NPS。如果不能使用NPS,那么也需要其他的参考。我需要一个数字来向其他人证明我们的进步。”

数字有很多种,不计其数。然而,没有一种可以代表公司的客户体验,NPS也做不到。但是,我们依然在乐此不疲地尝试。

我们可以参考业务数据,例如客户增长量或者客户流失量。我们也可以参考销售量,净收入,或者利润。

这些数据并不会直接表明产品或服务的好坏,也没有显示顾客是否满意或者愉悦。

这些是NPS尝试去得出的答案,尽管并未成功。那么我们该怎么做?下面是一些建议:

你今天有多高兴或者沮丧?

今天我们是否对你有所帮助?

我们是否让你高兴?

这并不重要,你在意的可能是下面的问题:

怎样做会更好?

这个问题正是价值所在。你可以用不同的方法提问,关键是在于懂得聆听你的顾客。

我们不能将用户体验诉诸于一个简单的数值

NPS最大的缺陷在于尝试得出一个无法得出的结果。它对管理人员的吸引在于承诺去解决一个不能被轻易解决的问题。

用户体验是用户在接触产品、网站、雇员以及品牌时所有的体验之和。每项都关系到每位用户的体验。

NPS拥护者相信的并不是他们真正期望得到的。NPS分值像是每日星象,没有科学依据,只是信念。

作为UX从业者,我们可能无法说服大家星座学是假的。然而,我们可以避免陷阱,并试图给公司带来更多的价值。

那么,你有多大可能向你的朋友及同事推荐这篇文章呢?


更多译文:

UI/UX小白案例学习:我的停车场
手把手教你玩转VR界面设计
如何让用户初遇你的app时就一见钟情?
稀缺原则:我为那些黑暗魔法找到的理论支持
全部190+篇译文>>
申请加入UXRen翻译组>>

uxren-fanyizu-00


译者: Dch King 审校: 丫丫

作者:Jared M. Spool

原文标题:《Net Promoter Score Considered Harmful (and What UX Professionals Can Do About It)》

原文链接:https://blog.usejournal.com/net-promoter-score-considered-harmful-and-what-ux-professionals-can-do-about-it-fe7a132f4430

发布日期:Dec 20, 2017

版权声明:

作者:13Tech
专注用户体验,只为UXRen
原文地址:实战打脸:有毒的NPS净推荐值【UXRen译#200】, 感谢原作者分享。

发表评论