β

总在AB测,千万别忽略了“多因素测试”这把利器【UXRen译#239】

13Tech 10 阅读

作者:Aurora Harley  | 翻译:易帆  审校:Blank

原文标题:《多因素测试 VS AB测试  =  量变 VS 彻底改变》

概要:彻底的重新设计最好使用AB测试来进行用户体验测试,而多变量分析可以指出用户界面元素如何互相影响并支撑一个设计的渐进式改善。

当我们提到设计优化的方法,AB测试往往是最受关注的。多因素测试相比之下则很少被人理解。人们通常认为多因素测试太费时间。虽然这种方法有它的局限性,但是这些局限被它的优点平衡了,其产出是仅靠AB测试所做不到的。

多因素测试(Multivariate Testing / MVT)

我们假设你想要优化实时产品细节页面来最大化将物品加入购物车的转化率。你正在考虑几个可能的更新(或优化):

多因素测试可以帮助你决定哪些设计的组合可以使转化率最优化。

首先澄清几个术语:

定义:多因素测试是一种设计优化方法,每个变量的变式都在用户界面中进行测量,目的是使转化率最大化(包括主要的转化率,如完成一个订单,或者微型转化率,如与页面上的一个部件交互)。这种方法用来决定哪些变式的组合可以使设计表现得最好(专指目标转化率)。

在多因素测试中,测试2个或更多设计元素(变量)。每个变量可以有多个变式。例如,上图中,我们可以测试2个变量:产品得视觉呈现方式(2个变式:图片 / 视频)和按钮的标签(2个变式:立即购买 / 加入购物车)。

多因素测试和AB测试的区别

多因素测试通常被认为是AB测试的一种,然而它们的结构和强项不太一样。以下是它们的相似点和差异:

相比之下,如果你用多因素测试,你通常能够将结果的权重归因于一个变式或者不同变式的结合。这样,你可能发现呈现产品视频比改变按钮的标签对转化率的影响更大。因此,你就可以给出更进一步的策略和设计洞察(例如,它可能告诉你在制作好的产品视频上投资是值得的)。

多因素测试测量元素之间的交互

让我们回到电商的例子。你可能想知道两个连续的AB测试和多因素测试的结果是否一样。具体来说,我们假设你首先进行一个AB测试来比较视频和图片哪个更好——假设视频更好。然后,在使用胜出的变式(即视频)的基础上,进行另一个AB测试,比较两种可能的按钮标签,立即购买标签更好。这个结果和多因素测试难道不一样吗?

答案是:不一定。有可能最好的组合是图片×立即购买,但是你没有测试这个版本。

多因素测试相比AB测试主要的优点在于能够测量一个页面的多个因素如何相互影响。只有测试过多个变式的不同组合后,你才能知道不仅A视觉呈现方式比B好、C按钮标签比D好,而且能发现这些变式的最好组合。

多因素测试的局限

这些变式的组合组成的变体像兔子一样成倍增长。即使像我们电商这样简单的例子也有与2个变量相对应的4个设计变体相互比较。增加一个按钮的标签(例如,购买)就会增加2个变体——将这个变式与2个视觉呈现变量相结合而组成。(一般来说,变体的数量通过将每个变量的变式数相乘得到;所以,如果有2个变量,其中一个有2个变体,另一个有3个变体,你将得到2×3=6个变体。)

多因素实验中两个变量分别有2个变体产生4个设计变体,用来代表所有变式的可能的组合。

太多的变体是多因素测试的最大局限:相比AB测试,多因素测试通常需要更多流量。这是因为每增加一个变体,实时流量都被分成更小的部分。因此这也可能需要更长的时间来为所有的变体都收集到足够多的数据。(然而你要记住,测试所需时间不仅仅取决于总的流量,也会受实验目标的转化率影响。因为较大的提升比小的区别更容易测量。)总之,将实时流量分给更多的变体会导致实验时间增长。

多因素测试的另一个局限是所有变式的组合需要符合认知。譬如,在测试页面上一张图片和一个标题时,不要写与图片细节相关的标题(例如“超棒的温泉假期”V.S.“超棒的沙滩假期“和相应的图片),因为每一个标题和图片组合都会被测试。这种实验用AB测试会更好,这样可以使变式间的组合得到控制。

用多因素测试来修改设计,而不是完全地改变一个设计

多因素测试是逐步改善一个设计的好办法,却不是一个测试改变巨大的新设计方案的好方法。因为多因素测试要求你明确页面上特定的元素来测试这个变量的多个变式。而与变量变化然后组合不同,重新设计出来的结果可能都找不出与原本的变量对应的变式。

对于大多数重新设计,用AB测试比较原先的版本和新的版本哪个更好。然后用多因素测试改进更好的版本中其他的元素。不要停止迭代!

如果你的目标是改变非常大的重新设计(譬如主版面重新设计),用AB测试比较两个版本比多因素测试更合适。一旦发现某个版本表现得更好,用多因素测试进一步改进这个更好得版本中的具体的元素。


更多译文:

如何为奢饰品消费者做体验设计?
作为设计师,你有职业道德么?你的团队呢?
作为设计师,我在Google学到的
设计之前,我要是早知道这8条设计法则就好了
3年,2200万用户的实验,告诉我们的真相
全部200+篇译文>>
申请加入UXRen翻译组>>

uxren-fanyizu-00


译者: 易帆 审校: Blank

作者:Aurora Harley

原文标题:《Multivariate vs. A/B Testing: Incremental vs. Radical Changes》

原文链接:https://www.nngroup.com/articles/multivariate-testing/

发布日期:2018/04/08

版权声明:

作者:13Tech
专注用户体验,只为UXRen

发表评论