星光彩票

星光彩票 > keji > 正文
A/B 测试中 12 个常见的误区(下)

A/B 测试中 12 个常见的误区(下)(图1)

第一次失败就放弃

星光彩票你设置了一个,但它并没有提高效率,于是,你就准备在另一个页面上运行吗?

没那么快!大多数首次都面临着失败的可能性。实事求是地讲,迭代不可避免。通过一项,从中学习,并改善你的用户体验和你提出来的假设,之后再进行,并循环往复,以此类推。

我们曾经研究过一个案例,在同一页面上做了 6 次来实现我们的转换目的,这就是现实生活中的。所以,你必须让批准预算的老板和你的客户知道这一点。

如果期望一次会得到想要的结果,那么资金将被浪费,人员也可能将被解雇。所以,运行迭代,才是较为可行的方法。

虚报的显著性

要知道,统计显著性并不是唯一要注意的结果。我们还需要了解那些错误的结果。不耐烦的人员希望跳过 A / B 并继续进行 A / B / C / D / E / F / G / H 。而这,就是一种误区。

星光彩票不可否认的是,的版本越多,误报的可能性就越高。有时候,即使在 95% 的置信水平下,误报的几率仍能达到 88%

利用重复的流量

你已经找到了一种通过同时运行多个来“偷工减料”的方法:一个在产品页面上,一个在购物车页面上,一个在主页上(同时测量相同的目标)它很节省时间,对吗?

但如果你在的时候不小心,就很可能会扭曲结果。除非你怀疑之间存在强烈的交互,且之间的流量有很大的重叠。

如果之间存在交互和流量重叠,事情会变得棘手。

如果你想同时在同一个流程中多个布局的新版本,例如结帐的三个步骤,你最好还是使用多页面实验或多变量来正确测量交互和属性结果。

星光彩票如果你决定使用重叠流量运行 A / B ,请记住流量应始终均匀分配。如果产品页面 A 与 B,和结帐页面 C 与 D,请确保来自 B 的流量在 C 和 D 之间的分配是对半的,而不是 或其他。

忽略细微的成果

星光彩票你的新版本比对照组高出了 4%,但总有人会说“这个比例太小了!我甚至都不愿意实施它。”

星光彩票但问题是,如果你的网站做的非常好,那么你将无法获得那样大规模的提升,而事实上,大规模的提升也非常罕见。除非你的网站很垃圾,之后很容易获得 50% 以上的提升,但即使这样,这种场景也不会持续不断地出现。

大多数带来的都是小幅增长,比如 1%5%8%等。有时,1% 的提升可能意味着数百万的收入,但重点是:你需要从 12 个月的时间跨度来看待它。

星光彩票一项就只是一项,你必须要做很多很多。比如你每月将率提高 5%那么 12 个月内的率将提高 80%这是复利,是数学的工作原理。而 80% 将是一个极其壮观的数字。

所以,要学会积累这些小胜利,最后将他们都叠加起来。

拒绝垃圾

没有的每一天都是一种浪费。是为了更好的学习,更好的了解你的受众,了解哪些有效,以及有效的原因。

星光彩票不进行多次的话,你就不知道什么是有效的。

星光彩票虽然要不停地进行,但绝不代表你要进行垃圾。你需要做适当的研究,准备一个很好的假设,并且不断优化。

星光彩票意识不到存在的威胁

仅仅因为你有一个不错的样本量,置信度和持续时间并不意味着你的结果是有效的。因为你的往往还具备着以下几个威胁。

工具误差

星光彩票这是最常见的问题。当工具(或仪器)在中出现有缺陷的数据时,会对结果产生致命的影响,而这通常是因为网站上的错误代码,所以你需要注意这一点。

星光彩票设置时,请观察并记录的每个目标和对应的数据指标。一旦出现问题,请停止,找到并修复问题,重新设置数据,重新开始。

历史效应

星光彩票也可能是外部世界发生了一些事情,导致中存在缺陷数据的情况发生。比如你的公司高管爆发了丑闻,或者正巧碰上消费的假日季节等等,外部正在发生的事情都会引起你的变化。

选择偏差

星光彩票当我们错误的假设流量的某些部分代表流量总体时,就会发生这种情况。

星光彩票错误的代码效应

你出了一套提高率的方法并将其推向现实,但是,它没有赢得该有的效果。这可能是因为你的这套方法在某些浏览器或设备上显示效果不佳。

每当你提出新方案时,请确保进行质量保证,以确保它们在所有浏览器和设备中都可以正确显示。

尾 声:希望你能从这 12 个误区中获得一些思考,在以后的 A/B 中,避开这些“坑”

本文相关词条概念解析:

流量

星光彩票流量:指单位时间内通过特定表面的流体(液体或气体)的量(体积或质量)。若以体积衡量流体的量,其流量称之为“体积流量”,这也是多数场合中,流量所指的涵义。在国际单位制(SI)中,体积流量的标准单位为立方米每秒(m3/s)。