在使用 AB测试的时候,还有很多细节要注意。只有当满足一定条件时,A1B测试才能够实现价值最大化。
• 需要注意控制 A/B 测试的流量成本。不管网站流量导流自社交媒体网站或者搜索引擎,都是有成本的,而且越是流量价值越高,导流成本越高。所以在进行 A/B 测试的时候,如果不能确认新创建的变体对绩效的影响,最好不要将所有流量用于 A/B 测试,而是将一部分流量来进行测试。在各种常见的A/B 测试工具中,都可以基于某种条件进行流量派发。
• 在原始页面和测试页面之间,设置流量比例。如果风险比较大,可以将大部分流量继续导流到原始页面,而只将小部分流量导流到测试页面。
• 可以根据目标市场细分定义进行流量派发。例如,按照国家或 IP 范围、浏览器类型、操作系统类型、流量来源进行流量派发。
• 设置测试的开始时间、结束时间和每天执行的时间段。将高转化率的时间段让出来,而使用低转化率的时间段执行测试活动。
• 在执行 A/B 测试的时候,如果同时有其他促销活动,可能会给A/B 测试结果带来影响。例如,测试的内容正好处于打折推广阶段,那么测试的数据结果很可能就不可用了。
• 如果 A/B 测试的流量很少,只有几十个,那么测试统计结果会受单个流量个体行为的影响较大。测试流量过少,测试结果通常是不可以被直接用来进行页面优化的。一般来说,至少要有上千的点击量才好。
• 过期的测试计划要移除掉。如果不移除,而只是标记为禁用或者不分配流量,这部分测试内容的 JavaScript 还是会随着其他测试计划一起分发到用户浏览器页面中,只是不会执行。A/B 测试的脚本代码越精简,执行效果越好。有的用户的计算机配置比较低,执行过于臃肿的测试计划可能会影响用户体验,从而影响对于测试结果的评估。
• 在选择测试页面的时候,通常 A/B 测试需要在很快的时间内启动执行,否则就会影响用户体验,进而影响测试结果。这是因,通常 A/B 测试会在整个页面的DOM加载完成之后才启动执行,进行变体页面生成以及用户行为的度量。在复杂的页面中,虽然第一屏很快显示出来,但是 DOM 全部下载和加载完成可能就需要十几秒钟。A/B 测试还没有启动起来,用户已经离开这个页面进入后续页面了。我们经常看到国外网站的页面很简洁,而国内很多CMS 门户风格的网站,页面就非常复杂,加载时间也会很长。过于复杂的页面不适合运行 A/B 测试,这点要特别小心。