对AB测试结果的分析可分为统计分析和业务分析两个方面。

1、统计分析

统计分析,所谓的统计分析就是从统计的角度来分析是否可信。

分为三个层次:一是分析AB两个版本之间的不同程度,以统计上的显著性反映出来,然后再分析差异大小,这里用改进的效果来表示,即转化率的增加或减少的幅度;最后是差异区间,表示转化率改进的空间范围。

统计学上有意义:

统计学上的显著性也称为显著性,是指两组间态度上的差异是由制度因素而非偶然因素的影响,同时假定影响差异的其他影响因素是我们所推论的因素,但这一点也不是100%保证,所以会有一个概率值,即明显的程度。

如前所述,统计显著性的值表示以下含义:

1)超过95%:优化版本与原始版本之间存在显著的统计差异,转换率“改善”是可信的;

2)90%~95%:优化版本与原始版本之间的统计差异存在疑问,转换率的「改善」是有疑问的;

3)低于90%:优化版本与原始版本之间没有显著的统计差异,转换率的“改善”是不可信的;

改善效果:

优化后的AB测试版本比原来的版本提高了多少。计算公式为:(优化版本转换率-原始版本转换)/原始版本的转化率。

差别范围:

即优化后的AB测试版本和原始版本间转换率差异最可能分布的区间。比如:A版是原版,B版是优化版,A版是10%,B版是15%,B版是5%,两者的绝对差值是5%,而转换率的相对差值是50%。

2、业务分析

经过上述统计分析确定可信度后,需要对AB测试结果进行商业分析。由于统计分析得到的是差异性因素,在行业知识、顾客心理、用户行为习惯、偏好等方面进一步进行分析,从数据的统计中挖掘出真正产生差异的原因。

(本文内容根据网络资料整理,出于传递更多信息之目的,不代表连连国际赞同其观点和立场)