数据分析学习笔记——A/B测试

目录

前言

A/B测试中的统计学方法

假设检验

Levene's Test莱文测试

t 检验（两组均值差异）

实战案例

数据来源及参考资料

代码详解

导入数据

计算ROI

Request检验

GMV检验

ROI检验

结语

前言

什么是A/B测试？说白了就是中学生物实验里常说的控制变量。实验对象分为A组（对照组）、B组（实验组）来测试某个行为的影响。在互联网企业，为了判断某个行为的效益，或者挑选更加合适的方案就会采用A/B测试。A/B测试的核心在于两组样本除了实验条件不一样，其他条件都一样。因此A/B测试依赖如下假设。

• 每个因子水平的数据均呈正态分布​
• 案例独立性：样本案例应相互独立​
• 方差的同质性：同质性是指各组之间的方差应近似相等​
• 从因子水平定义的总体中独立且随机地获得观察结果

  A/B测试中的统计学方法

  假设检验

  假设检验的原理其实是反证法。先对总体提出一个假设（原假设 ，再通过样本数据判断该假设是否成立。若样本数据与原假设矛盾，则拒绝 ，接受备择假设；反之，则不拒绝 。关键逻辑为小概率事件原理。假设检验依赖 “小概率事件在一次试验中几乎不会发生” 的原理：

  1. 若原假设成立，那么某个与其相关的事件A发生的概率极小。

  2. 若在一次抽样中，事件A竟然发生了，则有理由怀疑原假设的正确性。

  也就是我们常说的具有统计学上的显著意义。而这个事件A的概率也就是我们常说的P值。而往往我们还会设定一个显著性水平，这个显著性水平是标准的小概率事件的概率（这么说不知道对不对啊，描述感觉不太严谨），由前人大量的实践得到的。当P值小于这个显著性水平时，则符合假设，因为这个小概率事件的概率比假定的标准还小。当P值大于这个显著性水平时，则怀疑假设，因为这个小概率事件的概率比假定的概率要大，那么原假设便值得怀疑。

  Levene's Test莱文测试

  Levene's test 主要用于检验多个组数据的方差是否相等，适用于两组或多组数据。

  t 检验（两组均值差异）

  适用于 正态分布数据 且 样本量较小（n≤30）的两组均值比较

  实战案例

  对滴滴打车的运营数据进行A/B测试，判断投入优惠卷对ROI、GMV、订单数量（requests）是否有影响。

  数据来源及参考资料

  工作台 - Heywhale.com

  方差分析简介(结合COVID-19案例)

  代码详解

  导入数据

  #数据导入
  import pandas as pd
  test = pd.read_excel('test.xlsx')
  test.head()

  结果

  计算ROI

  #计算ROI
  test['ROI']=test['gmv']/(test['coupon per trip']*test['trips'])
  test.head()

  结果

  

  其实这里有一个问题，这个成本对应的优惠券的投入成本，但是这里gmv是优惠券带来的利润增长，还是总利润呢？如果是总利润，那对应的是总成本。不能把其他行为带来的收益增长算到投入优惠券上去。

  Request检验

  #levene检验requests是否齐方差
  requests_A=test[test.group=='control'].requests
  requests_B=test[test.group=='experiment'].requests
  import scipy.stats as st
  st.levene(requests_A,requests_B)

  

  #配对样本t检验（两独立样本t检验之前需检验是否齐方差，此处不需要）
  st.ttest_rel(requests_A,requests_B)

  

  GMV检验

  #levene检验gmv是否齐方差
  gmv_A=test[test.group=='control'].gmv
  gmv_B=test[test.group=='experiment'].gmv
  st.levene(gmv_A,gmv_B)

  

  #配对样本t检验（两独立样本t检验之前需检验是否齐方差，此处不需要）
  st.ttest_rel(gmv_A,gmv_B)

  

  ROI检验

  #levene检验ROI是否齐方差
  ROI_A=test[test.group=='control'].ROI
  ROI_B=test[test.group=='experiment'].ROI
  st.levene(ROI_A,ROI_B)

  

  #配对样本t检验（两独立样本t检验之前需检验是否齐方差，此处不需要）
  st.ttest_rel(ROI_A,ROI_B)

  

  结语

  一起学习，共同进步！