必須看的前言

本文全程干貨，建議朋友們收藏后慢慢閱讀！

另外，我主頁上還有不少與ABTest和數(shù)據(jù)分析相關(guān)的博客，感興趣的朋友可以再去看看，希望能給你帶來收獲！

一、ABTest

ABTest類似于以前的對(duì)比實(shí)驗(yàn)，是讓組成成分相同（相似）的群組在同一時(shí)間維度下去隨機(jī)的使用一個(gè)方案（方案A、或者B、C…），收集各組用戶體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析出哪個(gè)方案最好。

實(shí)現(xiàn)步驟

1. 現(xiàn)狀分析：分析業(yè)務(wù)數(shù)據(jù)，確定當(dāng)前最關(guān)鍵的改進(jìn)點(diǎn)。
2. 假設(shè)建立：根據(jù)現(xiàn)狀分析作出優(yōu)化改進(jìn)的假設(shè)，提出優(yōu)化建議。
3. 設(shè)定目標(biāo)：設(shè)置主要目標(biāo)，用來衡量各優(yōu)化版本的優(yōu)劣；設(shè)置輔助目標(biāo)，用來評(píng)估優(yōu)化版本對(duì)其他方面的影響。
4. 設(shè)計(jì)開發(fā)：制作若干個(gè)優(yōu)化版本的設(shè)計(jì)原型。
5. 確定分流方案：使用各類ABTest平臺(tái)分配流量。初始階段，優(yōu)化方案的流量設(shè)置可以較小，根據(jù)情況逐漸增加流量。注意分流時(shí)要盡可能做到?jīng)]有區(qū)別。
6. 采集數(shù)據(jù)：通過各大平臺(tái)自身的數(shù)據(jù)收集系統(tǒng)自動(dòng)采集數(shù)據(jù)。
7. 分析ABTest結(jié)果：統(tǒng)計(jì)顯著性達(dá)到95%或以上并且維持一段時(shí)間，實(shí)驗(yàn)可以結(jié)束；如果在95%以下，則可能需要延長測試時(shí)間；如果很長時(shí)間統(tǒng)計(jì)顯著性不能達(dá)到95%甚至90%，則需要決定是否中止試驗(yàn)或重新設(shè)計(jì)方案。

PS: 先說一下，這里的實(shí)現(xiàn)步驟并非權(quán)威步驟，不是一定要這么劃分。

假設(shè)檢驗(yàn)

要想充分搞懂ABTest，必須理解它的原理——假設(shè)檢驗(yàn)。
在一個(gè)設(shè)計(jì)適當(dāng)?shù)?ABTest中，處理 A 和處理 B 之間任何可觀測到的差異，必定是由下面兩個(gè)因素之一所導(dǎo)致的。

• 分配對(duì)象中的隨機(jī)可能性
• 處理 A 和處理 B 之間的真實(shí)差異

假設(shè)檢驗(yàn)是對(duì) ABTest（或任何隨機(jī)實(shí)驗(yàn)）的進(jìn)一步分析，意在評(píng)估隨機(jī)性是否可以合理地解釋 A 組和 B 組之間觀測到的差異。

這里需要介紹一下幾個(gè)專業(yè)術(shù)語：

• 零假設(shè)：完全歸咎于偶然性的假設(shè)，即各個(gè)處理是等同的，并且組間差異完全是由偶然性所導(dǎo)致的。
  事實(shí)上，我們希望能證明零假設(shè)是錯(cuò)誤的，并證明 A 和 B 結(jié)果之間的差異要比偶然性可能導(dǎo)致的差異更大。
• 備擇假設(shè)：與零假設(shè)相反，即實(shí)驗(yàn)者希望證實(shí)的假設(shè)。
• 單向檢驗(yàn)：在假設(shè)檢驗(yàn)中，只從一個(gè)方向上計(jì)數(shù)偶然性結(jié)果。簡單來講就是最終只需判斷大于或者只需判斷小于。
• 雙向檢驗(yàn)：在假設(shè)檢驗(yàn)中，從正反兩個(gè)方向上計(jì)數(shù)偶然性結(jié)果。

假設(shè)檢驗(yàn)的基本思想是“小概率事件”原理，其統(tǒng)計(jì)推斷方法是帶有某種概率性質(zhì)的反證法。小概率思想是指小概率事件在一次試驗(yàn)中基本上不會(huì)發(fā)生。反證法思想是先提出檢驗(yàn)假設(shè)，再用適當(dāng)?shù)慕y(tǒng)計(jì)方法，利用小概率原理，確定假設(shè)是否成立。對(duì)于不同的問題，檢驗(yàn)的顯著性水平α不一定相同，一般認(rèn)為，事件發(fā)生的概率小于0.1、0.05或0.01等，即“小概率事件”。但是，如果說你犯下第一類錯(cuò)誤（即拒絕正確的假設(shè)：$H_0$是真，但拒絕$H_0$）的成本越高，你的α值就要設(shè)置得越小。

接下來介紹假設(shè)檢驗(yàn)的基本步驟：

1. 提出零假設(shè)和備擇假設(shè)；
2. 根據(jù)備擇假設(shè)確定檢驗(yàn)方向；
   簡單來說含有不等號(hào)的是雙向檢驗(yàn)，反之則是單向檢驗(yàn)；
3. 選定統(tǒng)計(jì)方法。根據(jù)資料的類型和特點(diǎn)，可分別選用Z檢驗(yàn)、T檢驗(yàn)，秩和檢驗(yàn)和卡方檢驗(yàn)等；
4. 選定顯著性水平α。但記住判斷結(jié)論時(shí)不能絕對(duì)化，應(yīng)注意無論接受或拒絕檢驗(yàn)假設(shè)，都有判斷錯(cuò)誤的可能性。

如何判斷一個(gè)樣本統(tǒng)計(jì)量符合什么分布?

如何選定統(tǒng)計(jì)方法？那就得判斷你的樣本統(tǒng)計(jì)量符合什么分布了。

上圖就是判斷一個(gè)樣本統(tǒng)計(jì)量符合什么分布的流程圖，非常nice！

下面呢，則是關(guān)于Z分布，T分布，卡方分布的簡單了解，其中注意考慮多個(gè)總體問題時(shí)如何計(jì)算處理。




接下來再看一下這幾種分布的概率密度分布圖。



可以看出，T分布與標(biāo)準(zhǔn)正態(tài)分布（Z分布）都是以0為對(duì)稱的分布，T分布的方差大所以分布形態(tài)更扁平些。

不同分布的拒絕域

對(duì)稱型（Z分布、t分布）

雙側(cè)檢驗(yàn)：

單側(cè)檢驗(yàn)：

非對(duì)稱型（卡方分布、F分布）

卡方分布：

拒絕域：

（卡方分布在左側(cè)的拒絕域特別小，所以拒絕的區(qū)間的值也比較少），所以卡方檢驗(yàn)的拒絕域一般
放在右側(cè)。F分布同理。

二、項(xiàng)目實(shí)戰(zhàn)

項(xiàng)目來源：
https://tianchi.aliyun.com/dataset/dataDetail?dataId=50893

數(shù)據(jù)介紹：
從支付寶的兩個(gè)營銷活動(dòng)中收集的真實(shí)數(shù)據(jù)集。該數(shù)據(jù)集包含支付寶中的兩個(gè)商業(yè)定位活動(dòng)日志。由于隱私問題，數(shù)據(jù)被采樣和脫敏。雖然該數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果與支付寶的實(shí)際規(guī)模有偏差，但不影響解決方案的適用性。

主要提供了三個(gè)數(shù)據(jù)集：

• emb_tb_2.csv: 用戶特征數(shù)據(jù)集。
• effect_tb.csv: 廣告點(diǎn)擊情況數(shù)據(jù)集。
• seed_cand_tb.csv: 用戶類型數(shù)據(jù)集。

本分析報(bào)告的主要使用廣告點(diǎn)擊情況數(shù)據(jù)，涉及字段如下：

• dmp_id：營銷策略編號(hào)（這里我們這么設(shè)置1為對(duì)照組，2為營銷策略一，3為營銷策略二）。
• user_id：支付寶用戶ID。
• label：用戶當(dāng)天是否點(diǎn)擊活動(dòng)廣告（0：未點(diǎn)擊，1：點(diǎn)擊）。

接下來正式開始實(shí)戰(zhàn)。

1 數(shù)據(jù)預(yù)處理

import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlinedata = pd.read_csv("effect_tb.csv",header = None)data.columns = ["dt","user_id","label","dmp_id"]  # 文件中沒有字段名# 日志天數(shù)屬性用不上，刪除該列data = data.drop(columns="dt")data

data.info(null_counts = True)

查看數(shù)據(jù)統(tǒng)計(jì)情況，主要是看dmp_id。

data.describe()

接下來查看數(shù)據(jù)重復(fù)情況。

data[data.duplicated(keep = False)]

存在重復(fù)項(xiàng)，需要進(jìn)行去重。

data = data.drop_duplicates()# 檢查是否還有重復(fù)項(xiàng)data[data.duplicated(keep = False)]

從先前操作已知數(shù)據(jù)類型正常，接下來利用透視表來看各屬性是否存在不合理情況。

data.pivot_table(index = "dmp_id",columns = "label",values = "user_id",aggfunc = "count") 

從以上看出屬性字段無異常取值，無需進(jìn)行處理。

2 樣本容量檢驗(yàn)

在進(jìn)行ABTest前，需檢查樣本容量是否滿足試驗(yàn)所需最小值。

這里需要借助樣本量計(jì)算工具：https://www.evanmiller.org/ab-testing/sample-size.html

首先需要設(shè)定點(diǎn)擊率基準(zhǔn)線以及最小提升比例，我們將對(duì)照組的點(diǎn)擊率設(shè)為基準(zhǔn)線。

data[data["dmp_id"] == 1]["label"].mean()

對(duì)照組的點(diǎn)擊率為1.26%，假設(shè)我們希望新的營銷策略能夠讓廣告點(diǎn)擊率至少提升一個(gè)百分點(diǎn)，則算得所需最小樣本量為2167。

data["dmp_id"].value_counts()

可得411107和316205遠(yuǎn)大于2167，滿足最小樣本量需求。

3 假設(shè)檢驗(yàn)

我們先查看一下這三種營銷策略的點(diǎn)擊率情況。

print("對(duì)照組： " ,data[data["dmp_id"] == 1]["label"].describe())print("策略一： " ,data[data["dmp_id"] == 2]["label"].describe())print("策略二： " ,data[data["dmp_id"] == 3]["label"].describe())

可以看到策略一和策略二相比對(duì)照組在點(diǎn)擊率上都有不同程度的提升。

其中策略一提升0.2個(gè)百分點(diǎn)，策略二提升1.3個(gè)百分點(diǎn)，只有策略二滿足了前面我們對(duì)點(diǎn)擊率提升最小值的要求。

接下來需要進(jìn)行假設(shè)檢驗(yàn)，看策略二點(diǎn)擊率的提升是否顯著。

3.1 提出零假設(shè)和備擇假設(shè)

設(shè)對(duì)照組點(diǎn)擊率為$p_1$，策略二點(diǎn)擊率為$p_2$，則：

• 零假設(shè)$H_0$：$p_1$>=$p_2$，即$p_1$-$p_2$>=0；
• 備擇假設(shè)$H_1$：$p_1$<$p_2$，即$p_1$-$p_2$<0。

3.2 確定檢驗(yàn)方向

由備擇假設(shè)可以看出，檢驗(yàn)方向?yàn)閱雾?xiàng)檢驗(yàn)（左）。

3.3 選定統(tǒng)計(jì)方法

由于樣本較大，故采用Z檢驗(yàn)。此時(shí)檢驗(yàn)統(tǒng)計(jì)量的公式如下：$$z=\frac{p_1?p_2}{\sqrt{(\frac{1}{n_1}+\frac{1}{n_2})\times p_c\times (1?p_c)}}$$其中$p_c$為總和點(diǎn)擊率。

3.3.1 方法一：公式計(jì)算

# 用戶數(shù)n1 = len(data[data.dmp_id == 1])  # 對(duì)照組n2 = len(data[data.dmp_id == 3])  # 策略二# 點(diǎn)擊數(shù)c1 = len(data[data.dmp_id ==1][data.label == 1])c2 = len(data[data.dmp_id ==3][data.label == 1])# 計(jì)算點(diǎn)擊率p1 = c1 / n1p2 = c2 / n2# 總和點(diǎn)擊率（點(diǎn)擊率的聯(lián)合估計(jì)）pc = (c1 + c2) / (n1 + n2)print("總和點(diǎn)擊率pc：", pc)

# 計(jì)算檢驗(yàn)統(tǒng)計(jì)量zz = (p1 - p2) / np.sqrt(pc * (1 - pc)*(1/n1 + 1/n2))print("檢驗(yàn)統(tǒng)計(jì)量z：", z)

這里我去 $\alpha$為0.05，此時(shí)我們利用python提供的scipy模塊，查詢$\alpha =0.5$時(shí)對(duì)應(yīng)的z分位數(shù)。

from scipy.stats import normz_alpha = norm.ppf(0.05)# 若為雙側(cè)，則norm.ppf(0.05/2)z_alpha

$z_{\alpha }=?1.64$， 檢驗(yàn)統(tǒng)計(jì)量z = -59.44，該檢驗(yàn)為左側(cè)單尾檢驗(yàn)，拒絕域?yàn)閧z＜$z_{\alpha }$}，z=-59.44落在拒絕域。

所以我們可以得出結(jié)論：在顯著性水平為0.05時(shí)，拒絕原假設(shè)，策略二點(diǎn)擊率的提升在統(tǒng)計(jì)上是顯著的。

假設(shè)檢驗(yàn)并不能真正的衡量差異的大小，它只能判斷差異是否比隨機(jī)造成的更大。因此，我們?cè)趫?bào)告假設(shè)檢驗(yàn)結(jié)果的同時(shí)，應(yīng)給出效應(yīng)的大小。對(duì)比平均值時(shí)，衡量效應(yīng)大小的常見標(biāo)準(zhǔn)之一是Cohen’d，中文一般翻譯作科恩d值：$$d=\frac{樣{本}_1平均值?樣{本}_2平均值}{標(biāo)準(zhǔn)差}$$
這里的標(biāo)準(zhǔn)差，由于是雙獨(dú)立樣本的，需要用合并標(biāo)準(zhǔn)差（pooled standard deviations）代替。也就是以合并標(biāo)準(zhǔn)差為單位，計(jì)算兩個(gè)樣本平均值之間相差多少。雙獨(dú)立樣本的合并標(biāo)準(zhǔn)差可以如下計(jì)算：$$s=\frac{((n_1?1)\times s_1^{}}{n_1+n_2?2}$$