AB實驗遇到用戶不均勻怎么辦？—— vivo游戲中心業務實踐經驗分享
一、引言
業務通過不斷迭代更新來持續進步，AB實驗是最高效的迭代驗證方法之一，分析師則通過研究優化實驗方案，評估業務實驗效果來展現數據價值。這也是數據分析師的核心工作職責之一；這就要求實驗方案和效果評估具備極高的科學性與準確性，但是在實際工作中，因為用戶不均勻問題的存在，會直接影響到分析師產出結果的準確性，進而影響產品相關決策。
過去的幾年里，游戲業務的分析師團隊不斷探索和研究AB實驗中用戶不均勻問題的解決方案，目前已經較好地解決了游戲業務中的此類問題。本文首先以用戶不均勻的概念和影響為鋪墊，接著以解決方案為主線闡述游戲分析師團隊在解決AB實驗中用戶不均勻問題的實踐成果，并展望未來。
二、什么是用戶不均勻
2.1 什么是AB實驗中的用戶不均勻
基于AB實驗邏輯的業務迭代有一個至關重要的前提假設：實驗的兩個組除了產品本身發生改動的唯一變量外，其他相關因素，尤其是用戶本身的特征都是一致的，即兩個人群的用戶屬性分布是完全均勻的。
業務AB實驗遇到的用戶不均勻問題是指，用來評估業務效果的實驗組、對照組兩個人群集，由于人群劃分方式（用戶標識加密尾號分組等）、人群量級、或者觀測指標本身特殊性等原因，導致兩個人群集在核心效果評估指標的先驗分布存在較大差異：
- 【人群劃分方式】：有些業務直接用手機標識進行人群劃分，但手機標識和手機型號批次等相關，不具有充分的隨機性；
- 【人群量級】：人群量級過小時，抽樣無法保證不同特征用戶完全隨機，導致用戶分布不均；
- 【指標特殊性】：游戲付費指標具備高稀疏性、非正態分布、非連續等特點，常規的抽樣方式難以保證好的均勻性。
如下圖所示（不同顏色代表不同先驗特征的用戶）：
再簡單舉個例子，比如實驗組人群A相較于對照組人群B因為先驗特征分布的差異，導致在業務的核心指標上，先驗的歷史表現即為A>B；這就導致利用兩個人群集進行試驗后，在業務效果評估時，如果人群A的某個指標>人群B，那么是因為業務策略帶來的提升還是歷史用戶本身的差異呢？這就陷入了業務決策的困境。
2.2 游戲中心業務AB實驗中的用戶不均勻
游戲中心業務迭代中使用AB實驗的場景主要為，版本迭代灰度AB實驗，以及中心業務策略優化AB實驗；在過往的AB實驗過程中，兩種場景都多次遇到過用戶不均勻的問題，但兩個場景的業務目的存在差異，故面臨的用戶不均勻問題也有區別。下面我們詳細介紹一下兩種場景的異同點。
2.2.1 游戲中心版本迭代中的用戶不均勻
游戲中心版本迭代時，主要觀測的指標為用戶在中心活躍、游戲下載等指標；使用的人群劃分方法為：利用對手機標識進行加密處理后的尾號進行分組，這種方法在大流量的情況下對于用戶均勻性能保持不錯的效果；但是版本迭代的關鍵特點就是小流量快速迭代，所以在小流量下就會導致不同活躍下載表現的用戶在實驗組、對照組中數量存在差異，進而導致兩個人群在一些核心觀測指標上存在不均勻現象，影響最終的版本放量決策。
2.2.2 游戲中心策略實驗中的用戶不均勻
游戲業務作為公司的主要創收業務，游戲中心策略實驗時，除了觀測活躍、下載指標之外，還需要觀測游戲后向的收入指標變化；前面也提到活躍下載指標的均勻性在大流量下是可以保證的，而策略實驗時的流量一般是較大的，歷史數據也證明在策略實驗的流量下，活躍分發指標的均勻性是可以保證的。
但游戲收入作為一種特殊的商業模式，與用戶活躍、游戲下載存在較大差異，本身具有以下特殊性：
- 【付費用戶規模有限】：整體游戲活躍用戶中，付費用戶規模有限，隨機抽取兩組用戶中，即使活躍用戶量級一致，但付費用戶量級本身可能存在較大差異，尤其是高付費用戶在兩組中分布存在差異。
- 【收入分布非正態】：一定周期內游戲用戶付費分布范圍極大，但是大多數用戶付費不高，所以幾個極值高付費用戶的差異就能夠對整體收入結果產生較大影響。
- 【游戲付費水平不固定】：用戶游戲付費是和游戲強相關的，故用戶的付費情況除了自身因素外，還和用戶最近玩的游戲有關，即用戶付費水平是一個不斷變化的過程。
- 【高付費值非連續分布】：高付費用戶的定義是一個范圍的概念，而且高付費的用戶是有限的，所以具體高付費值并不是連續的，高付費之間也會存在明顯差異，這個差異放到整體上時依然會產生較大的影響。
所以即使在中心策略實驗場景較大的流量下，依然還是無法保證實驗時收入指標的均勻性，原因可以歸為兩方面：
- 實驗組和對照組中高、低付費用戶的分布不均勻，付費用戶量級存在較大差別。
- 高付費用戶的付費值非連續分布，即使付費用戶在各組分布均勻，但付費值依然存在一定差距。
三、用戶不均勻的影響
vivo游戲中心作為公司專業的游戲分發平臺，為了更好的服務好游戲中心用戶，需要不斷地對游戲中心產品進行優化迭代。AB實驗作為主要的效果驗證方式，通過對比業務關注的核心指標，選擇最優的功能或版本進行全量，但用戶不均勻問題會對整個流程閉環產生比較大的影響，主要包括以下幾個方面：
1、影響業務數據的可解釋性，導致業務效果的結論偏差
由下表可見，游戲中心歷史一些業務策略實驗中，策略對于收入項指標本無直接影響，但整個收入指標的波動均在10%以上；在此情況下，已經完全無法根據實驗收入數據來評估業務策略對于收入的影響情況。
arpu=實驗周期內活躍用戶游戲下載后付費/活躍用戶
2、帶來業務策略放量錯誤的風險
這里主要存在的風險在于效果負向策略被放量、效果正向策略無法及時放量。
3、導致灰度發版的無效率高，異常排查浪費大量人力
游戲中心灰度發版中，一年有8-10次的版本異常是由用戶不均勻導致的，而且單次異常排查需要耗費各方人力共5人日，全年版本異常排查累計浪費人力40人日+/年。
所以如何科學合理的解決游戲中心AB實驗效果評估中的用戶不均勻問題，對于整個游戲中心業務效果評估的發展具有重要意義。
四、如何應對用戶不均勻問題
AB實驗中的用戶不均勻問題是數據分析師進行實驗效果評估時一直都面臨的問題；過往幾年里，針對如何更合理，更高效的解決該問題，準確評估實驗效果，游戲數據分析組的同事研究嘗試了多種不同的解決方案：
從上述幾個方案對比中可以看出，基于用戶分層邏輯的“事前用戶分層模型”是現階段最科學、合理且效果穩定的解決方案。
五、游戲業務解決方案介紹——“事前用戶分層”模型
本部分主要針對“事前用戶分層”模型進行介紹，同時包含模型的設計，產品化實現，以及在游戲中心業務中的實際運用效果，便于大家直觀了解模型的邏輯和效果。
5.1 分層模型介紹
如前面用戶不均勻介紹部分所述，雖然中心版本灰度場景和中心策略優化場景的AB實驗都面臨著用戶不均勻問題，但兩個場景面臨的不均勻問題存在差別；所以我們針對這兩個場景，基于用戶分層邏輯分別搭建針對分發指標和收入指標的分層模型，實驗人群抽樣時從不同用戶分層中抽取同樣數量的用戶進入實驗組和對照組，以期解決業務效果評估中的用戶不均勻問題。
常規分層抽樣邏輯：假設大盤活躍用戶為N，分層后第i層大盤活躍用戶為Ni，實驗時各組實驗抽樣的流量為n，則實驗組中第i層的抽樣量級應該為：
5.1.1 用戶游戲收入分層模型
中心策略AB實驗時業務核心關注的付費指標中受用戶不均勻影響的主要是活躍用戶arpu，故針對該指標的定義，選取部分中間變量作為用戶分層的依據，然后根據這些指標在中心活躍用戶大盤中的表現，先按照單一指標分組，然后多個指標交叉組合形成最終的分層方案。
5.1.2 用戶分發分層模型
針對中心版本灰度實驗時業務核心關注且受用戶不均勻影響的分發指標，選取部分中間變量作為用戶分層的依據；然后與收入分層模型采取一樣的方法形成最終的分層方案。
5.2 分層模型產品化實現
數據側搭建完成用戶分層模型后，想要實現在實驗和灰度時依賴于分層模型進行分流抽樣，需要借助產品平臺的功能；于是我們和霍金實驗平臺、以及版本發布系統合作，由霍金和版本發布系統同事開發相關功能將我們搭建好的用戶分層模型分別接入霍金實驗平臺和版本發布系統，實現在實驗和版本灰度的用戶分流時基于用戶分層邏輯進行，保證實驗和版本灰度時各個人群組之間的用戶均勻性，提升后向效果評估的科學性和準確性。
具體分流邏輯示意圖如下：（圖中四個不同顏色代表不同的特征分層人群）
具體產品平臺功能實現方式詳見：參考資料[2]
5.3 “事前用戶分層”的測試效果
霍金實驗平臺和版本發布系統相關功能上線后，數據分析側開展了對應平臺的AA實驗，驗證用戶分層邏輯對于用戶不均勻問題的解決效果是否達到預期水平。
5.3.1 霍金實驗平臺AA測試結論
用戶分層模型在不影響原有分發指標均勻性的前提下，能夠大幅提升中心實驗收入數據的均勻性。
- 分發均勻性：兩種分流邏輯下，分發相關指標波動均不顯著，但用戶分層邏輯下指標波動絕對值遠小于hash分流邏輯。
- hash分組邏輯下，收入arpu1波動11.6%；但用戶分層抽樣邏輯下，兩個實驗組收入arpu1波動分別為4.8%和1.9%，收入arpu2波動分別為3.3%和1.5%，均勻性大幅提升。
備注：收入指標及活躍相關指標對比計算相對變化值；分發指標對比計算絕對變化值；收入arpu1、2代表不同的收入計算邏輯。
5.3.2 版本發布系統AA測試結論
用戶分層模型在分發指標的均勻性上，優于原有的手機標識加密尾號分流方式。
- 分發均勻性：用戶分層邏輯下，各個分發指標均波動不顯著；但手機標識加密尾號分流邏輯下，游戲分發相關指標E顯著變化，即在該指標上存在用戶不均勻。
5.4 功能上線收益
“事前用戶分層”模型在游戲中心業務實驗和灰度發版中上線使用后，能夠帶來以下幾方面的顯著收益：
- 【灰度有效發版率顯著提升9pt】：分層邏輯上線后，游戲中心有效灰度發版（用戶均勻）的概率從86% 提升到95%，不均勻次數從10次/年，下降到2~3次/年（近半年僅有1次）。
- 【節省異常排查人力35人日/年】：發版異常減少7次/年，單次異常排查需各方共5人日，共節省版本異常排查人力35人日/年。
- 【正向策略實驗提前全量帶來中心年收入+0.2%】：用戶分層邏輯上線后，正向策略提前得出結論全量，能夠帶來游戲中心年游戲分發+0.1%，年游戲收入+0.2%。
- 【負向策略實驗及時下線減少收入損失】：提升實驗負向時的判斷及時性和準確性，降低負向實驗長期觀察帶來的收入損失，約占中心年收入的0.1%。
六、總結和展望
對于AB實驗中面臨的用戶不均勻問題，我們借鑒過往經驗，經過不斷嘗試和探索，基于用戶分層的邏輯開發了“事前用戶分層”模型，并在霍金項目團隊和版本發布系統項目團隊的大力支持下，對不同場景進行差異化處理，在解決游戲中心AB實驗中的用戶不均勻問題中取得了較好效果；在游戲中心版本灰度場景中，事前用戶分層方案已基本解決了用戶不均勻問題；但在中心策略實驗中，由于游戲收入數據的特殊性，用戶分層方案能夠解決高、低付費用戶在實驗組中分布不均的問題；但并不能完全解決高付費值非連續的問題，故收入的波動依然在1%~2%，但已經遠低于原有分流方式下的收入波動幅度。
此外，現階段采用的“事前用戶分層”方案能夠大幅提升用戶的均勻性概率，并不能完全杜絕用戶不均勻問題；一方面原因是對業務指標的分層邏輯依賴于工作者的經驗判斷，但人工分層的邏輯存在較大的主觀性；另一方面原因是選取的指標較少，依賴信息不夠全面；后續我們也會不斷嘗試探索，卷入更多的指標信息，同時將機器學習等模型運用到用戶分層體系搭建中，以求進一步解決游戲業務中用戶的均勻性問題。
最后希望本文能為不同業務解決AB實驗時面臨的用戶不均勻問題帶來參考和啟發。
