作者：vivo 網際網路資料分析團隊 Luo Yandong、Zhang Lingchao

本文介紹了網際網路業務資料效果評估的幾種常見問題及方法，並基於分層抽樣的邏輯優化出一套可應用於解決使用者不均勻的「事後達爾文"分析法，可適用於無法AB測試或人群不均勻的AB測試等場景下的效果評估中，本文會基於實際應用案例，來給大家仔細闡述相關方法模型的思考過程，實現原理，應用結果，希望能夠幫助大家，如果能對大家在各自領域中的業務效果評估有所助益的話，那就更棒了！

一、引言

遊戲業務作為公司重點的創收團隊，為了更好的達成營收結果，需要不定期地開展各類運營活動來促進玩家付費轉化、提升玩家付費水平，這就要求我們遊戲資料分析師採取科學有效的分析模型，準確洞察分析各類運營策略的價值與收益，及時控制風險與優化後續運營方案。

而在實際的分析工作中，我們通常會碰到各種各樣的業務及資料上的問題，逼迫我們不斷迭代優化分析模型，產出更有價值更科學有效的結論建議。

如下案例，就是我們曾經碰到的一個典型問題——算是「辛普森悖論」[1]在遊戲業務的一個實際體現：受不同月份遊戲業務使用者付費分佈不均勻變化的影響，業務效果評估重要指標利潤率(利潤/流水)，在整體和分遊戲型別的場景下的資料表現完全互斥。

近三年來，我們持續地開展業務效果評估，在發現並解決問題的過程中不斷總結經驗及資料結論，最終優化迭代出「事後達爾文」分析方法論，從而有效解決遊戲業務中效果評估的各項困難。

本文將從遊戲業務效果評估的諸多問題出發，闡述分析方法的發展歷程及資料邏輯原理，以及在遊戲業務中具體的解決方案實踐，來完整介紹「事後達爾文」的思考過程與應用落地，並展望更多應用場景。

二、遊戲業務效果評估常見問題一覽

遊戲業務效果評估中常見的問題有如下這些難點：

遊戲業務受節假日自然因素影響大，如何剔除？比如十一、春節期間玩家自發的付費增長同活動影響的關係？
部分活動存在參與門檻，如何保障研究人群的一致性？比如返利活動中需消費達標才能獲取禮券的參與門檻，未參與玩家天然付費能力弱一檔的問題。
整體與區域性的效果差異的問題，如何解讀？比如引言中網遊單機利潤率下降但整體利潤率提升的問題。
vivo的遊戲行銷類活動，一直致力於公平公正，絕對禁止殺熟，因此都需保持統一折扣力度，無法實現AB測試，如何持續優化迭代？
遊戲業務中行銷活動往往能衝刺短時間的付費增長，但是後期受玩家實際收入能力影響存在回落的風險，如何有效論證活動的長期正向價值？比如雙11期間開展的電商活動，明顯影響了前一個月及後一個月的使用者正常消費水平。

以上諸多難點問題，都衍生於業務的實際執行過程中，需要我們分析師基於一套切實可行的方法論進行解決。

三、效果評估分析方法的發展

3.1 什麼是效果評估

業務團隊為了提升相關指標，如流水、利潤等，而開展的如滿減，返利，打折，促銷等活動，在一段時間內讓玩家、使用者更多的參與、消費，來提升對應的指標。

而我們分析師就需要及時的研究清楚，這些業務動作帶來了怎樣的實質性的業務提升，以及如何形成更多優化空間，這就是效果評估的核心內容與價值。

3.2 效果評估方法的發展階段

判斷業務效果，我們通常會細分很多指標，比如參與率、投入產出比、流水、利潤等。但我們最關心的往往是指標增量，這是一個相對概念，核心就在於如何對比。為此，行業內通用的分析方法有如下幾種：

時序比對法：

通過觀察活動前後的增長變化，如本週末開展的活動，那我們看本週末的流水去比對上週末的流水，來判斷活動的增量；

自然過濾法：

受節假日等季節因素影響，本週和上週會有自然變化因素，為了過濾自然因素影響，我們將活動參與人群與未參與人群拆解開，將自然時間變化計算為未參與人群的本週流水比對上週流水的數值，最終按活動增量減去自然變化情況來作為最終增量；

AB測試：

基於均勻分層情況下的嚴格AB測試實驗，部分遊戲/門店開展活動，部分不開展，以不開展活動的部分增長作為自然增長，這樣也可以計算出最終的增量。

但是存在如下風險：

①無法保證使用者均勻分佈；

②活動開展較複雜，且存在客訴風險，玩家不易接受，且損失部分活動增量，不利於目標達成。

事後達爾文：

集合方法2、3的各自優勢，我們將參與活動人群/未參與人群，基於均勻分層的邏輯，按上週末arpu等指標拆解分層，保障對比物件的相對公平，計算各分層內參與人群的增長-自然增長（同分層未參與人群的增長），最終彙總整體結果。

如下範例：

3.3 各方法的優劣對比及適用場景說明

注：「事後達爾文」由資料分析團隊成員於2019年研究出相關分析方法，並於2020年整理並取名為「事後達爾文」。

四、「事後達爾文」的分析方法論

在介紹資料方案設計前，先介紹一下「事後達爾文」的分析思路和方法論，幫助大家更好地理解本文。

4.1 確認研究物件

研究物件分兩部分——人群和指標。

（1）人群

包含參與活動的人群、未參與活動的人群。參與活動的人群受到活動、季節因素的綜合影響；未參與活動的人群主要受季節因素的自然變化影響，如十一前和十一期間的自然付費增長。

（2）研究指標

我們一般選擇核心關注的如人均流水ARPU、人均禮券（遊戲業務活動核心目標）。其他場景亦可按核心關注指標開展研究，如產品測試場景的點選率等。

4.2 分人群時間對比

基於我們的研究人群（參與活動與未參與活動的人群），在活動前、活動期的研究指標（流水、利潤）表現情況，如下圖：

其中：

C1=A*(A4-A3*(B4/B3));

C2=A*(A2-A1*(B2/B1));

因通常情況下，主動參與我們活動的玩家會有更積極主動的活躍、付費等行為特徵，導致玩家A、B人群並不符合均勻分佈的特徵，故B玩家人群的自然季節因素變化無法完全代表A玩家人群的自然變化，最終導致無法完全科學合理的體現出活動玩法對A人群的增量。

4.3 人群均勻分層對比

我們為保障玩家人群B的自然變化能反映A玩家人群的水平，在核心研究的指標邏輯下，將A、B玩家人群做均勻的拆分，參考遊戲業務活動中，按照活動前人均付費水平拆分（其他場景也可基於其核心指標拆分，如點選率分發效率等）。

其中：

C1=A*(A4-A3*(B4/B3));

C2=A*(A2-A1*(B2/B1));

C=sum(C1:Cn);D=sum(D1:Dn);

為保障以上分析結果真的均勻，我們會對每一分組做相應的驗證，如上初始人群差異，若人群差異絕對值>=5%，則判斷置信度不足，對應分組人群活動影響不單獨做評估。

4.4 結果評估

基於以上分層邏輯後，我們即可得到對應置信分組下，參與人群的指標變化率，未參與人群的指標變化率，二者相減即得到活動策略影響的增量變化（可正可負），彙總之後，即可得到整體增量變化，即為整體的活動影響。

特別說明：

通常情況下，置信度不足的分組人群，如果相關人群/流水比重過大，無法忽略影響的話（如超過10%），則會按照置信分組的總增量變化率來作為該分組的增量測算，此處僅供參考；
參與活動人群規模較未參與差距過於懸殊，如<1:10的情況下，可考慮對B人群以抽樣的方式來實現以上的效果。

五、實際分析案例

5.1 某年端午活動資料效果分析

5.1.1 背景資訊：

端午期間開展了充值不同檔位可領取不同禮品的活動，如100元檔、1000元檔、4000元檔等。（非實際案例）

5.1.2 前置分析：

主動參與的玩家，有較強的充值能力和慾望，對應效果研究需排除過濾這種充值能力上的差異；
活動面向全體玩家，無法開展ABtest，也不一定適宜差異化策略；
遊戲充值玩家存在活動期大幅拉收，活動後消費降級的風險，所以整體研究中需考慮活動中+活動後的總體增量情況；
有活動曝光的使用者內部仍有較大差異，未參與活動(即未領獎)使用者表明這些使用者對本次禮包活動沒有興趣，本身付費傾向較低，而參與活動使用者則有較強付費意願。

5.1.3 分析結果：

整體有無曝光對比：從整體看，有活動曝光使用者的付費提升顯著高於無曝光使用者，且在低付費檔位的提升效應更為顯著；
有曝光使用者內部對比：有活動曝光但無領獎使用者本身為遊戲的低付費意願使用者，因此後向付費甚至不及無曝光使用者，而活動對參與的使用者有明顯的付費刺激作用。

5.2 某年遊戲預約版本效果分析

5.2.1 背景資訊：

（1）受國家版號政策的緊縮，遊戲業務的穩定增長體現在老遊戲的持續迭代上，而其拉新、迴流、留存的節點，都圍繞在重大版本更新節點上。所以我們有產品通過版本更新功能，提前將遊戲新的玩法/內容/活動傳遞給使用者，以提升遊戲節點表現。

（2）我們vivo的版本預約已做了有段時間，但始終沒有一個較為嚴謹的實驗對比和資料分析，驗證做這件事為平臺帶來的增量價值。故我們使用「事後達爾文」的分析方法對其展開了相應研究。

版本頁面樣式參考如下：

5.2.2 前置分析思考：

預約與非預約使用者，除了在預約行為上存在差異，還存在版本資訊感知上的差異，主要體現在活躍頻次上，需要逐步進行對比分析；
中心灰度放量提供了是否感知版本資訊的兩類人群對比，但灰度本身對使用者的中心版本、手機效能和中心使用行為有要求，導致灰度使用者在遊戲內的活躍付費天然優於非灰度使用者。

5.2.3 分析結果：

版本資訊感知價值：提前感知版本資訊的使用者在版本更新後向付費有提升，總體付費約高於無版本預約感知使用者6%，且在高活躍天頻下付費與無感知使用者拉開差距；
主動預約行為的價值：版本更新後預約使用者付費相比僅感知無預約使用者，其提升更為明顯。

六、總結和展望

對於遊戲業務效果評估中面臨的各類問題，我們借鑑過往經驗，經過不斷嘗試和探索，基於使用者分層的邏輯，拆解使用者，將保持同一核心特徵的使用者放在一個水平線上進行對比，開發出「事後達爾文」的解決方案，並在解決遊戲業務效果評估中取得長期較好效果。我們近期也有在推動巨量資料將相關的分析方法模型，結合遊戲業務使用者運營的實際特點，進行模型線上化，屆時將更加快速便捷的完成活動策略的效果評估，給到業務方更及時有效的支援。

本文希望能讓大家更瞭解遊戲業務分析工作的實踐情況，能對大家不同業務的分析評估工作有一些直觀的參考價值。當然，方案中的具體模型細節、風險排查等無法完完全全的寫出，也由衷歡迎感興趣的朋友們和筆者一起探討交流，謝謝大家！

參考文獻：

趙煥光、章勤瓊、王迪著《真理相遇統計》

「事後達爾文」—— 遊戲業務效果評估方法實踐