只知道ABtest？測(cè)試方法還有這些，數(shù)據(jù)分析師都得掌握！

作者：接地氣的陳老師 2023-09-06 11:36:04

測(cè)試從來(lái)都是數(shù)據(jù)分析解決問(wèn)題的手段。俗話說(shuō)：是騾子是馬，拉出來(lái)遛遛。測(cè)試就是遛馬的過(guò)程，結(jié)果好壞一眼即明。特別針對(duì)：新渠道、新產(chǎn)品、新團(tuán)隊(duì)這種創(chuàng)新情況。舊的數(shù)據(jù)不能完全推演創(chuàng)新，就更得上測(cè)試了。

業(yè)務(wù)方要你人工智能大數(shù)據(jù)精準(zhǔn)預(yù)測(cè)，預(yù)測(cè)偏差多少錢(qián)，就扣你多少錢(qián)的工資，你怕不？！偏偏真的就有很多類似場(chǎng)景，話不多說(shuō)，直接上干貨：

問(wèn)題場(chǎng)景：

某互聯(lián)網(wǎng)金融公司準(zhǔn)備通過(guò)投放獲取投資客戶，最近聽(tīng)說(shuō)私域流量很火，但是從來(lái)沒(méi)在公眾號(hào)渠道試驗(yàn)過(guò)，現(xiàn)計(jì)劃在公眾號(hào)渠道進(jìn)行投放，請(qǐng)數(shù)據(jù)分析部門(mén)利用大數(shù)據(jù)人工智能精準(zhǔn)預(yù)測(cè)投放效果，到底做一次投放能賺多少錢(qián)。假設(shè)你是這個(gè)公司的數(shù)據(jù)分析師……

1 別忘了你還有這個(gè)武器

正確回答：預(yù)測(cè)個(gè)屁！業(yè)務(wù)部門(mén)是不懂?dāng)?shù)據(jù)原理的，有想不明白的事搬出“大數(shù)據(jù)人工智能”就好了。但做數(shù)據(jù)的人腦子得格外清醒。按題中的場(chǎng)景，業(yè)務(wù)上連一次都沒(méi)做過(guò)，連數(shù)據(jù)都沒(méi)有，這還預(yù)測(cè)個(gè)毛線。這時(shí)候應(yīng)該做測(cè)試，先收集一些數(shù)據(jù)，有了相當(dāng)?shù)臄?shù)據(jù)積累以后再談?lì)A(yù)測(cè)的事。

只不過(guò)，這些年熱炒的都是基于自有App的ABtest，所以很多新人忽視了更普遍的測(cè)試設(shè)計(jì)方法，今天我們系統(tǒng)講解下。

2 設(shè)計(jì)測(cè)試的基本要求

很多新人會(huì)想當(dāng)然地認(rèn)為：測(cè)試不就是讓業(yè)務(wù)先搞幾次，那讓他們搞，我們等著收數(shù)據(jù)不就好了。這種偷懶的想法，會(huì)在事后給自己添加無(wú)窮無(wú)盡的麻煩。

首先，測(cè)試是有業(yè)務(wù)代價(jià)的。

比如本場(chǎng)景中，投放是為了拉新用戶和新投資，花了錢(qián)要見(jiàn)效果，不然肯定被老板diss。

那么相關(guān)的問(wèn)題就來(lái)了：

花多少錢(qián)？
要做多少效果？
測(cè)幾輪見(jiàn)效果？
測(cè)幾輪的損失能不能承擔(dān)？

這些都得事先有個(gè)清晰界定，才能避免糾結(jié)。

其次，測(cè)試是有內(nèi)容設(shè)計(jì)的。

比如本場(chǎng)景中，用戶會(huì)不會(huì)被吸引來(lái)，和投放號(hào)類型、投放時(shí)機(jī)、文案、轉(zhuǎn)化路徑、產(chǎn)品選擇、CTA動(dòng)作，都有關(guān)系，如果一開(kāi)始不做認(rèn)真設(shè)計(jì)。只是簡(jiǎn)單的丟一個(gè)，那很多其他可能無(wú)法對(duì)比測(cè)試，就不能推導(dǎo)出有效結(jié)論。

再次，測(cè)試是受投入影響的。

比如本場(chǎng)景中，有可能優(yōu)質(zhì)的渠道需要花很多錢(qián)，有可能用戶補(bǔ)貼力度得比其他渠道大一點(diǎn)，導(dǎo)致的結(jié)果就是可能第一輪不見(jiàn)效，但第二輪增加力度就見(jiàn)效了！所以要不要做追加投入，也得事先考慮清楚。

由于以上三點(diǎn)，使得測(cè)試需要分四個(gè)階段，做好充分的準(zhǔn)備再上路（如下圖）。

圖片

3 部署階段

部署階段要解決的是戰(zhàn)略問(wèn)題：

到底要測(cè)試多久
為測(cè)試可以投放多少資源
測(cè)試出什么結(jié)果才滿意

在本場(chǎng)景中，作為新投放渠道測(cè)試，則首先得搞清楚渠道的定位。常見(jiàn)的有：

主力渠道：承擔(dān)50%+的流量來(lái)源，主要投資方向

助攻渠道：承擔(dān)20%+的流量來(lái)源，次要投資方向

邊緣渠道：?jiǎn)吻懒髁坎怀^(guò)5%，選擇性投放

零散渠道：有它沒(méi)它關(guān)系不大，聊勝于無(wú)

可以根據(jù)當(dāng)期的整體渠道投放目標(biāo)，反推需要的流量；之后根據(jù)業(yè)務(wù)上策略（下決心建立新渠道，還是跟風(fēng)玩玩），把任務(wù)分配清楚，之后定義好本次測(cè)試新渠道的定位。有了清晰的定位，自然很容易得出：投多少錢(qián)，做多少次。有了財(cái)力、人力、時(shí)間的界定，后續(xù)設(shè)計(jì)方案就簡(jiǎn)單了。

圖片

4 準(zhǔn)備階段

準(zhǔn)備階段要解決的是戰(zhàn)術(shù)問(wèn)題：

到底要測(cè)試哪些渠道
到底測(cè)哪些版本
到底測(cè)哪些產(chǎn)品

圖片

在本場(chǎng)景中，由于是完全沒(méi)有經(jīng)驗(yàn)，因此需要第三方/同業(yè)的案例、數(shù)據(jù)做支持。雖然不能拿到100%準(zhǔn)確的數(shù)據(jù)，但至少能照貓畫(huà)虎，比如：

同業(yè)投放哪些賬號(hào)
可觀察的文章曝光量是多少
小道消息打聽(tīng)來(lái)的轉(zhuǎn)化率是多少
業(yè)用的什么什么形式

經(jīng)過(guò)梳理，至少有一個(gè)大概方向，比閉著眼睛瞎胡做強(qiáng)的多。注意，站在用戶角度，影響用戶行為的因素是綜合性的。比如公眾號(hào)渠道投放，標(biāo)題、長(zhǎng)度、投放時(shí)間、內(nèi)容寫(xiě)法、CTA、轉(zhuǎn)化路徑、產(chǎn)品價(jià)格、產(chǎn)品屬性等等等都會(huì)有影響。

用數(shù)據(jù)進(jìn)行測(cè)試，很難在一次測(cè)試把以上因素全部拆解清楚，因此需要提前準(zhǔn)備多個(gè)測(cè)試版本，且測(cè)試版本之間差異不能太大，有一定延續(xù)性，這樣才能為后期分析做好準(zhǔn)備。

以上全部是標(biāo)紅加粗，是因?yàn)樵趯?shí)際工作中，業(yè)務(wù)方經(jīng)常喜歡糾結(jié)細(xì)節(jié)，結(jié)果搞出來(lái)的各個(gè)版本一個(gè)天上一個(gè)地下，完全沒(méi)有可比性。除了看整體轉(zhuǎn)化結(jié)果外，細(xì)節(jié)完全無(wú)法對(duì)標(biāo)，因此很難做深入分析。

可以說(shuō)事后分析的艱難，有80%是因?yàn)槭孪葲](méi)有做好計(jì)劃導(dǎo)致的，切記切記。

5 測(cè)試與復(fù)盤(pán)階段

準(zhǔn)備好以后，可以上線測(cè)試和復(fù)盤(pán)。本場(chǎng)景是渠道投放，且目標(biāo)就是獲取新投資用戶，因此考核結(jié)果指標(biāo)相對(duì)簡(jiǎn)單清晰，看轉(zhuǎn)化來(lái)的用戶數(shù)，用戶投資率，用戶投資金額幾個(gè)指標(biāo)即可。只要測(cè)試結(jié)果能達(dá)成部署階段的目標(biāo)，就算渠道合格，完成任務(wù)。如果不行，可以根據(jù)事先制定的迭代方案，進(jìn)行迭代優(yōu)化，進(jìn)一步觀察效果。

這里要強(qiáng)調(diào)的是一些細(xì)節(jié)問(wèn)題：

結(jié)果判斷和原因分析要分開(kāi)。先判斷結(jié)果是否可接受，再分析哪個(gè)環(huán)節(jié)有問(wèn)題。
迭代有順序進(jìn)行，產(chǎn)品、價(jià)格、內(nèi)容要分開(kāi)。最好一次換一個(gè)，最差也不要仨一起換。
優(yōu)先換產(chǎn)品、價(jià)格，內(nèi)容不一條條換。內(nèi)容涉及細(xì)節(jié)太多，全部測(cè)出來(lái)成本太高，因此優(yōu)先考慮產(chǎn)品和價(jià)格。

這樣看數(shù)據(jù)的時(shí)候，可以按以下順序展開(kāi)：

圖片

6 小結(jié)

為啥開(kāi)頭要問(wèn)如何人工智能大數(shù)據(jù)精準(zhǔn)預(yù)測(cè)？是因?yàn)楹芏嗤瑢W(xué)真的以為能預(yù)測(cè)！不但業(yè)務(wù)部門(mén)迷信預(yù)測(cè)，連很多數(shù)據(jù)分析師自己都信了，還真以為隨便搞幾個(gè)數(shù)字就是大數(shù)據(jù)了，真以為隨便懟個(gè)模型調(diào)個(gè)參就是人工智能了，還真為人工智能就是全知全能的上帝一道金光從天而降代碼就能變成鈔票，隨著鍵盤(pán)的敲動(dòng)從屏幕里噴薄而出……