【51CTO.com原創(chuàng)稿件】2016年11月25-26日，由51CTO.com主辦的WOT 2016大數(shù)據(jù)技術(shù)峰會(huì)在北京粵財(cái)JW萬(wàn)豪酒店隆重召開(kāi)。自2012年以來(lái)，WOT品牌大會(huì)秉承“專(zhuān)注技術(shù)、服務(wù)技術(shù)人員”的理念已成功舉辦了十二屆，不僅積累了大量的專(zhuān)家資源，更獲得廣大IT從業(yè)者和技術(shù)愛(ài)好者的認(rèn)可和好評(píng)，已成為業(yè)界重要的技術(shù)分享及人脈拓展平臺(tái)。

在本屆WOT2016大數(shù)據(jù)技術(shù)峰會(huì)的“系統(tǒng)架構(gòu)”主題專(zhuān)場(chǎng)，來(lái)自騰訊的高級(jí)工程師周東祥做了“騰訊游戲大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)”的精彩主題演講。

【講師簡(jiǎn)介】

[[178715]]

周東祥，從2010年畢業(yè)進(jìn)入騰訊互動(dòng)娛樂(lè)部門(mén)工作，一直致力在騰訊游戲運(yùn)營(yíng)開(kāi)發(fā)工作。先后負(fù)責(zé)業(yè)務(wù)受理系統(tǒng)，盜號(hào)自助系統(tǒng)，游戲大數(shù)據(jù)平臺(tái)系統(tǒng)以及近2年在騰訊游戲大數(shù)據(jù)運(yùn)營(yíng)開(kāi)發(fā)中積累大量的大數(shù)據(jù)開(kāi)發(fā)與應(yīng)用經(jīng)驗(yàn)。先后在公司內(nèi)分享騰訊游戲大數(shù)據(jù)開(kāi)發(fā)和應(yīng)用平臺(tái)多次。同時(shí)，負(fù)責(zé)公司IEG互動(dòng)娛樂(lè)運(yùn)營(yíng)開(kāi)發(fā)、Web前端開(kāi)發(fā)、數(shù)據(jù)分析、基礎(chǔ)研究等通道晉級(jí)評(píng)審委員秘書(shū)。

會(huì)后，51CTO記者對(duì)周東祥老師進(jìn)行了采訪(fǎng)，分享了他在騰訊游戲大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)方面的心得。

騰訊游戲大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)的設(shè)計(jì)思路

騰訊游戲大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)

平臺(tái)內(nèi)游戲急速增長(zhǎng)，游戲個(gè)數(shù)多;數(shù)據(jù)源異構(gòu)化突出，數(shù)據(jù)量大;一游戲一世界，數(shù)據(jù)抽象模型困難。如何利用大數(shù)據(jù)技術(shù)幫助產(chǎn)品快速、有效的實(shí)現(xiàn)游戲數(shù)據(jù)精細(xì)化運(yùn)營(yíng)?這些都是擺在游戲大數(shù)據(jù)應(yīng)用面前的問(wèn)題。

據(jù)周東祥介紹，大數(shù)據(jù)的架構(gòu)大同小異，基本上都包含采集、傳輸、存儲(chǔ)、計(jì)算、應(yīng)用，還有相關(guān)數(shù)據(jù)挖掘。在游戲特定場(chǎng)景下有一些應(yīng)用的服務(wù)痛點(diǎn)和想要突破的問(wèn)題。在游戲大數(shù)據(jù)應(yīng)用服務(wù)高頻營(yíng)銷(xiāo)場(chǎng)景中，需要用戶(hù)行為的實(shí)時(shí)規(guī)則。

在王者榮耀等游戲中，都會(huì)看到游戲內(nèi)實(shí)時(shí)任務(wù)獎(jiǎng)勵(lì)體系，例如，玩幾局排位賽可以立刻領(lǐng)鉆石，同樣的累計(jì)登錄、連勝、殺人、推塔等任務(wù)完成也會(huì)給到相應(yīng)的獎(jiǎng)勵(lì)。在以前沒(méi)有大數(shù)據(jù)技術(shù)與游戲運(yùn)營(yíng)結(jié)合情況下，游戲后臺(tái)開(kāi)發(fā)更多是以事務(wù)性DB來(lái)做核心方案實(shí)施。

這樣做主要有如下問(wèn)題和痛點(diǎn): 功能方面，支持玩家的歷史數(shù)據(jù)、時(shí)間多維度、千人千面差異化等功能會(huì)有比較高的開(kāi)發(fā)和運(yùn)營(yíng)成本。運(yùn)營(yíng)層面，這種實(shí)時(shí)規(guī)則營(yíng)銷(xiāo)場(chǎng)景運(yùn)營(yíng)調(diào)整頻率高、變化快。結(jié)合游戲版本開(kāi)發(fā)重度耦合起來(lái)實(shí)施比較慢。騰訊現(xiàn)在提供的方案更多的是通過(guò)大數(shù)據(jù)技術(shù)能力，結(jié)合騰訊游戲的應(yīng)用場(chǎng)景，幫助游戲快速有效的做相關(guān)的數(shù)據(jù)精細(xì)化運(yùn)營(yíng)服務(wù)。他認(rèn)為，一個(gè)游戲就像一個(gè)人的虛擬人生，無(wú)論是規(guī)則模型還是挖掘模型，通用的很少。基于實(shí)時(shí)的針對(duì)于不同用戶(hù)的維度，時(shí)間維度或者空間維度，再結(jié)合營(yíng)銷(xiāo)場(chǎng)景、渠道等等，跟游戲相關(guān)的場(chǎng)景做結(jié)合，提供給游戲更高速、更低成本方式的實(shí)現(xiàn)游戲數(shù)據(jù)精細(xì)化運(yùn)營(yíng)。

騰訊游戲大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)

對(duì)游戲大數(shù)據(jù)的處理一些方式和經(jīng)驗(yàn)

在游戲的后臺(tái)，數(shù)據(jù)源復(fù)雜多樣。這些異構(gòu)化的數(shù)據(jù)源帶來(lái)了巨大的挑戰(zhàn)，把玩家有效的數(shù)據(jù)轉(zhuǎn)變成大數(shù)據(jù)實(shí)時(shí)存儲(chǔ)，騰訊為此做了大量的工作。經(jīng)過(guò)幾年的實(shí)踐發(fā)現(xiàn)，開(kāi)源的組件解決的都是某一點(diǎn)的問(wèn)題，在實(shí)際產(chǎn)品過(guò)程中會(huì)碰到各種各樣的問(wèn)題，所以往往要做一些實(shí)際的優(yōu)化，使之更加適于公司運(yùn)維、網(wǎng)絡(luò)環(huán)境，例如標(biāo)準(zhǔn)化和差異化服務(wù)結(jié)合：標(biāo)準(zhǔn)化傳輸和延遲性的數(shù)據(jù)傳輸相結(jié)合。

所有數(shù)據(jù)一定是要實(shí)時(shí)采集的，采集之后有兩個(gè)計(jì)算路徑，***路徑需要放在離線(xiàn)流程里，主要計(jì)算用戶(hù)畫(huà)像和標(biāo)簽。對(duì)于用戶(hù)標(biāo)簽來(lái)說(shuō)，更多的是用戶(hù)來(lái)自于哪個(gè)地方，是來(lái)自于用戶(hù)行為，還是來(lái)自于客戶(hù)端，或者后臺(tái)的基于計(jì)算任務(wù)的監(jiān)控?cái)?shù)據(jù)。基于用戶(hù)行為還會(huì)打幾種標(biāo)簽，例如：活躍標(biāo)簽、付費(fèi)標(biāo)簽等。這個(gè)標(biāo)簽可以分層處理的時(shí)候來(lái)快速適配，而不是像以前拿到一個(gè)原數(shù)據(jù)表，看到的就是一個(gè)表，而看不出來(lái)這個(gè)表是為了實(shí)現(xiàn)付費(fèi)還是為了實(shí)現(xiàn)活躍。在整個(gè)游戲大數(shù)據(jù)運(yùn)營(yíng)環(huán)境中，這是最耗費(fèi)精力和資源的事。第二路徑就是實(shí)時(shí)計(jì)算流程，也是目前應(yīng)用最多的數(shù)據(jù)流程。實(shí)時(shí)計(jì)算流程，可以做實(shí)時(shí)用戶(hù)標(biāo)簽計(jì)算、實(shí)時(shí)統(tǒng)計(jì)分析計(jì)算、實(shí)時(shí)用戶(hù)規(guī)則觸發(fā)等。每種處理方式都有核心應(yīng)用場(chǎng)景。同時(shí)，處理方式和用的組件也會(huì)有差異。

對(duì)于產(chǎn)品來(lái)說(shuō)，獲取的數(shù)據(jù)越多越好，數(shù)據(jù)被放棄的理由主要有兩種：一，游戲版本增加了生化對(duì)戰(zhàn)模式，只實(shí)行一個(gè)月，一個(gè)月之后這個(gè)模式?jīng)]有了，數(shù)據(jù)就會(huì)自動(dòng)消失。二，數(shù)據(jù)量比較大，使用率比較低。從數(shù)據(jù)管理層面給產(chǎn)品進(jìn)行反饋，說(shuō)明這個(gè)數(shù)據(jù)意義不大，存儲(chǔ)浪費(fèi)很多空間。

數(shù)據(jù)的重要性，更多的是指游戲用戶(hù)行為關(guān)鍵的數(shù)據(jù)，例如能影響到游戲運(yùn)營(yíng)的關(guān)鍵環(huán)節(jié)：活躍還是流失，或是付費(fèi)等。這些數(shù)據(jù)關(guān)系到游戲內(nèi)部的核心運(yùn)營(yíng)數(shù)據(jù)，就會(huì)要求游戲開(kāi)發(fā)商必須上報(bào)，否則將無(wú)法提供標(biāo)準(zhǔn)化、模塊化數(shù)據(jù)經(jīng)營(yíng)分析的基礎(chǔ)服務(wù)。所以，每次跟游戲開(kāi)發(fā)做對(duì)接的時(shí)候，會(huì)給一個(gè)標(biāo)準(zhǔn)化，必要的日志模板，剩下的日志可以選擇性上報(bào)，根據(jù)游戲的運(yùn)營(yíng)節(jié)奏適當(dāng)?shù)脑黾踊驕p少。

規(guī)則模型應(yīng)用案例

在此，周東祥例舉了三個(gè)場(chǎng)景。

一.在與游戲《王者榮耀》合作中，用戶(hù)在登錄時(shí)，如果是***次注冊(cè)，會(huì)有需求引導(dǎo)，這個(gè)新手引導(dǎo)的過(guò)程，對(duì)于高手玩家，或者職業(yè)玩家來(lái)說(shuō)，可能會(huì)有干擾。一個(gè)新手引導(dǎo)大概需要二三十分鐘，有些用戶(hù)認(rèn)為過(guò)于繁瑣，就會(huì)放棄游戲，這些用戶(hù)在這個(gè)階段流失了。而騰訊為此游戲提供了用戶(hù)畫(huà)像，這個(gè)用戶(hù)可能在其他游戲里表現(xiàn)的非常好，那么就沒(méi)必要給他推薦很低級(jí)的新手引導(dǎo)的過(guò)程，向這些用戶(hù)提供用戶(hù)畫(huà)像的接口，就相當(dāng)于游戲一開(kāi)始，他就是高玩，也可能會(huì)推薦一段簡(jiǎn)短的引導(dǎo)視頻。如果是菜鳥(niǎo)級(jí)別，會(huì)推出原版新手引導(dǎo)的流程，這個(gè)場(chǎng)景可以總結(jié)為用戶(hù)畫(huà)像與游戲運(yùn)營(yíng)結(jié)合。

二.游戲核心的應(yīng)用指標(biāo)是要有營(yíng)收和用戶(hù)。《王者榮耀》有時(shí)候會(huì)有打折，不同的用戶(hù)折扣不同，這就是千人千面的精準(zhǔn)推薦非常經(jīng)典的案例。這樣一來(lái)，給游戲帶來(lái)的收入非常可觀。也可以做一些非常靈活的調(diào)整，例如，有的用戶(hù)是核心用戶(hù)，可能給他的折扣就高，他留下來(lái)的意愿就更加強(qiáng)烈，這實(shí)際上是經(jīng)過(guò)數(shù)據(jù)挖掘的模型精準(zhǔn)的匹配。

三.所有的規(guī)則模型都是基于多年的運(yùn)營(yíng)經(jīng)驗(yàn)，例如在十一活動(dòng)期間，可能會(huì)有大量的玩家有空閑時(shí)間，就會(huì)出很多規(guī)則活動(dòng)。以前的方式是在游戲開(kāi)發(fā)的后臺(tái)做很多規(guī)則，這個(gè)開(kāi)發(fā)量若要保證準(zhǔn)時(shí)上線(xiàn)，會(huì)有非常大的成本投入。實(shí)時(shí)規(guī)則出來(lái)之后，有了已經(jīng)之前就實(shí)時(shí)計(jì)算和清洗出來(lái)的用戶(hù)行為指標(biāo)，只需要做一次規(guī)則配置，這個(gè)過(guò)程就非常簡(jiǎn)單了。統(tǒng)一的指標(biāo)的規(guī)則平臺(tái)已經(jīng)建好，就可以輕松地使用，也可以隨時(shí)在線(xiàn)上針對(duì)時(shí)間窗口、指標(biāo)取值范圍等規(guī)則做調(diào)整，靈活、高效且低成本。

對(duì)實(shí)時(shí)計(jì)算體系的要求更高

在電商或者微信領(lǐng)域，場(chǎng)景比較單一，更多的經(jīng)歷放在推薦場(chǎng)景上。而游戲里的場(chǎng)景多種多樣，變化很快，在游戲內(nèi)產(chǎn)生的行為規(guī)則也非常多，數(shù)據(jù)的維度或擴(kuò)散的度量也很多。如何通過(guò)實(shí)時(shí)運(yùn)算來(lái)保證在清晰的實(shí)時(shí)規(guī)則指標(biāo)下快速清洗完，反饋到游戲里來(lái)做實(shí)時(shí)干預(yù)，是至關(guān)重要的。目前，騰訊做到的是用戶(hù)行為在游戲內(nèi)產(chǎn)生，到***觸達(dá)到游戲用戶(hù)可以控制在200~600毫秒左右。如果維度擴(kuò)散很大，例如這個(gè)玩家在游戲內(nèi)用英雄殺了多少人，每殺一個(gè)人就是一次計(jì)算，這個(gè)并發(fā)量還是比較大的。

還是以《王者榮耀》為例，十一活動(dòng)的時(shí)候，一天***峰每秒鐘日志量超過(guò)一百萬(wàn)，對(duì)于后端來(lái)說(shuō)，既要把一百萬(wàn)承接下來(lái)，又要做實(shí)時(shí)計(jì)算，還要把實(shí)時(shí)計(jì)算反饋到游戲里，這個(gè)過(guò)程需要做很多優(yōu)化，包括采集端、存儲(chǔ)端、傳輸端，還有實(shí)時(shí)計(jì)算。

為了保證數(shù)據(jù)處理的完整性和一致性，在處理一次失敗之后，會(huì)寫(xiě)到異步流程里，盡量保證計(jì)算不是為了容錯(cuò)而導(dǎo)致?lián)砣鸷竺娴亩逊e，一定要采用這樣一個(gè)同步加異步處理的過(guò)程。在傳輸和采集端必須是非阻塞，不能期望用戶(hù)長(zhǎng)鏈接，不停地吐數(shù)據(jù)，這個(gè)吞吐量很大。如果后臺(tái)的網(wǎng)絡(luò)有問(wèn)題，連接有問(wèn)題，并發(fā)數(shù)有問(wèn)題，相關(guān)的網(wǎng)絡(luò)狀態(tài)有問(wèn)題，也會(huì)導(dǎo)致連接不上，此時(shí)，采用的是無(wú)連接的UDP的方式，并且做了大量的優(yōu)化，基本保證百萬(wàn)分之一左右的丟包率，所有的用戶(hù)行為都會(huì)實(shí)時(shí)監(jiān)測(cè)到。

游戲大數(shù)據(jù)實(shí)時(shí)統(tǒng)計(jì)計(jì)算體系

對(duì)大數(shù)據(jù)新人的建議

周東祥認(rèn)為，作為一個(gè)新人想要做游戲大數(shù)據(jù)，可以從兩個(gè)核心的階段去做。***階段，只提供基礎(chǔ)服務(wù)。觀察游戲的在線(xiàn)容量，用戶(hù)留存情況，這部分在游戲運(yùn)營(yíng)層面算是基礎(chǔ)的服務(wù)，還包括做在線(xiàn)的用戶(hù)分析。

第二階段，基于***階段的用戶(hù)分析的基本完成，就會(huì)發(fā)現(xiàn)一些問(wèn)題：有些用戶(hù)不付費(fèi)，有的用戶(hù)玩一天后就流失了，或者游戲關(guān)卡設(shè)置、游戲內(nèi)容設(shè)置有問(wèn)題等，可能針對(duì)這些情況提供一些相關(guān)建議。有的用戶(hù)參與度不夠，在某個(gè)營(yíng)銷(xiāo)活動(dòng)中觸達(dá)效果不好，需要基于之前的營(yíng)銷(xiāo)方案不停地沉淀，結(jié)合自信心場(chǎng)景，才能給游戲產(chǎn)品和策劃提供優(yōu)秀的、可靠的推薦模型、分析模型。

在增值服務(wù)的過(guò)程中，如何使用基于之前的分析和沉淀下來(lái)的模型?在這個(gè)階段要做的就是增值服務(wù)，怎樣和游戲內(nèi)的產(chǎn)品結(jié)合，幫助游戲提高運(yùn)營(yíng)的質(zhì)量，包括運(yùn)營(yíng)的效率，運(yùn)營(yíng)指標(biāo)的提升，這是游戲產(chǎn)品開(kāi)發(fā)最關(guān)心的。第二，如何通過(guò)實(shí)時(shí)的，更加精準(zhǔn)的挖掘，來(lái)做精準(zhǔn)推薦，做一些可能幫助游戲增長(zhǎng)收入、增長(zhǎng)活躍度的工作。

游戲大數(shù)據(jù)與微博電商大數(shù)據(jù)的區(qū)別

說(shuō)到微博、電商與游戲的區(qū)別，周東祥表示，大數(shù)據(jù)架構(gòu)在底層來(lái)說(shuō)一定是一致的，也沒(méi)有太大區(qū)別，游戲中也有所謂的精準(zhǔn)推薦，也有實(shí)時(shí)規(guī)則。包括現(xiàn)在比較火的如何把分析做的更快，一定是結(jié)合到自己產(chǎn)品的實(shí)際場(chǎng)景當(dāng)中來(lái)做相關(guān)的區(qū)分，舉個(gè)例子，在電商平臺(tái)購(gòu)物，用戶(hù)關(guān)注的物品，平臺(tái)就會(huì)為用戶(hù)做推薦，甚至跳過(guò)任何一個(gè)網(wǎng)站，都能看到之前瀏覽的產(chǎn)品。電商平臺(tái)會(huì)把用戶(hù)的行為推給第三方，在登錄第三方平臺(tái)的時(shí)候，如果用戶(hù)確實(shí)在之前買(mǎi)過(guò)這個(gè)產(chǎn)品，就會(huì)受到彈出的方式的不停干預(yù)。互聯(lián)網(wǎng)任何一個(gè)網(wǎng)頁(yè)里面都可以實(shí)時(shí)的干預(yù)用戶(hù)。實(shí)際上電商已經(jīng)做好了模型，這個(gè)網(wǎng)站已經(jīng)有這個(gè)模型做所謂的廣告推薦的方式。

同樣在微博產(chǎn)品中，一些內(nèi)容咨詢(xún)的推薦，例如今日頭條，產(chǎn)品推薦、內(nèi)容推薦是比較核心的，基于用戶(hù)和用戶(hù)看到的文章不停地做模型訓(xùn)練，這樣就可以不停地加實(shí)時(shí)規(guī)則向用戶(hù)推薦。

對(duì)于游戲，實(shí)際上也是如此。游戲有很多渠道，不僅是游戲內(nèi)，還有平臺(tái)渠道：微信手Q，官網(wǎng)等，將這些渠道分層，例如官網(wǎng)，游戲用戶(hù)在上面去點(diǎn)，就會(huì)把規(guī)則類(lèi)嵌到平臺(tái)或者營(yíng)銷(xiāo)渠道里，思路和方法都是一樣的，只是說(shuō)如何利用大數(shù)據(jù)架構(gòu)把這種推薦放在合適的游戲和營(yíng)銷(xiāo)場(chǎng)景里來(lái)，幫助產(chǎn)品或平臺(tái)做更多的精細(xì)化運(yùn)營(yíng)。如果數(shù)據(jù)做不到實(shí)時(shí)與產(chǎn)品和游戲相結(jié)合，提供給產(chǎn)品更多的大數(shù)據(jù)的增值精細(xì)化服務(wù)價(jià)值，那么***大數(shù)據(jù)服務(wù)可能只是數(shù)據(jù)咨詢(xún)服務(wù)了。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】