達(dá)觀數(shù)據(jù)紀(jì)達(dá)麒：個性化推薦系統(tǒng)商業(yè)化，五大要素缺一不可
在日前舉行的2017 CSDI 中國軟件研發(fā)管理行業(yè)峰會上，包括摩拜單車創(chuàng)始人及CTO夏一平、華為***系統(tǒng)工程專家徐琦海、京東云、攜程等一線互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)平臺負(fù)責(zé)人等在內(nèi)一線技術(shù)大咖齊聚一堂，分享了各自領(lǐng)域的***技術(shù)實(shí)踐。在峰會大數(shù)據(jù)專場上，達(dá)觀數(shù)據(jù)CTO紀(jì)達(dá)麒圍繞“數(shù)據(jù)挖掘算法落地實(shí)踐”做了主題演講，就個性化推薦系統(tǒng)商業(yè)化的五大要素進(jìn)行了詳細(xì)探討。下面為大家獻(xiàn)上演講的精華內(nèi)容。
機(jī)器學(xué)習(xí)的原理并不神秘
最近“人工智能”特別火。“人工智能”的概念雖然很高大上，但從算法角度來說，離我們是很近的。這些算法之所以能夠得到廣泛地應(yīng)用，很大程度上是因為機(jī)器學(xué)習(xí)和人類學(xué)習(xí)很像，在本質(zhì)上有很多相似性。
從人類學(xué)習(xí)的角度來說，我們教一個小朋友學(xué)數(shù)學(xué)，我們先要給他一些課本上的例題，讓他知道加減乘除大概是怎么回事;然后給他一本習(xí)題集，讓他不斷地去算，去對答案，最終學(xué)得四則運(yùn)算的技能。
在這個過程中，例題和習(xí)題就是訓(xùn)練樣本，通過訓(xùn)練樣本獲得標(biāo)準(zhǔn)答案的過程，就是“訓(xùn)練”。“訓(xùn)練”的最終目的，是要找到一個“目標(biāo)函數(shù)”。有訓(xùn)練樣本，通過訓(xùn)練找到目標(biāo)函數(shù)，這就是機(jī)器“學(xué)習(xí)”的方式，它和人類學(xué)習(xí)是很相似的。
舉個實(shí)際的例子，比如我們的天氣預(yù)報系統(tǒng)就是按照這個方式“學(xué)習(xí)”出來的一個人工智能系統(tǒng)。為了有一個好的預(yù)測結(jié)果，我們先要廣泛地采集溫度、濕度、風(fēng)速、氣壓等各類數(shù)據(jù)和特征，構(gòu)造訓(xùn)練樣本;然后，根據(jù)之前是否下雨以及降雨量的結(jié)果，得到一個量化的目標(biāo)函數(shù);接下來，再通過建立一個學(xué)習(xí)模型并反復(fù)糾正完成一套訓(xùn)練過程，不斷優(yōu)化我們的目標(biāo)函數(shù)，得到盡可能準(zhǔn)確的預(yù)報結(jié)果。
接下來我們要展開講的個性化推薦算法也是如此。它的實(shí)際操作需要克服很多細(xì)節(jié)問題，但是其基礎(chǔ)是很容易理解的。
推薦算法的演進(jìn)之路
對于一個內(nèi)容提供商，不管是新聞媒體或者是電商，或者是文學(xué)網(wǎng)站，它們提供給用戶的內(nèi)容總是按照一定指標(biāo)來做推薦的。為此誕生了很多經(jīng)典的做法，但是***的效果仍然不盡如人意，還有很大的提升空間。
最簡單的方法是單一指標(biāo)推薦，也叫“熱門推薦”。比如就按點(diǎn)擊量或者銷量來做排序，優(yōu)先推送閱讀人數(shù)最多、購買人數(shù)最多的產(chǎn)品。各種類型的“熱搜”“熱銷”類榜單就是如此。采用單一指標(biāo)推薦***的問題，是沒有“個性化”。沒有“個性化”會導(dǎo)致兩個顯著的后果——首先是體驗相對較差，用戶內(nèi)心深處“想要變得不同”的需求沒有被激發(fā)出來;另外一個問題，就是馬太效應(yīng)明顯，本身得到曝光的產(chǎn)品會持續(xù)得到曝光，而處于長尾上的商品則持續(xù)得不到曝光，等于大量質(zhì)量不錯的產(chǎn)品或內(nèi)容其實(shí)被閑置了。
圖一：傳統(tǒng)排行榜的邏輯
為了解決這兩個問題，出現(xiàn)了兩種針對性的方案，即基于用戶(user)信息和物品(item)信息分別來做推薦。
根據(jù)物品信息來做推薦，關(guān)鍵是對物品的基本屬性、類別、標(biāo)簽等進(jìn)行標(biāo)注，通過對物品信息的深度分析，為用戶推薦和他之前瀏覽記錄相似的物品。在這個過程中，要推薦的物品的形態(tài)是清楚了，但用戶的畫像仍然是模糊的。
根據(jù)用戶信息來做推薦，關(guān)鍵是根據(jù)用戶的行為日志來刻畫他的偏好。通過對用戶喜歡點(diǎn)什么，來為這個用戶建立他的偏好模型，然后向他推送他偏好的那些內(nèi)容。在這個過程中，用戶畫像是有些清晰了，但是用戶仍然是個體化的，不同用戶之間的相似性、用戶行為的社會性并沒有得到比較好的體現(xiàn)，推薦的精度也并沒有一個很好的提升。
針對這些問題，出現(xiàn)了“協(xié)同過濾”的算法。協(xié)同過濾算法的核心，是利用群體智慧。具體來講，分為基于物品的協(xié)同過濾和基于用戶的協(xié)同過濾。舉例來說，基于物品的協(xié)同過濾的思路，是說在一大群人中，我們發(fā)現(xiàn)看劉德華的人很多都會看張學(xué)友，這說明張學(xué)友和劉德華有相似度，那以后碰到點(diǎn)擊劉德華的人，我們可以為他推薦張學(xué)友。而基于用戶的協(xié)同過濾是說，在一大群人中，我們發(fā)現(xiàn)A和B兩個人都喜歡看好萊塢大片，比如他們都看了變形金剛、木乃伊、神奇女俠，這說明A和B是同好中人，后面用戶A又看了加勒比海盜，那就可以把加勒比海盜也推薦給B。
在商業(yè)實(shí)戰(zhàn)中，協(xié)同過濾通常會和對物品以及用戶的深度分析相結(jié)合，并進(jìn)行進(jìn)一步的模型融合，從而得到一個精準(zhǔn)度更高的效果。比如基于物品的協(xié)同過濾在Amazon、Netflix等網(wǎng)站中成功應(yīng)用，能為用戶推薦同領(lǐng)域的更深入的結(jié)果;而基于用戶的協(xié)同過濾則傾向于推薦范圍更寬泛而熱門的內(nèi)容，在特定場景下運(yùn)用，能實(shí)現(xiàn)跨領(lǐng)域、令人耳目一新的結(jié)果。
圖二：協(xié)同過濾的模型融合
除了協(xié)同過濾，隱語義模型的廣泛應(yīng)用也是一個重要的技術(shù)突破。以前傳統(tǒng)的分析方式分為兩步，***步是對用戶打標(biāo)簽，比如“15-20歲，男性”;有了這個標(biāo)簽，第二步是根據(jù)這些標(biāo)簽來映射到結(jié)果。這兩步都存在一些“硬傷”。首先，根據(jù)用戶信息打出的標(biāo)簽不一定準(zhǔn)確，比如用戶填的注冊年齡，不一定是真實(shí)的年齡;其次，通過標(biāo)簽來對其偏好的物品進(jìn)行映射，準(zhǔn)確度也不高。比如男性中確實(shí)很大部分喜歡體育類內(nèi)容，但是所有男性都要給他們推送體育類內(nèi)容嗎?這樣的推薦精準(zhǔn)度是比較差的。隱語義模型的核心，是超越這些表層語義標(biāo)簽的維度，通過機(jī)器學(xué)習(xí)技術(shù)，挖掘用戶行為中更深層的潛在關(guān)聯(lián)，從而避免人工貼標(biāo)簽粗放、主觀的缺點(diǎn)，使得推薦精準(zhǔn)度更高。
協(xié)同過濾和隱語義模型已經(jīng)應(yīng)用在越來越多的商業(yè)場景中。不過，對于一個成功的算法來說，僅僅明確其模型基礎(chǔ)是不夠的，還必須要具備下面所說的這些重要優(yōu)點(diǎn)。
五大要素缺一不可
從整個行業(yè)的實(shí)踐來看，有五個要素至關(guān)重要，即自我進(jìn)化、快速建模、模型融合、開放架構(gòu)以及性能/效果/資源的良好平衡。具備這五個要素的算法，才能有效應(yīng)對海量實(shí)時數(shù)據(jù)的吞吐，并高效持續(xù)地進(jìn)行運(yùn)轉(zhuǎn)。
自我進(jìn)化
一個推薦系統(tǒng)要長期運(yùn)行，首先要解決的就是自我進(jìn)化的問題。用戶的興趣、物品的價值以及用戶數(shù)據(jù)的時效性都會隨著時間的推延而變化。用戶的興趣有長期和短期的興趣，曾經(jīng)的短期興趣并不能對預(yù)測其未來行為提供很好的參考;物品的價值也有它的高峰期和平原期，現(xiàn)在賣得好的產(chǎn)品未必以后也賣得好，反之亦然。
圖三：用戶模型
以前針對用戶興趣、物品價值的變化，通常是用人工設(shè)定規(guī)則的方法來加以應(yīng)對。隨著數(shù)據(jù)量呈幾何級的增長，人工設(shè)定規(guī)則繁瑣且低效的弱點(diǎn)越來越明顯。人工設(shè)定100條、1000條規(guī)則可能還行，但是100萬、1000萬條規(guī)則呢?根本不可行。與之相比，通過算法設(shè)計，驅(qū)動推薦系統(tǒng)不斷進(jìn)行自我進(jìn)化，不但更可行，而且更精準(zhǔn)高效。
快速建模
在信息的洪流裹挾下，用戶在每個平臺停留的時間是很有限的，這就要求推薦系統(tǒng)必須根據(jù)這很短的停留時間內(nèi)用戶的行為數(shù)據(jù)，快速地捕捉其興趣，為其建立和更新興趣模型，從而迅速為其推薦個性化的內(nèi)容。
對于新用戶來說，這個問題特別明顯，業(yè)界稱之為“冷啟動”問題。解決冷啟動問題，從完全空白到建立起一個可以提供有效參考的用戶模型通常需要幾天。這個漫長的周期在實(shí)際的商業(yè)化過程中是很致命的。很難想象一個用戶如果沒有在***瀏覽時獲得滿意印象后以后仍會經(jīng)常來光顧。
要解決冷啟動問題，有很多種方案，比如可以通過外部信息，如IP地址，注冊信息等來完善用戶的標(biāo)簽體系。但更重要的是，我們可以選擇那些接受度比較高、同時又能代表細(xì)分領(lǐng)域的物品來測試用戶的興趣點(diǎn)。如何選擇這些物品，以確保能快速地明確用戶興趣，是問題的核心。一個能快速捕捉到用戶興趣的推薦系統(tǒng)，是確保用戶留存、提升用戶轉(zhuǎn)化率的重要因素。
模型融合
前面講協(xié)同過濾時我們已經(jīng)提到，商用的推薦算法中都融合了多套算法，以獲得更佳的效果。在機(jī)器學(xué)習(xí)領(lǐng)域，每一個單一算法都是針對一類特定的問題，因而針對同一個推薦任務(wù)，不同的算法效果相差很大。但是，實(shí)踐中的推薦任務(wù)千差萬別，每個任務(wù)適應(yīng)的算法往往并不相同，在這種情況下，將多個算法的預(yù)測結(jié)果進(jìn)行融合，往往能取得10%以上的優(yōu)化效果。
模型融合的出發(fā)點(diǎn)是想建立一個通用性更強(qiáng)的解決方案，以期用一個較一般的算法模型，來為盡可能多的任務(wù)提供支持。如何盡量兼顧“通用性”和“優(yōu)化效果”，是在進(jìn)行模型融合過程中需要考慮的關(guān)鍵。在實(shí)踐中，我們開發(fā)出的獨(dú)有專利的雙層疊加算法模型就是這方面的一個典型案例，現(xiàn)在已經(jīng)成為我們向客戶提供推薦服務(wù)的技術(shù)基礎(chǔ)。
開放架構(gòu)
從推薦算法發(fā)展的歷史來看，新的算法始終在不斷的涌現(xiàn)，尤其是隨著深度學(xué)習(xí)興起之后，各種新興算法更是層出不窮，包括強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等新方法、新領(lǐng)域都開始受到越來越多的關(guān)注。
對于一個優(yōu)秀的推薦系統(tǒng)來說，即使現(xiàn)在的推薦效果已經(jīng)相當(dāng)好，但必須對新興算法也持有海納百川、兼容并蓄的態(tài)度，才能不斷地進(jìn)一步優(yōu)化提升自己。要做到這樣的理想狀態(tài)，整個系統(tǒng)架構(gòu)的開放性是至關(guān)重要的。比如我原來是采用協(xié)同過濾來做推薦的，現(xiàn)在要接入深度學(xué)習(xí)的算法，怎樣才能保證我原來的系統(tǒng)仍然高效穩(wěn)定的運(yùn)行?如果是見獵心喜，跟風(fēng)趕潮流地接入新算法，會有很大風(fēng)險，系統(tǒng)的效率和穩(wěn)定性可能都會打折扣。如何解決這個問題，是我們在做架構(gòu)設(shè)計的時候一開始就該有所考慮的。
性能/效果/資源的良好平衡
和以前相比，現(xiàn)在的數(shù)據(jù)量的增長可以說是爆炸式的。用戶數(shù)、商品數(shù)的急劇增長，隨之而來的是為他們建立的模型的數(shù)量呈現(xiàn)幾何級增長——每個用戶不僅有長期興趣模型還有短期興趣模型，每個商品也要建立時效性變化的模型，而且在高并發(fā)的場景下，所有這些事情都需要在極短的時間內(nèi)完成，但是運(yùn)算所需的硬件資源卻是有限的，這時候就需要在資源消耗和運(yùn)算效果中找到一個平衡。
比如大家都知道分布式計算是解決海量數(shù)據(jù)運(yùn)算的一個解決方案，但是分布式數(shù)據(jù)很難滿足時效性方面的要求。要滿足時效性的需求，很重要的一點(diǎn)就是要簡化模型，去掉不必要的用戶特征，從而降低運(yùn)算量，并同時緩解存儲資源緊張的問題。但是，降低了運(yùn)算量之后，會不會對推薦效果產(chǎn)生消極影響?如何平衡好運(yùn)算量和推薦效果，這也是一個大課題。
圖四：三層火箭模型
在實(shí)際中，我們的操作方式是，專門抽取出高價值的用戶和物品，讓它們享受更復(fù)雜的算法和更快的更新頻率，同時構(gòu)建“三級火箭”的算法體系。“三級火箭”的核心思想是，按照離線、近線、在線這三個步驟，將一整套推薦算法拆分成三個部分。比如，對海量用戶日志進(jìn)行深入挖掘完全可以獨(dú)立進(jìn)行，可以離線進(jìn)行操作;Cache、Model的及時更新、迅速捕捉用戶點(diǎn)擊反饋以及一些較輕量級的推薦算法的運(yùn)行可以在近線部分進(jìn)行完成;在線部分則負(fù)責(zé)及時響應(yīng)請求并返回結(jié)果，保證高可靠高并發(fā)的能力。在算法設(shè)計中應(yīng)用類似的思路，可以分?jǐn)傔\(yùn)算壓力，提升運(yùn)算效率。
【本文為51CTO專欄作者“達(dá)觀數(shù)據(jù)”的原創(chuàng)稿件，轉(zhuǎn)載可通過51CTO專欄獲取聯(lián)系】
