1 多任務(wù)多場景問題概述

1.1 背景介紹

面向C端用戶提供服務(wù)的應(yīng)用，特別是業(yè)務(wù)范圍廣、規(guī)模大的，普遍存在多任務(wù)多場景問題，多任務(wù)，也稱多目標(biāo)，是綜合衡量用戶體驗的多個指標(biāo)，如搜推算法場景中常見的點擊率、轉(zhuǎn)化率、收藏率等；多場景，用戶可以在多個場景內(nèi)表達(dá)不同興趣，產(chǎn)生多種不同的行為模式，如激發(fā)興趣的推薦Feed流場景，滿足需求的搜索場景等。多任務(wù)多場景給算法系統(tǒng)的優(yōu)化帶來了諸多挑戰(zhàn)。

多場景：不同場景的用戶行為以及物料供給可能存在差異，如果每個場景都訓(xùn)練一個單獨的模型，成本會比較高，且后續(xù)迭代效率堪憂，同時會暴露信息繭房的問題，多個場景的數(shù)據(jù)信息很難互通；而如果考慮多個場景統(tǒng)一建模，又可能因為多個場景的用戶行為以及流量分布等無法對齊，導(dǎo)致統(tǒng)一模型無法對多個場景數(shù)據(jù)學(xué)習(xí)充分，進(jìn)而造成場景之間的蹺蹺板現(xiàn)象（即某場景因流量或樣本的優(yōu)勢，主導(dǎo)模型效果，導(dǎo)致其他場景效果受影響），同樣的問題也可能發(fā)生在多任務(wù)之間。

多任務(wù)：不同任務(wù)/目標(biāo)之間同樣存在樣本空間的差異，比如CTR和CVR，兩個目標(biāo)之間存在依賴性，而且通常CVR任務(wù)的稀疏性要強(qiáng)于CTR任務(wù)。類似的數(shù)據(jù)不平衡問題，容易導(dǎo)致排序模型在訓(xùn)練與線上推理階段的樣本空間不一致問題，從而影響模型效果。

1.2 多任務(wù)問題解決方案

從 Shared-Bottom 到 MMoE[1]，再到 PLE[2] 算法，是解決多任務(wù)/目標(biāo)問題的重要演進(jìn)路徑之一。

Shared-Bottom 是多個目標(biāo)共享底層網(wǎng)絡(luò)，每個任務(wù)在共享網(wǎng)絡(luò)之上構(gòu)建獨立的網(wǎng)絡(luò)結(jié)構(gòu)，其優(yōu)點是淺層參數(shù)共享，能夠起到任務(wù)之間的補(bǔ)充學(xué)習(xí)，對有相關(guān)性的多目標(biāo)學(xué)習(xí)較友好，當(dāng)多個目標(biāo)之間沒有相關(guān)性時，可能會影響模型結(jié)果。MoE[3] 為解決這個問題，提出了利用一組專家網(wǎng)絡(luò)和一個門控網(wǎng)絡(luò)對共享網(wǎng)絡(luò)的輸出加權(quán)組合的思路，一定程度上緩解了不相關(guān)任務(wù)聯(lián)合學(xué)習(xí)效果不佳的問題，MMoE 則是在 MoE的基礎(chǔ)上，豐富了門控網(wǎng)絡(luò)的應(yīng)用，不同任務(wù)對專家網(wǎng)絡(luò)的輸出進(jìn)行不同的權(quán)重組合。共享網(wǎng)絡(luò)+獨立網(wǎng)絡(luò)的研究思路目前已經(jīng)演進(jìn)出了 PLE 這樣復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)（如下圖所示），一方面利用共享網(wǎng)絡(luò)提取多任務(wù)間的共性，另一方面利用獨立網(wǎng)絡(luò)捕捉任務(wù)間的各向異性，在實踐中取得了不錯的效果。

圖片

多任務(wù)的另外一條支線是以阿里的 ESMM[4] 算法為代表的，適用于存在條件關(guān)系的多個目標(biāo)之間的學(xué)習(xí)算法，比如電商場景經(jīng)典的點擊率和轉(zhuǎn)化率的多目標(biāo)學(xué)習(xí)，該算法同時解決了訓(xùn)練和線上推理階段樣本空間不一致的問題，論文提及在實踐應(yīng)用中取得了可觀的準(zhǔn)確率提升。

圖片

1.3 多場景問題解決方案

LHUC(Learning Hidden Unit Contributions)[5] 是最初應(yīng)用在語音識別領(lǐng)域，后又遷移到搜推等算法場景的模型。以推薦系統(tǒng)為例，精排階段的模型多采用深度神經(jīng)網(wǎng)絡(luò)，根據(jù)輸入特征，通過隱向量表達(dá)個性化，然而在多場景的情況下，尤其是當(dāng)特征工程刻畫不夠豐富時，不同場景的不同用戶，有可能出現(xiàn)相同/相似的向量表示，從而導(dǎo)致模型的輸出相同/相近，帶來一定程度的模型坍塌。借鑒語音識別領(lǐng)域，為每個 speaker 單獨調(diào)整 dense 參數(shù)可以帶來效果上的提升，推薦系統(tǒng)可以為不同場景和用戶構(gòu)建個性化網(wǎng)絡(luò)，并以動態(tài)權(quán)重的形式作用于模型，從而提升模型的表達(dá)能力。

圖片

基于動態(tài)權(quán)重的思路同樣衍生出了不少經(jīng)典算法結(jié)構(gòu)，如快手的PEPNet[6]，阿里的M2M[7]、AdaSparse[8]、STAR[9] 等。

解決多任務(wù)多場景問題的算法模型多種多樣，但大多數(shù)都可以歸結(jié)為不同的 Gating 技術(shù)的應(yīng)用方式，利用門控網(wǎng)絡(luò)進(jìn)行信息的篩選或重組。

2 業(yè)界解決方案簡述

多任務(wù)多場景問題聯(lián)合建模的業(yè)界案例也有不少，本節(jié)節(jié)選部分代表算法進(jìn)行簡述。

快手 PEPNET（Parameter and Embedding Personalized Network）

圖片

PEPNet 借助 GateNU 的門控網(wǎng)絡(luò)，表達(dá)個性化信息，并分別作用于 EPNet 和 PPNet，EPNet 和 PPNet 分別為表征個性化網(wǎng)絡(luò)和參數(shù)個性化網(wǎng)絡(luò)，分別利用門控網(wǎng)絡(luò)處理后的場景信息調(diào)整底層 embedding ，得到結(jié)合場景/任務(wù)的 embedding 向量，從而解決多場景特征對齊/多任務(wù)間相互依賴的問題。

百度MTMS(Multi-Task and Multi-Scene)[10]

快手的 PEPNet，其網(wǎng)絡(luò)結(jié)構(gòu)采用共享底層的思路，而百度的MTMS則屬于拆分多塔的思路。

圖片

MTMS 基于 ESMM 的思路，在 embedding 更新，以及模型訓(xùn)練方式上做了改進(jìn)，損失函數(shù)也有所不同。

底部 embedding 層，ESMM 采用多任務(wù)共享 embedding 的方式，而 MTMS 為不同場景不同任務(wù)構(gòu)建了獨立的 embedding；

模型訓(xùn)練階段，與 ESMM 直接端到端的訓(xùn)練不同，MTMS 采用兩階段訓(xùn)練方式，第一階段為學(xué)習(xí)表示階段，多個場景、多個任務(wù)構(gòu)造各自獨立的 embedding，分別訓(xùn)練，直到收斂；第二階段為 fine-tune 階段，將第一階段得到的多個任務(wù)的 embedding 進(jìn)行拼接，上層疊加 MLP（更新時只更新上層 MLP 的參數(shù)）學(xué)習(xí)不同場景的不同目標(biāo)；

損失函數(shù)，與 ESMM 將CVR作為中間變量不同，MTMS 相對傳統(tǒng)，直接建模 CTR 和 CVR，同時輔助 CTCVR 損失，具體如下：

美團(tuán)HiNet(Hierarchical Information Extration Network)[11]

美團(tuán)針對多場景多任務(wù)的推薦問題，在 MMoE 的基礎(chǔ)上，采用分層抽取信息的思路，為模型增加跨場景傳遞信息的能力，同時保留場景和任務(wù)的特定特征。

圖片

HiNet 主要包含以下兩個模塊：

場景抽取模塊，用于獲取場景的表征，具體又包括了場景共享專家網(wǎng)絡(luò)，場景獨有專家網(wǎng)絡(luò)，以及場景敏感的注意力網(wǎng)絡(luò)(SAN)，分別刻畫場景共享信息，場景獨有信息，以及場景間的關(guān)聯(lián)信息；

任務(wù)抽取模塊，復(fù)用 MMoE 的網(wǎng)絡(luò)結(jié)構(gòu)，多個專家網(wǎng)絡(luò)通過門控網(wǎng)絡(luò)重新組合成不同的 embedding，輸入不同的任務(wù)預(yù)測網(wǎng)絡(luò)。

3 轉(zhuǎn)轉(zhuǎn)的多業(yè)務(wù)多場景問題及解決實踐

3.1 問題與解決方案

轉(zhuǎn)轉(zhuǎn)自大力發(fā)展有保障的官方驗服務(wù)以來，從手機(jī)3C類產(chǎn)品，向其他數(shù)碼、電腦辦公，以及家電等多品類滲透，賣場的服務(wù)種類隨之多元化，同時以搜索、推薦為基本能力，發(fā)散出組貨、幫選、尖貨等多種類型的業(yè)務(wù)場景，除了多場景、多任務(wù)問題之外，還伴隨著多業(yè)務(wù)的問題，即不同的業(yè)務(wù)有不同的運營方式，對應(yīng)不同的物料庫，且不同種類的物料需要關(guān)注的重點也不同。下圖是節(jié)選的轉(zhuǎn)轉(zhuǎn)多個不同場景（對應(yīng)存在多種業(yè)務(wù)，多個目標(biāo)）的展示圖：

圖片

本節(jié)介紹多場景多任務(wù)，疊加多業(yè)務(wù)問題下，轉(zhuǎn)轉(zhuǎn)搜索系統(tǒng)的解決方案。

同 MTMS 算法思路相同，轉(zhuǎn)轉(zhuǎn)的搜索系統(tǒng)，對多任務(wù)/目標(biāo)問題（主要包括 CTR 和 CVR）的求解也是傳統(tǒng)的單獨直接建模的思路。但是對多場景問題的求解，跟 MTMS 構(gòu)建單獨 embedding，拆分多個獨立塔的方式有所差異，考慮到轉(zhuǎn)轉(zhuǎn)的多場景之間存在明顯的數(shù)據(jù)不平衡問題，可能會導(dǎo)致小場景的塔在 fine-tune階段無法訓(xùn)練充分。此外，除了多場景，轉(zhuǎn)轉(zhuǎn)還面臨多業(yè)務(wù)的問題，不同的業(yè)務(wù)背后對應(yīng)不同特性的物料，若底層采用統(tǒng)一預(yù)訓(xùn)練好的 embedding 表示，不同物料的獨有特征可能無法充分表達(dá)。

針對轉(zhuǎn)轉(zhuǎn)的多場景多業(yè)務(wù)問題，采用 EPNET + 特征級動態(tài)權(quán)重的網(wǎng)絡(luò)結(jié)構(gòu)刻畫場景信息，網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

圖片

整個模型結(jié)構(gòu)可以分成兩大模塊：表征生成模塊與目標(biāo)預(yù)測模塊，與百度 MTMS 的兩階段學(xué)習(xí)方式相仿，卻有本質(zhì)上的區(qū)別，本文的模型是端到端學(xué)習(xí)的，其中表征生成部分是多業(yè)務(wù)多場景，以及物料、用戶和 query 信息的集中表達(dá)；目標(biāo)預(yù)測部分，即利用生成的表征做 ctr（或其他任務(wù)）的預(yù)測。

表征生成部分主要包括以下工作：

（1）場景信息通過場景對應(yīng)的商品所在類目集合描述；

（2）用戶、query與物料（包含常規(guī)特征與獨有特征）特征均包含在 SparseFeatures 與 DenseFeatures中；

（3）DomainNet 對所有特征做處理，輸出特征權(quán)重，作用在除場景特征外的其他特征上，最終集成為全局的向量表征。

上層的任務(wù)預(yù)測模塊復(fù)用經(jīng)典的DCN(Deep & Cross Network)[12]結(jié)構(gòu)。

該模型的上線，在轉(zhuǎn)轉(zhuǎn)搜索場景帶來了全品類點擊率6%+，以及支付轉(zhuǎn)化率2%+的提升，尤其是流量相對較小的品類上，相對漲幅超過了全品類，由此可見該模型對多業(yè)務(wù)問題的解決效果。

3.2 未來規(guī)劃

多業(yè)務(wù)多場景模型在轉(zhuǎn)轉(zhuǎn)搜索場的成功實踐，為后續(xù)在其他目標(biāo)（如CVR）、其他算法場（如推薦系統(tǒng)）上的推廣應(yīng)用奠定了信心與基礎(chǔ)，這也是未來工作的一部分。

與此同時需要注意到，該模型在兼容新增場景或物料庫新增獨有特征時并不友好，需要解決冷啟動的問題，這可能成為限制模型全站推廣應(yīng)用的瓶頸，后續(xù)也會繼續(xù)沿著該思路進(jìn)行深耕和優(yōu)化。

關(guān)于作者

李光明，算法工程師，參與轉(zhuǎn)轉(zhuǎn)搜索算法、推薦算法、用戶畫像等系統(tǒng)的算法體系建設(shè)，在GNN、小樣本學(xué)習(xí)、對比學(xué)習(xí)、NLP等相關(guān)領(lǐng)域有實踐經(jīng)驗，微信號：gmlldgm，歡迎建設(shè)性交流。

參考資料

[1]MMoE: Modeling_Task_Relationships_in_Multi-task_Learning_with_Multi-gate_Mixture-of-Experts

[2]PLE: Progressive_Layered_Extraction_(PLE):A_Novel_Multi-task_Learning(MTL)_Model_for_Personalized_Recommendations

[3]MoE: Adaptive_Mixtures_of_Local_Experts

[4]ESMM: Entire_Space_Multi-Task_Model:_An_Effective_Approach_for_Estimating_Post-Click_Conversion_Rate

[5]LHUC: Learning_Hidden_Unit_Contribution_for_Unsupervised_Speaker_Adaptation_of_Neural_Network_Acoustic_Models

[6]PEPNet: Parameter_and_Embedding_Personalized_Network_for_Infusing_with_Personalized_Prior_Information

[7]M2M: A_Multi-Scenario_Multi-Task_Meta_Learning_Approach_for_Advertiser_Modeling

[8]AdaSparse: Learning_Adaptively_Sparse_Structures_for_Multi-Domain_Click-Through_Rate_Prediction

[9]STAR: One_Model_to_Serve_All:_Star_Topology_Adaptive_Recommender_for_Multi-Domain_CTR_Prediction

[10]MTMS: Multi-Task_and_Multi-Scene_Unified_Ranking_Model_for_Online_Advertising

[11]HiNet: Novel_Multi-Scenario_&_Multi-Task_Learning_with_Hierarchical_Information_Extration

[12]DCN: Deep_&_Cross_Network_for_Ad_Click_Predictions