多任務和多場景在華為推薦系統中的應用
一、多任務、多場景的背景和挑戰
首先來介紹一下華為多任務推薦的場景。
華為廣告分布在不同的媒體上，比如左圖展示的是瀏覽器信息流中的一個原聲廣告，右側是華為視頻頁下方的一個廣告卡片。這些廣告分為不同的類型，比如 APP 類型、表單類型或者商品類型，其中 APP 類型是我們主要的一個廣告類型。一個 APP 廣告出現在用戶的視野里，如果被用戶注意到了，可能觸發一個用戶的點擊進入詳情頁，如果用戶看到了詳情頁信息之后，還進一步產生興趣的話，就可能會產生進一步的下載行為，用戶下載 APP 之后，用戶可能會把這個 APP 放著不用了，也可能會產生進一步的轉化行為，比如激活、應用內付費購買、次留等。
廣告主會根據自己的一些運營指標，為某一次點擊或者某一種轉化的類型進行付費，因此我們會針對轉化鏈路中的多個環節進行用戶行為的預估，比如點擊率、下載等轉化率。顯而易見，用戶的轉化行為會隨著這條鏈路的逐漸深入而逐漸變得更加稀疏，越來越深層次的轉化目標，其轉化稀疏性問題就會越來越來越嚴重，訓練起來的困難程度也會越來越高。
因此我們通過多任務聯合建模的方式來緩解樣本的稀疏性問題，同時也希望不同任務之間可以彼此協同提升。
華為廣告投放的媒體類型眾多，大致可以分為兩類：
- 自有媒體：華為視頻、華為瀏覽器、華為音樂、華為閱讀等。
- 三方媒體，新浪、網易和 UC 瀏覽器等。
以華為自有媒體為例，華為廣告可以投放在媒體內部的不同位置，以不同的形式展示，比如應用圖標、開屏頁等。當用戶在不同媒體上的不同位置進行瀏覽的時候，會產生不同類型的行為，比如點擊廣告，而用戶點擊廣告時所處的場景不同，產生點擊的行為的背景也不一樣，也就是說在不同的場景下我們可以提取用戶不同的偏好行為。因此我們通過多場景聯合建模的方案，來更加全面地構建用戶的偏好特征。另外，多場景聯合建模通常也可以帶來另外兩點好處：1）減少維護場景模型的數量；2）緩解冷啟動場景的稀疏性問題。
二、算法分類及介紹
1、多任務和多場景的對比
首先建模空間主要可以分為兩部分，分別是目標空間和樣本空間。多任務的目標空間是不同的，比如有點擊率、激活率等，但是樣本都是來自于同一個空間，比如相同的樣本和特征空間。而多場景往往是相反的，其訓練數據來自于不同的場景，樣本空間也往往是不同的，會有著不同的數據分布和特征集合，但預測任務又都是同類型的，比如點擊率。當然最近也有一些多場景和多任務聯合優化的場景和算法，這里就不具體展開了。
2、算法分類
目前多任務推薦算法相關的工作，主要可以從兩個維度進行劃分：1）任務關系的維度；2）方法的維度。
任務關系維度主要分為三種，一種是平行式，也就是多個任務之間沒有比較明確的依賴關系，比如點擊、收藏、分享、喜歡等，這種多見于內容分發的信息流推薦場景。第二種是級聯式，多任務的轉化處于同一鏈路中，彼此之間存在著一定的依賴關系，這種多見于廣告推薦場景。第三中是主任務加輔助任務的聯合優化，主要是尋找一些輔助任務來優化主任務的最終效果。
從方法維度也主要分為三類。第一類是參數共享，包括 hard sharing 和 soft sharing，比如 MOE 結構。第二類是任務的優化，主要針對負向遷移以及多目標的權衡，再進一步又可分為任務或者梯度的主導問題，以及負向關系的處理問題。第三類是建模的訓練機制，比如傳統的聯合建模的方式，就是多種任務一起直接聯合優化。另外一種是基于強化學習的訓練機制。下面這篇文章就是我們多任務推薦系統的 survey，里面會系統地介紹一些相關的工作，感興趣的同學可以關注一下。
接下來我們對多場景相關的算法也做了一些不同維度的劃分，主要是從兩個維度，第一個是模型結構的維度，第二個是方法的維度。
從模型結構的維度分為兩種，分別是多塔和單塔的結構。多塔就是為每一個場景會構建一個預測網絡，一般這種是用在場景數量比較明確而且數量不是很多的情況下。另外一種是單塔，也就是所有場景的預測網絡是共享的，多數是在場景數量不夠明確，或者數量比較多的場景。在方法維度其實和多任務比較類似。第一個還是參數共享的方式，包括一些硬共享和軟共享。第二個就是場景聯合建模時負向信息遷移的一些處理。第三個是獲取和調節場景特性信息的一些動態權重網絡。我們也有一個聯合建模的論文，介紹了多場景相關的一些工作，也包含了一些多行為多模態，還有大語言模型做推薦的一些聯合建模的相關工作的介紹，感興趣的同學也可以關注一下。
3、算法介紹
接下來介紹華為廣告場景落地的一些多任務和多場景的推薦算法。
（1）多任務算法：TAML
第一篇是我們發表在 www2023 的一篇工作（TAML），這個工作主要是覆蓋分類中的級聯任務，還有聯合訓練以及一些訓練機制。
TAML 主要針對的挑戰有兩點，一點是轉化樣本稀疏，如果只是通過簡單的任務級的專家網絡融合，是無法提供足夠信息的，而且這些信息會存在一些偏差。另外一點是模型預估的魯棒性問題，我們表征以后的分類網絡存在訓練不夠充分的問題，就會導致最終訓練的預測結果不夠魯棒。
針對以上兩個問題，TAML 的框架主要包括兩個模塊，一個是多層級任務自適應表征提取模塊，主要是通過多層級的專家網絡提取多粒度的多任務知識表征；第二個模塊是蒸餾多學習器模塊，主要是通過構建多學習器，并通過蒸餾實現多學習器之間的知識共享，提高預估網絡的穩定性。
接下來對這兩個模塊分別做一些簡單的介紹。
第一個模塊，多層級任務自適應表征提取模塊，主要是用于底層表征的抽取。通過三種多級專家網絡來構建，一種是共享的多專家網絡，另一種是任務級別的特有專家網絡，還有學習器級別的專家網絡。這里的學習器是為了緩解任務的稀疏性問題，并提高任務表征的穩定性，為每個任務又單獨構建了多個學習器，就可以從多個視角提取任務表征。最終三個表征會通過一個門控網絡進行融合，輸出最終的表征。
第二個是 MLSD 學習器模塊，主要用于預估網絡的優化，多個學習器可以從不同的視角學習同一個任務不同的信息，最終我們會用不同的學習器的均值作為融合學習器的知識輸出。在此基礎之上，我們會構建一個正則化的損失，約束每個學習器和融合學習器之間的距離，從而實現不同學習器之間的信息共享，也以此來提高預估網絡的魯棒性。
我們這個工作分別在公開數據集和華為的私有數據上做了一些驗證，相比 SOTA 都取得了比較顯著的效果增益。另外，從下圖中左下角的圖可以看到不同層級的專家網絡對最終表征的貢獻度，在不同任務以及不同的學習器中，三種專家網絡所提取出來的信息的重要性是有所不同的。比如，對于 CVR 任務，它學出來的學習器級別的參數網絡的權重會更重一些。
由于在離線的效果上比較好，所以我們在華為廣告場景上進行了一個線上的AB實驗。我們用基于點擊后的數據構建了兩個任務，一個是下載率，另一個就是激活率?？梢钥吹皆?nbsp;CVR 和 eCPM 場景上，都取得了比較明顯的線上收益。因為這是一個轉化率的場景，所以我們更關注的是轉化率的效果以及最終廣告的收入效果。
（2）多場景算法：CausalInt
第二個工作是我們發表在 KDD2022 的一個工作(CausalInt)，這個工作主要覆蓋分類中多塔分類器以及軟共享，還有包含了一些負向信息遷移的梳理，以及動態權重網絡的場景自適應參數的調節。
這里我們借助了因果圖來對多場景建模的問題進行了分析。首先我們從用戶的視角對多場景推薦進行一個描述。在圖(a)中，xn 是用戶在場景 n 下的一個行為，yn 是用戶在場景 n 下的一個操作，比如點擊。x表示與場景無關的一些用戶偏好，用戶在場景n下產生的操作 yn 其實是受到用戶在該場景下的一些行為，以及用戶本身的一些偏好所共同作用的結果。
我們再從建模的視角來對多場景的建模過程進行一個描述，可以看出在場景數據混合在一起進行建模的時候，不同變量的關系就會變得更加復雜。
X1 表示的是與場景無關的用戶表征，但是它受到了場景感知表征 Dn 和用戶在場景 n 下的表征的一些影響，表示的是模型對于用戶在場景下點擊行為的預估，但是它受到了其他場景感知信息的影響，還有其他場景的比如用戶行為的影響，在預估的時候存在一些偏差，并且無法取得比較好的推薦效果。也就是在建模的過程中，我們沒有考慮到一些偏差信息以及有效的信息遷移。
為了實現建模過程的視圖更和用戶視圖的因果圖更加匹配，也就是解決建模中的偏差問題，我們提取出了多場景聯合建模時的三個關鍵挑戰。第一個挑戰是如何有效的提取場景之間的共性。第二個挑戰是如何保留產品中的一些特定信息，同時消除其他場景引入的一些負向信息，主要是處理如何有效提取 x n,第三個挑戰就是如何探索并遷移場景感知的一些信息。
為了解決這些挑戰，我們借助因果干預的策略。對這里的 Dn 對 Xn，還有 Xn 對 Yn 實施干預。在我們真實的商業推薦系統中，其實我們很難從數據的角度或者實驗的角度來采取真實的干預策略，因此我們這里是考慮使用學習的方式來對這種干預進行一個模擬，切斷容易產生混淆的因果路徑。
我們提出了三個模塊。第一個模塊是共性提取模塊，也就是紅色部分。第二個模塊是中間的負向影響去除模塊，就是灰色的部分。第三個是場景信息的遷移模塊，就是黃色的這一部分。接下來對這三部分內容分別做一個具體的介紹。
首先是共性提取模塊。我們主要是通過結構表征的方式來把場景感知場景敏感的一些信息分離至獨立的分支網絡里，然后通過構建4個不同的任務來提取場景特有表征或者場景不變表征。這4個任務中的第一個是最左邊的 general classifier，它主要是基于提取的場景無關的表征，剔除與場景敏感的一些信息后，所對應的一個統一分類器，也就是所有場景共享的一個 ctr 預估任務。第二個就是把場景敏感信息分離出來之后，用場景的敏感信息的表征去構建一個場景的判別器，也就是判別樣本是來自于哪個場景。第三個任務就是將場景表征和場景感知表征聯合在一起，再去構建一個ctr預估的 general classifier。最終為了有效地提取這兩個表征，并且讓這兩個表征做到盡量的正交，這里會有真正一個正則化的約束。通過這4種方式，進行無偏表征的提取，作為后續建模的基礎。
第二個模塊是負向影響去除模塊。可以進一步劃分為兩部分，第一部分是場景特有的一些表征以及場景共有的一些表征之間的梯度沖突問題。比如場景的特有的分類器和回傳的梯度，還有共有的分類器回傳梯度，對于共享表征的一些沖突問題。
第二個沖突就是不同的場景自有的一些分類器所回傳的梯度對于共有表征的一些影響。我們針對這兩個不同的沖突使用了兩種不同的策略。針對于第一種沖突，我們使用了 meta-learning 的 MAML 訓練方式來解決場景特性表征和共性表征之間的沖突問題。針對第二種沖突，自有的共享表征之間的梯度沖突問題是采用一個施密特正交化的過程，然后實現一個梯度的正交基，來約束他們之間的一個梯度方向，從而解決這個維度的梯度沖突問題。
第三個模塊是信息遷移模塊。這個部分模擬了實驗的干預策略，讓單個場景中出現的 user-item 表征分別和不同場景的信息進行一個交互。
我們模擬的是如果場景的 user- item 交互出現的場景j中，它會有一個什么樣的結果，這樣一個反事實的問題，并將多個場景的評分網絡，作為多個專家，對這一個交互進行打分。 最終會用第一個模塊學習到這個場景的表征所對應的場景的分類器，對當前樣本進行一個加權，也就是預測有多大的概率去相信當前這個場景所對應專家的一個打分結果，從而實現專家網絡輸出的分數的融合，從而實現不同場景之間的信息遷移。
我們把模型在一份公開數據集和華為私有數據集上做了一些離線的 AB 實驗，可以看到相比于單場景建模多任務模型，還有一些遷移學習的微調模型，包括多場景的一些基線模型，相對來說都會有比較明顯的效果增益。
我們對模型的各個模塊進行了一些消融分析。整體上看，各個子模塊都帶來了一些效果上的增量。比如表8中，我們進行了場景信息遷移模塊中不同注意力網絡的實現方式的對比，比如直接做 multiply、或者直接用 mmoe 類似的這種端到端訓練做一個 gate 網絡去做多專家分數的融合，可以看到，還是我們通過構建判別模型訓練出來的 gate 網絡的效果會更好一些。
（3）多場景算法：DFFM
接下來第三個要介紹的是我們發表在今年 CIKM 的一個工作，叫 DFFM，這塊工作主要是面向單塔的多場景建模模型，利用動態權重網絡，對特征交互還有用戶行為進行場景自適應的學習。
特征交互和用戶行為，做推薦的同學應該都比較了解，是 CTR 模型中很重要的兩個概念。
特征交互是很多深度推薦學模型的基礎，比如我們通常會通過手動的方式或者設計神經網絡的方式來實現二階、三階的交互構建，或者直接通過MLP構建更高階的隱式交互。
用戶在不同場景下會產生不同的行為，體現在特征交互上，會根據場景而有所差異，也就是說不同的特征交互在不同場景上應該會有不同的權重。其次，用戶行為可以反饋出用戶的一些興趣，用戶在不同場景下產生的歷史行為反映出用戶在當時場景下的一些特定偏好，因此我們在多場景聯合建模的時候也應該考慮這兩點，即多場景下的共性和特性。
因此我們提出了一個面向特征交互以及用戶行為場景感知的建模模型 DFFM。它主要包含兩個模塊。第一個 DFFI，是場景感知的特征交互模塊，第二個 DFUB，是場景感知的用戶行為模塊。
場景感知的特征交互模塊以內積的交互方式為例，在不區分場景條件下，其實交互方式就是為兩個特征向量直接做內積，在多場景下,我們會使用一些場景的表征，比如 domain id，然后把這種場景表征進行一個轉化和拆分，成立一個動態權重的網絡，對原始特征進行一個轉化。比如就是一個場景表征，通過轉化和拆分，把它分解成一個權重網絡和偏置，然后以此來對我們的一些原始特征，比如這里的 ei 和 ej 做一個轉化，在此基礎之上再進行二階或者多階的特征交互，最終和原始的向量 concat 到一起，獲得 DFFI 模塊的一個輸出表征。這里交互方式肯定是不局限于內積，也可以是外積或者是 DCN、autint 的一些交互方式。
第二個模塊，場景感知的用戶行為模塊。我們從用戶行為的粒度入手，利用場景相關的特征學習用戶行為之間的關聯，具體而言就是 DFUB 模塊使用的是多頭自注意力機制來處理用戶行為序列。相比于傳統的多頭自注意力機制只考慮序列內部的一些 item 交互，我們將 target item 和場景的表征都同時考慮進來構建多頭注意力網絡的 q-k-v 矩陣。它的轉換矩陣分為兩部分，一部分是它自身隨機初始化的一個旋轉矩陣，另一個就是由 target item 轉化而來的一個旋轉矩陣。通過這種方式，我們將 target item 和場景的信息，包含進注意力機制的 item 之間的交互中，最終多頭的輸出會 concat 到一起，作為 DFUB 模塊最終的表征輸出。
最終我們會綜合 DFFI 和 DFUB 兩個模塊的表征構建一個分類器，這個分類器可以是一個簡單的 MLP，或者其他更高級的一些分類網絡，還可以再疊加一些交互網絡。
這里展示了 DFFM 在兩份公開數據上的一些離線效果評估，可以看到其相對于已有的一些 SOTA 模型，可以帶來比較明顯的效果增益。
同時我們把這個模型在三方媒體的場景上去做了落地，因為它的場景數量相對來說比較多，而且不是很確定，我們這里使用了一個單塔的模型進行上線和驗證?？梢钥吹街鸩缴暇€了 DFFI 模塊以及完整的 DFFM 模塊，效果上都是有著比較明顯的增益，這里展示的是 ecpm 收益。
三、相關工作
最后，我們整理了近期發表的一些多場景和多任務方面的工作。
前兩個是多任務方面的，第一個就是 TAML，基于多粒度的專家網絡和級聯學習的多任務優化；第二個是面向多任務的特征選擇框架。
下面五篇主要面向的是多場景建模，比如 DFFM 面向特征層面，主要包括一些特征的交互和用戶行為的建模；HAMUR 是面向交互網絡的場景適配器網絡；Instance 主要是面向樣本層面的，也就是多場景中的樣本選擇算法；剛才介紹的 CausalInt，主要是面向多場景的訓練框架，著重解決負向信息的遷移問題；PLATE 是一個基于提示學習的遷移學習的新范式。
最后兩個是做多任務學習的聯合訓練。綜合了多任務、多場景，多模態、多行為、多興趣，以及語言模型輔助推薦系統去做推薦的聯合建模方案。
以上就是本次分享的內容，謝謝大家。
四、問答環節
Q1： 模型離線全量訓練的時候，比如用90天樣本，實驗要比 base 好，但模型天級增量更新時實驗比 base 的效果變差了，了解一下可能是哪些原因？
A1：主要是工程和算法的影響，工程上增量訓練依賴實時特征獲取以及實時樣本回流，主要涉及到樣本的準確性；算法層面上，增量更新時，也會有一些策略影響模型更新的效果，比如學習率，樣本從一個 batch size 到一個小批量的增量訓練，學習率通常需要做一些調整，比如衰減或者更小的量級。然后是特征的準入和淘汰上也會影響模型效果。然后不同的算法在增量訓練過程中會有不同的策略，比如蒸餾模型的滾動蒸餾，這些也都會影響模型效果，具體問題需要具體排查了。
Q2： 多任務學習中有沒有一個額外的學習信號？就是通過什么方式來讓這三種不同類型的專家學到不同的知識？
A2： 現在很多包括我們像 MMOE，還有 PLE 這些基于多專家網絡，然后加上稀疏性門控網絡的這種模型，其實都會采用這種方式非常隱式的方式去學習他們權重之間的一個分布。一點是參數的初始化方式和隨機種子。第二點是專家權重網絡的輸出上增加一些擾動，擾動可以歲訓練過程逐漸減少。
Q3： 主場景可能樣本比較多，可能會支配整個學習過程，有沒有試過多個場景做一個自適應的規劃，就類似阿里 star 模型，類似的一些方式有沒有用過？
A3： 其實我們之前和他們作者有過一些交流，就是這種方式可能在同一個 batch 內，如果是有不同的場景的數據，特別是場景數據比較多，然后你 batch 又比較小，這種情況下效果其實不是特別好。但是如果是像阿里這邊直接使用那種交替式訓練，比如說一個 batch 只有一個場景的數據，其實還是有一定的效果的。針對于這個之支配參數，其實剛才有介紹過一個梯度主導的問題，其實這篇這塊也有一些工作，然后我們其實之前也嘗試過，其實一個最簡單方法就是類似于 grandnorm，直接從梯度的量綱去做一對梯度做一些懲罰，對梯度大的，根據訓練的 step 去調節當前這個任務所對應 loss 的權重。
