在大廠的推薦系統建模中，多場景建模是一個非常常見的業務場景。在很多app中，不同的場景都需要建模點擊率、轉化率等目標，以此進行排序給用戶展現最感興趣或最可能成交的候選。一種最簡單的建模方法是每個場景分別訓練一套模型，但是這種方式無法充分利用各個場景數據的共性信息，并且維護起來也非常麻煩。因此，如何有效聯合多場景數據進行建模，或者進行多場景之間的知識遷移，是工業界推薦系統近兩年研究的焦點。

今天這篇文章，給大家匯總了4篇2024年多場景建模的大廠頂會工作，詳細梳理阿里、美團、騰訊等大廠在頂會發表的多場景聯合建模工作。

1.高效的多場景建模方法—MLoRA

MLoRA是阿里發表于RecSys 2024的多場景建模工作MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction，核心是提出了一種基于LoRA的多場景建模框架，實現低參數量、高效率的多場景聯合建模。下圖對比例如MLoRA相比其他方法的核心優化點，主要是在每個domain的特有tower上，使用了LoRA的分解結構，顯著減少了模型參數量。

具體實現細節上，由于CTR預估模型的Dense層參數每層寬度是不一樣的，因此矩陣分解的維度如果像NLP模型設置成一樣的會導致各層信息壓縮比例不匹配的問題，因此文中針對每一層Dense根據其寬度設定個性化的壓縮比例。在訓練過程中，現在基礎數據上訓練多領域共享的參數，單后再在各個領域數據上finetune LoRA部分，并凍結住預訓練部分參數。

2.冷啟場景優化—SwAN

SwAN是美團在RecSys 2024發表的工作Scene-wise Adaptive Network for Dynamic Cold-start Scenes Optimization in CTR Prediction，重點解決頻繁更新的多場景建模業務問題。在美團的場景中，經常會出現場景的切換，比如春天和冬天的推薦場景就不同，每次更新場景數據分布差異都很大，都需要重新訓練模型，這個過程中就面臨著嚴重的冷啟問題。

為了解決上述問題，SwAN在數據輸入層面和模型結構層面都提出了優化。在數據輸入層面，核心思路是將冷啟的場景和其他已經有數據的場景關聯起來，一方面采用統計方法，將和冷啟場景商品基礎信息（如價格等屬性）最相似的其他場景作為可參考的對象。另一方面構建了Similarity Attention Network，將冷啟場景，上一步找到的其他相似場景的特征，以及user信息輸入到該網絡中，進行更細粒度的場景間關系學習，通過softmax生成一個冷啟場景到各個潛在相似場景的關聯打分，再加權融合成冷啟場景的底層表征。在模型結構層面，采用了類似MMoE的結構，通過上一步輸出的多場景相似性表征，選擇激活那些expert用于后續預測。

3.對比學習提升user特征平衡性—UCLR

UCLR是阿里在WWW 2024發表的一篇工作Not All Embeddings are Created Equal: Towards Robust Cross-domain Recommendation via Contrastive Learning，重點解決多場景下user embedding的學習問題。本文提出的核心問題在于，不同場景下，不同用戶的交互次數差異很大，就導致每個場景每個用戶的數據分布很不平衡。那些在某個場景數據量較少的用戶，其embedding學習不充分，就導致預測效果不佳。

為了解決這個問題，文中首先借助所有場景數據預訓練一個全局的user embedding。接下來，為了讓這個user表征學習更充分，引入了一個重構任務，對user embedding進行30%的mask，替換成全0的向量，并基于autoencoder并進行還原，通過這個過程挖掘用戶之間的協同信號，利用豐富數據user的表征輔助數據稀疏user的表征。Encoder的中間編碼結果相當于是一個embedding的embedding。對于這個中間embedding，使用對比學習進行表示學習，并且根據user的交互數據量定義對比學習的溫度系數，讓數據量較少的user也能學習充分。Decoder生成的embedding用來還原原始embedding。通過上述的對比學習+autoencoder的優化方法，實現對user表征的進一步優化。

4.User相似度對齊的遷移約束—CUT

CUT是騰訊在SIGIR 2024發表的工作Aiming at the Target: Filter Collaborative Information for Cross-Domain Recommendation中提出的建模方法。這篇文章的核心優化點在于，跨域的遷移不一定都是正向的。比如在一個domain中，2個user的興趣相似，可以進行信息的協同過濾，但是在另一個domain中這兩個user的興趣可能不同，直接遷移會帶來跨域負遷移的問題。

為了解決上述問題，本文提出基于user相似度進行跨域遷移的約束。具體來說，先用目標域數據訓練一個基礎模型，用這個基礎模型的user embedding計算兩兩user之間的相似度，并根據一個閾值劃定兩個用戶是否相似（1或者0），形成一個相似關系矩陣。這個矩陣衡量了在目標域兩個用戶之間是否相似。接下來，使用目標域和源域同時訓練最終模型，使用一個MLP網絡將源域的user表征進行一步映射，作為額外信息提供給目標域網絡。這個MLP表征映射網絡，基于前面的user相似關系矩陣進行約束，要求源域映射后的user embedding，仍然滿足經過目標域user embedding計算的user相似度，以此實現對負遷移問題的緩解。

本文轉載自??圓圓的算法筆記??