排序模型一定要嘗試的特征交叉技巧，多場景驗證有效
今天給大家介紹兩篇經典的工作，這兩篇工作都是針對推薦系統中排序模型的優化，方法有一些相似之處，都是利用門控網絡對底層特征進行交叉。最關鍵的在于，這類方法已經在很多真實業務場景中被驗證效果顯著，非常值得還沒有應用這類方法的同學進行嘗試。
1.MaskNet
論文標題：MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask
下載地址：??https://arxiv.org/abs/2102.07619??
MaskNet是2021年發表的一篇工作，引入instance-guided的mask，并使用該mask對embedding layer和hidden layer進行element wise乘法，實現bit-wise的注意力機制。本文在三個工業數據集上驗證了MaskNet的有效性，證明了本文方法能夠有效捕捉高階特征交互。
MaskNet的核心模塊是Instance-Guided Mask，結構如下圖所示，由兩層FC layer組成，第一層稱為aggregation layer，第二層為projection layer。輸入為feature embedding layer。注意第一層FC layer寬度較寬，第二層FC layer寬度相對較小，保持和輸入維度相同。得到mask之后可以將其用于embedding層或者是隱層。
instance-guided mask可以認為是一種特殊的bit-wise的attention機制或者是門機制，使用instance中包含的global 上下文信息指導訓練中的參數更新，有效捕捉復雜特征交互。mask中數值大的元素認為更重要，可以boost emb/hidden中的對應元素。mask中數值小的元素認為相對來說不重要或者認為是噪音，相應的 emb/hidden中的對應元素會被減小，達到弱化噪音，強化有用信號的目標。
基于Instance-Guided Mask可以組成MaskNet中的基礎結構，MaskBlock，包含三個組件：layer normalization, instance-guided mask, feed-forward hidden layer，可以有兩種輸入，當輸入為Feature Embedding時，計算方法如下：
當輸入為上一層MaskBlock的輸出時，多個MaskBlock可以堆疊形成一個更深的網絡：
MaskBlock作為一個基本的構成單元，可以用于搭建Serial Model（SerMaskNet）和Parallel Model（ParaMaskNet），形成最終的MaskNet結構。其中SerMaskNet是類似于時間序列預估任務，ParaMaskNet類似于多專家網絡/多頭注意力機制。兩種網絡結構圖如下所示：
本文在三個工業CTR數據集上驗證了MaskNet的有效性，SermaskNet在Malware和Avazu數據集取得最優效果，在Criteo數據集上取得次優效果。ParaMastNet在Criteo數據集上取得最優效果，在Malware和Avazu數據集上取得次優效果。
2.PEPNet
論文標題：Kuaishou-PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information
下載地址：??https://arxiv.org/pdf/2302.01115??
PEPNet是快手在2023年KDD發表的一篇工作，然而其在發表之前就已經在多個場景取得了顯著效果，程維排序模型的基礎組件之一。
傳統推薦模型聚焦在單個領域單個任務的預估。但是現實中，推薦的數據分布在多個場景中，例如淘寶的猜你喜歡（購前），看了又看（購中），你可能還喜歡（購后）等場景。
不同的場景中，user和item有重疊，因此不同場景中存在共性。不同的task也存在依賴關系。為每個場景中的每個任務訓練單獨模型，開發成本和后續迭代成本較大，并且由于沒有充分利用場景和任務之間的共性，只能得到次優解。而將所有數據混合訓練會由于多個場景數據量和多個任務目標的稀疏性出現蹺蹺板現象。目前已有的解法包括以下兩種：?
multi-domain方法：將多個領域的特征對齊，但是忽略了多個target之間的依賴；
multi-task方法：擬合多個target的分布但是忽略了多個domain特征空間的語義差異；
現實中的推薦系統是一個multi-task && multi-domain問題，目前工業界缺乏在這種問題上的解法。
個性化建模始終是推薦系統的核心。multi-domain && multi-task任務可以認為是user和item在不同situation下的交互，因此個性化建模可以幫助緩解multi-task && multi-domain中的double seesaw問題。目前的很多做法在網絡輸入層使用個性化先驗知識（如item_id, user_id等），但隨著網絡越來越深，這些個性化知識作用越來越小。因此本文提出了PEPNet， 在正確的地方以正確的方式加入用戶個性化信息，通過增強個性化來消除multi task && multi domain任務中的預估偏差。模型結構如下圖所示：
EPNet：注入領域特定的先驗信息。使用domain-side特征作為輸入，包括domain ID和domain特定的個性化數值特征，如用戶行為/商品曝光的數值統計特征。????? 是gate nu function，不進行梯度回傳
PPNet: 每個task tower中拼接user和item的個性化信息來獲取個性化的gate scores，通過門機制，在多任務中根據用戶興趣不同對DNN網絡參數進行動態化調整。傳統任務在擬合multi-task任務時，使用DNN網絡，網絡的參數都是一樣的，缺乏個性化。不可避免的帶來seesaw問題。使用用戶側/商品 側/作者側的特征作為個性化先驗知識，例如user_id/author_id和其他他正，構建DNN網絡裁剪用戶興趣
之后使用element-wise乘法作用于DNN中的每一個隱層進行個性化squash，對參數進行個性化選擇：
模型離線效果如下圖所示，PEPNets在絕大多數的domain的task上取得了最優結果，在稀疏domain和稀疏task上效果更明顯，說明PEPNet能較大幅度地緩解multi-domain和multi-task之間的double seesaw問題。
在線實驗上，在Like, Follow, Forward, Watch Time上都取得了超過1%的提升。
