序列建模中Next Item Prediction的代表性工作
Next Item Prediction任務是序列推薦系統中的一個基礎任務，根據用戶的歷史瀏覽行為item序列，預測用戶下一個感興趣的item。今天這篇文章，給大家梳理一下近幾年來，Next Item Prediction任務的代表性工作。
1.基于BERT的序列建模
論文標題：BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
BERT4Rec是阿里在2019年提出的一種基于BERT的NIP建模方法。在之前的工作中，大多基于RNN的單向模型進行興趣預測。這種單向的建模方法忽略了歷史行為中潛在的雙向信息。因此，本文提出以NLP中的BERT模型為底座，建立基于BERT的雙向歷史序列編碼方法，并進行下一個item預測。
模型的核心結構如下圖所示，整體完全基于BERT的結構。在底層，輸入歷史行為序列，并隨機mask一部分行為，在訓練階段對被mask掉的行為進行預測，類似BERT中的MLM任務。在預測結果，整個序列的末尾拼接一個mask，讓BERT對最后一個mask進行預測。
由于上述方法存在訓練和預測階段不一致問題，文中才訓練階段，也會隨機選擇一部分數據，只mask掉最后一個行為，和預測階段保持一致。
2.考慮時間間隔的序列建模
論文標題：Time Interval Aware SelfAttention for Sequential Recommendation（WSDM 2020）
之前的序列建模中，比較少考慮用的歷史行為的時間間隔信息。然而，時間間隔信息也是行為序列中比較重要的side information信息。因此，本文針對歷史序列中的行為間隔信息進行建模。
圖片
對于行為序列，提取兩兩item之間的時間間隔，形成一個行為間隔矩陣。每一個用戶的序列，使用這個用戶最小的時間間隔進行對所有時間間隔做歸一化，并對最大時間間隔進行截斷。這個時間間隔信息的核心使用在于attention部分的計算。在attention中需要計算兩兩item之間的注意力打分，會在基礎的attention計算基礎上，引入這個item間的時間間隔信息。
圖片
3.解耦長短期興趣的序列建模
論文標題：Disentangling Long and Short-Term Interests for Recommendation（WWW 2022）
這篇文章是清華和快手聯合發表的序列推薦工作，核心點是將歷史興趣序列中的長期興趣和短期興趣解耦開，分別建模，在預測階段使用一定的比例融合長期和短期興趣。長期興趣隨著時間不會發生明顯變化，比較穩定，而短期興趣會隨著時間推移出現一定的變化，新興趣可能出現，老興趣可能消失。
為了實現這種長短期興趣的解耦建模，文中采用2個獨立的Encoder分別建模長期和短期序列。對于長期序列，由于對于用戶來說是穩定不變的，使用user的embedding作為query，和歷史序列item計算attention后進行融合，得到長期興趣表示。對于短期興趣，使用RNN建模行為序列變化。
為了實現長期和短期興趣的解耦，文中引入了一種自監督的方式。使用整個歷史序列的mean pooling作為長期興趣的錨點，使用最近幾個行為序列的mean pooling作為短期興趣的錨點，讓長期Encoder和短期Encoder的表征，分別和長期興趣錨點與短期興趣錨點更接近。
圖片
4.基于自監督圖學習的序列建模
論文標題：SelfGNN: Self-Supervised Graph Neural Networks for Sequential Recommendation（SIGIR 2024）
這篇文章是北大和港大聯合發表的工作，引入了自監督圖學習的方法更好的進行序列推薦建模。核心思路是引入不同用戶行為序列的關系建模，使得模型對于單獨用戶行為序列中的噪聲更具魯棒性。
文中將用戶和item直接的關系，按照一定的時間間隔分割成多個片段，每個片段都能構建成一個user-item的短期興趣圖。對于每一個興趣圖，使用多層LightGCN進行簡單的鄰居節點信息匯聚，得到每個user和item的圖表征。接下來基于圖表征，使用GRU和self-attention，分別提取interval-level和instance-level的表征。前者在每個時間步內使用GRU+self-attention建模user和item的短期興趣關系，并通過sum pooling得到整體的長周期興趣表征；后者直接在用戶的序列維度使用self-attention計算表征。最后的預測融合interval-level和instance-level的表征給出預估結果。
圖片
圖片
為了緩解用戶短期行為中的噪聲，文中提出一種自監督的去噪方法。在訓練過程中采樣2對user-item對，對于一個user和一個item的長期興趣表征和短期時間表征，分別計算出長期興趣score和短期興趣score，在損失函數中引入約束項，讓兩種方式計算的兩對score的差異盡可能小。
