在推薦系統的領域中，深度神經網絡（DNNs）已經成為一種強大的工具，它們通過學習用戶和商品之間的復雜交互，為協同過濾（CF）提供了新的視角。

協同過濾是一種利用用戶之間的相似性或商品之間的相似性來推薦未交互過的商品的方法。

深度學習方法，特別是圖神經網絡，通過捕捉用戶-商品交互數據中的高階特征和模式，極大地提升了推薦質量。

然而，盡管深度協同過濾模型在某些方面取得了顯著進展，它們在實際應用中仍面臨著一些挑戰。

一個主要的問題是現有方法對用戶和商品的唯一標識符（ID）的依賴。這種依賴限制了模型在處理新用戶或新商品時的性能，因為對于這些新的用戶和商品，沒有足夠的歷史數據來訓練模型。

此外，當用戶或商品發生變化時，如新商品的引入或用戶偏好的轉移，現有模型可能難以適應這些變化，導致推薦效果下降。這種依賴性也導致了另一個問題，即所謂的「零樣本學習」場景，其中模型需要在沒有先前交互數據的情況下提供推薦。

在這些情況下，由于缺乏用戶或商品的標識符，傳統的協同過濾方法往往難以生成準確的推薦。

為了解決這些問題，研究者們開始探索將語言模型（LMs）的泛化能力運用到推薦系統中。

語言模型，已經在自然語言處理領域展現出了強大的語義理解能力，這一類模型通過將文本編碼成特征向量的方式，獲取了一個具有特定意義的統一特征分布空間，這類文本向量不但有利于下游任務的使用，同時面對新的文本數據也能過有效的編碼如該空間。

這一基本思想可以使得在沒有用戶和商品ID的情況下，提供更準確的推薦。

論文地址：http://arxiv.org/abs/2408.08821

開源代碼：https://github.com/HKUDS/EasyRec

EasyRec的提出正是基于這樣的背景和動機，旨在通過結合語言模型的語義理解能力和協同過濾的協同信號，來克服現有方法的局限性，訓練一個簡單易用并且專門用于推薦系統的語言模型，提高其在零樣本學習場景下的推薦性能。

通過EasyRec，作者希望提供一個更加靈活、適應性強的推薦系統，它可以更好地理解和預測用戶的偏好，即使在面對新用戶或新商品時也能提供準確的推薦。

基本知識

在深入了解模型之前，我們需要掌握推薦系統中的一些基本概念和表示方法。這些基礎知識將幫助我們構建對工作原理的理解。

在推薦系統中，定義用戶集合U和物品集合I。對于每個用戶，定義Nu為該用戶交互過的物品集合。

類似地，對于每個物品，Ni表示與該物品交互過的用戶集合。

用戶-物品的交互可以通過一個交互矩陣A來表示，其中Au,i為1表示用戶u與物品i有過交互，否則為0。

Text-based Zero-Shot Recommendation

零樣本推薦是解決新用戶或新物品缺乏交互數據的問題的關鍵技術。對于新用戶和新物品，由于缺乏足夠的交互訓練數據，系統很難提供精準的個性化推薦。

那么，如何解決這個問題呢？

這篇文章提出了一種基于文本的創新的方法：通過利用用戶和物品的文本畫像，借助強大的語言模型來構建語義表示，從而實現基于文本的推薦。通過使用強大的語言模型，這種方法能夠在沒有任何先驗交互數據的情況下，仍然提供高質量的推薦。

具體來說，定義用戶u和物品i的文本描述Pu和Pi，它們分別被編碼為向量和。

這里，表示語言模型，用于將文本轉換為向量表示。

用戶u和物品i之間的交互概率p_u,i可以通過它們各自的文本嵌入e_u和e_i之間的余弦相似度來計算，即。

然后，我們可以向用戶推薦相似度得分最高的前k個未交互的物品，從而生成個性化推薦集。

Text-enhanced Collaborative Filtering

協同過濾 (CF) 是一種廣泛使用的推薦系統方法，它利用用戶和物品之間的協同關系。

現有的CF范式可以通過整合編碼的語義表示來增強。通常，交互概率p_u,i是基于交互數據計算的，即。

基于文本增強的協同過濾在此基礎上，通過整合e_u/i由語言模型編碼的文本特征作為補充表示來構建。此整合旨在進一步提高傳統基于ID的協同過濾框架的推薦性能。

EasyRec

什么樣的用戶/商品文本信息是好的？

在現實世界的推薦系統數據集中，大概率只有與商品相關的原始文本數據可用，例如商品標題和類別。同時由于隱私問題，通常很難收集全面的用戶信息。

此外，直接利用這些原始的文本信息可能會忽略對準確用戶行為建模和偏好理解至關重要的協作關系。

為了解決這些限制，可以利用大型語言模型來基于協同信息，總結和生成用戶/商品的文本畫像作為語言模型可以利用文本數據。這樣，就可以在統一的文本畫像中捕獲物品的語義和協作方面。

具體來說，對于商品畫像而言，我們希望其能夠描述這一商品的基本信息以及它會吸引什么樣的用戶群體；而對于用戶畫像而言，我們希望其能夠基于該用戶的歷史交互數據以及它對不同商品的評價來總結出該用戶會喜歡什么樣類型的商品。

基于此作者利用了協同的畫像生成策略，通過采樣交互數據結合原始的文本信息構建輸入，讓大語言模型實現畫像的生成。具體的細節歡迎閱讀論文和開源代碼進行了解。

利用描述用戶/商品交互偏好的文本畫像作為語言模型編碼的輸入文本具有以下優勢：

（i）有效保留協同信息

協同畫像方法不僅限于原始文本內容，還捕捉了用戶/物品特征及其交互模式的語義。

通過使用面向推薦的語言模型將這些豐富的畫像編碼到共享特征空間中，已交互的用戶和物品的嵌入被拉近。

這使得推薦系統能夠更好地識別相關匹配對象，即使是對「零樣本」用戶和物品（那些沒有先前交互的對象）也適用，而這些情況在實際場景中非常普遍。

系統可以利用文本畫像中編碼的協同信號來做出更好的推薦，彌合這些冷啟動情況的差距。

（ii）快速適應動態場景

基于這類畫像訓練的語言模型可以使推薦系統能夠有效應對用戶偏好和交互模式的時間變化。

其主要優勢在于，通過簡單地更新文本用戶畫像即可無縫反映用戶興趣和行為的變化。

這種靈活響應能力使得新方法非常適合部署在用戶興趣隨時間演變的動態環境中的推薦系統。

模型設計和訓練

作者采用多層雙向Transformer架構，例如BERT，作為EasyRec的核心模型。

這種架構具有兩大顯著優勢：

其一，高效編碼，由于它專注于生成有效的文本表示，僅包含編碼器的設計使得推薦系統的推理速度得到顯著提升；

其二，靈活適應，通過優化學習來調整預訓練的Transformer模型，以更好地適應特定的推薦任務需求。

具體來說，作者將用戶或商品的文本描述視為由多個詞匯組成的文本段落。

在處理這些文本時，首先在詞序列的起始位置插入一個特殊標記[CLS]。緊接著，分詞層會將這段輸入文本編碼為初始嵌入，并注入位置信息，這些嵌入隨后被送入Transformer層進行處理。

在此過程中，語言模型會對序列中的每個詞匯進行編碼，生成其最終的嵌入表示。而這一切的關鍵在于自注意力機制，它確保每個詞匯都能從整個序列中汲取信息，從而獲得全面的上下文理解。

最終，選取與[CLS]標記對應的首個嵌入，作為整個用戶資料的代表性嵌入。這個嵌入會經過多層感知機的進一步處理，形成最終的編碼表示。

通過為用戶和商品生成這樣的文本嵌入，可以利用余弦相似度來衡量他們之間交互的可能性，并以此為基礎進行推薦。

在模型訓練方面，作者比較了傳統的BPR Loss訓練方法，因其受限于負樣本數量，難以全面優化多個編碼特征向量。

相反，作者采用了對比學習方法，這種方法能夠更全面地優化整個編碼特征空間。

也就是從用戶與商品的交互數據中抽樣，將有過交互的用戶和商品文本特征拉近，同時將同一抽樣數據中的其他用戶或商品特征作為負樣本進行排斥。

此外，作者還引入了文本掩碼-重構損失，以提高模型對語義的理解能力及其泛化性能。

文本畫像的多樣性增強

為了進一步增強模型對于未知用戶和物品的泛化能力，作者采用了畫像多樣化增強的策略。

雖然使用單一的文本畫像來描述每個用戶和商品具有簡便性，但這種方式限制了表示的多樣性，可能會對模型的性能和泛化能力造成不利影響。

為了應對這一問題，作者提出了一種創新的方法，通過對現有的用戶和商品畫像進行增強，讓每個實體都能通過多個畫像文本來展現其獨特的交互偏好。

這些經過增強的畫像能夠深入捕捉到諸如用戶的個性化互動偏好或商品的多樣化特征等核心語義。

在實施增強時，作者借鑒了自我指導機制，并借助大型語言模型（LLMs）的力量，在保持原始意義的基礎上重新闡述用戶/商品的文本描述。這種策略能夠從一個輸入生成出多個語義相近但措辭各異的畫像。

通過反復進行這樣的重述過程，作者成功地創建了一系列多樣化的增強畫像，從而顯著擴充了可用的訓練數據。

此方法不僅增加了模型的訓練數據量，更重要的是確保了數據的豐富多樣性。這樣，當模型面對未知的用戶和物品時，它能夠基于更加全面和多樣的數據做出更為準確的預測。

通過引入這些結構化且語義豐富的多樣化資料，模型將在各類應用場景中展現出更加卓越的性能。

實驗驗證

數據集

作者利用Amazon Review Data中不同類別的數據（例如藝術、體育等等）構建了訓練數據集以及部分數據集，同時引入了Steam和Yelp數據集作為跨平臺的測試數據集。

為了有效驗證模型在零樣本環境下的性能，作者將訓練數據集和測試數據集進行劃分，使得他們是完全不同的數據，沒有任何用戶和商品上的交集。

關于數據集的細節歡迎大家通過閱讀論文和開源代碼進行獲取和了解。

零樣本文本推薦能力

作者在三個不屬于訓練數據的數據集（Sports，Steam和Yelp）上面，利用全排序的方法測試了模型實現基于文本的零樣本推薦能力。

為了有效的比較模型的性能，作者將不同的語言模型作為了baseline，其中包括了通用的語言模型（BERT，RoBERTa等），利用與深度檢索的語言模型（SimCSE，GTR，BGE等）以及推薦相關的語言模型（BLaIR），同時也與OpenAI提供的兩款語言模型（v3-Small和v3-Large）進行對比。

從結果中可以看出，EasyRec有效在零樣本推薦能力上超越了上述的所有語言模型，高效地實現了用戶畫像文本和商品畫像文本之間的對齊，從而實現精準的推薦。

同時作者訓練了三個版本的模型（從Small到Large），模型的性能體現出了有效的Scaling Laws，這也側面說明了將含有用戶/商品交互偏好的文本畫像作為文本數據，并且基于協同信號進行語言模型訓練這一實踐路徑的有效性。

基于文本增強協同過濾算法

作者同樣測試了不同的語言模型對現有的ID-based的協同過濾算法增強的效果。

其中，選用了兩個廣泛使用的模型GCCF和LightGCN作為baseline，并且利用了當前先進的文本增強框架RLMRec作為統一的框架進行實驗。

從實驗中可以看出，EasyRec相較于baseline實現了有效的提升，這得益于其能夠將文本中體現的協同信息有效的編碼入文本特征中，從而獲得了高質量的協同文本特征并且有利于下游的文本增強框架使用，從而提高模型的推薦性能。

快速捕獲用戶的動態偏好

正如前文中提到的，EasyRec的一個關鍵優勢在于其能夠有效適應用戶偏好和行為動態隨時間的變化。

為了評估這一能力，作者在Amazon的體育用品數據集上創建了兩個反映偏好變化的用戶資料，并檢查了EasyRec推薦的物品。

如圖所示，原始用戶資料顯示該用戶喜歡打籃球。然而，用戶的偏好后來轉變為對游泳的興趣。

作者使用t-SNE方法可視化了所有編碼的嵌入，結果顯示在特征空間中用戶嵌入發生了顯著變化。

相應地，推薦的物品也從籃球相關產品轉變為游泳裝備，反映了用戶的偏好變化。

值得注意的是，這一調整僅通過修改用戶的資料就完成了，而不需要對模型進行進一步訓練。

這突顯了新方法在適應用戶偏好變化方面的高效性和靈活性。

結語

在瞬息萬變的數字時代，用戶的偏好和行為往往難以捉摸。

EasyRec框架通過巧妙地結合語言模型和對比學習，提供了一種高效且靈活的解決方案，能夠準確捕捉用戶的細微變化。

無論是零樣本推薦還是增強協同過濾，EasyRec都展現了卓越的適應能力和顯著的性能提升，體現出了優秀的推薦能力。