LLM推薦系統(tǒng)時代來了？2024大廠頂會工作總結(jié)
基于Large Language Model做推薦系統(tǒng)可以說是最近2年推薦系統(tǒng)領(lǐng)域最火的研究點。一方面，LLM的理解能力、在各個領(lǐng)域的廣發(fā)應(yīng)用，使其自然而然衍生了和推薦系統(tǒng)結(jié)合的研究方向；另一方面，傳統(tǒng)的推薦模型優(yōu)化已逐漸進入瓶頸，依然基于原有的建模思路進一步優(yōu)化很難帶來顯著收益。因此無論是工業(yè)界還是學(xué)術(shù)界，都在LLM+推薦系統(tǒng)這個方向投入了很多的人力和資源。
在2024年的推薦系統(tǒng)頂會工作中，大廠、學(xué)校合作的論文70%都是和大模型相關(guān)的，可見其火熱程度。這篇文章就給大家匯總一下2024年，大廠發(fā)布的基于LLM的推薦系統(tǒng)模型工作，涉及LLM和ID模型對齊、LLM解決長尾推薦、LLM提供可解釋性和外部知識、直接用LLM進行推薦等多個主題。
1.LLM和ID模型對齊
LLM應(yīng)用到推薦模型，一個很大的問題是對齊問題。推薦系統(tǒng)都是以ID為主的模型，包括user id、item id等，模型基于用戶行為等協(xié)同過濾信號學(xué)習(xí)這些id embedding。因此，如何對齊兩種模態(tài)非常重要。
FLIP: Towards Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction（華為）核心解決方法是通過預(yù)訓(xùn)練對齊ID模型和語言模型的表征。文中引入了類似MLM的方法和對比學(xué)習(xí)的方法。在MLM中，對特征的文本表示和ID表示分別進行mask，使用上下文兩種模態(tài)的信息進行被mask部分的還原。在對比學(xué)習(xí)中，對于同一個樣本特征的ID和文本表示方法作為正樣本對，使用對比學(xué)習(xí)拉近其距離。在預(yù)訓(xùn)練后，使用ID模型和大語言模型的預(yù)測結(jié)果做加權(quán)求和得到最終預(yù)測結(jié)果，使用下游數(shù)據(jù)進行finetune。
ClickPrompt: CTR Models are Strong Prompt Generators for Adapting Language Models to CTR Prediction（華為）提出了一種用ID模型和LLM對齊的方法，利用ID模型生成prompt，作為prefix拼接在transformer每一層，通過預(yù)訓(xùn)練任務(wù)實現(xiàn)ID模型和LLM模型的對齊。
首先，將CTR預(yù)估中每個樣本的特征轉(zhuǎn)換成文本描述的形式。接下來，將原來的CTR模型中間層的embedding作為prompt，拼接到上述文本描述的前面。將拼接了prompt的文本描述輸入到LLM中，讓LLM生成影響的token序列，再基于token序列對預(yù)測結(jié)果進行還原。通過這種用CTR預(yù)估模型embedding作為prompt的方式，實現(xiàn)ID的CTR模型和LLM的CTR模型對齊的目標(biāo)。在下游應(yīng)用部分，使用兩個模型的預(yù)測結(jié)果相融合，作為最終的預(yù)測結(jié)果，擬合相應(yīng)的Label。
The Elephant in the Room: Rethinking the Usage of Pre-trained Language Model in Sequential Recommendation分析了基于純文本+預(yù)訓(xùn)練語言模型的推薦模型RecFormer，探索了能最大限度發(fā)揮語言模型在推薦系統(tǒng)中作用的方法。文中通過對RecFormer的attention分布、模型冗余性等的分析，發(fā)現(xiàn)現(xiàn)在的大模型應(yīng)用效率較低，存在比較多的參數(shù)冗余，效果也不是最優(yōu)的。文中基于上述發(fā)現(xiàn)，以及后續(xù)的實驗驗證，提出了一種高效利用且能充分發(fā)揮大模型效果的方法：使用基于ID的序列建模模型進行建模，同時使用經(jīng)過行為序列finetune過的預(yù)訓(xùn)練語言模型的item embedding作為其ID表征的初始化。
2.LLM解決長尾推薦
推薦系統(tǒng)基于純ID embedding訓(xùn)練模型，對于那些長尾的user、item，數(shù)據(jù)量少，id embedding就學(xué)習(xí)不充分。這種場景下，LLM就展現(xiàn)了其特有的優(yōu)勢，通過文本信息的輸入，將id表征解耦成泛化性更強的組件，提升長尾推薦效果。
LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation（騰訊）就是借助大模型的文本建模能力解決長尾推薦問題。在本文的推薦場景中，80%的用戶只交互過10個以內(nèi)的item，這種行為稀疏的用戶推薦模型的打分效果會顯著下降。為了解決這類長尾user的推薦問題，本文采用了LLM的文本能力提升長尾user表征的學(xué)習(xí)。核心包括dual-view modeling和retrieval-augmented self-distillation兩個部分。在dual-view modeling中，對于一個user，使用文本側(cè)和協(xié)同過濾側(cè)兩個encoder生成user表征。文本側(cè)使用大模型基于item的文本描述生成item表征存儲起來，然后使用一個類似Transformer的Encoder對用戶歷史行為的item文本embedding進行建模；協(xié)同過濾測就是最基礎(chǔ)的基于id序列的Transformer序列建模。兩部分信息一方面使用cross-attention進行融合，另一方面輸出結(jié)果頁直接拼接到一起融合。
在retrieval-augmented self-distillation部分，基于user的表征檢索出表征最相似的topK個其他用戶，讓當(dāng)前用戶的表征和這些檢索出來的用戶表征的L2距離盡可能小，作為指導(dǎo)目標(biāo)，蒸餾其他user表征的知識，讓長尾user的表征學(xué)習(xí)的更充分。
3.LLM讓推薦模型具備可解釋性
推薦模型都是黑盒的MLP，對于打分缺乏可解釋性。而LLM是文本模型，可以通過文本生成傳達信息。因此，文中通過LLM和推薦模型對齊，實現(xiàn)LLM的可解釋性。
RecExplainer: Aligning Large Language Models for Explaining Recommendation Models（微軟）使用LLM實現(xiàn)推薦系統(tǒng)的可解釋性。文中的一個核心假設(shè)是，如果能讓LLM產(chǎn)生和一個訓(xùn)練好的推薦模型具備相似的預(yù)測結(jié)果，LLM就能模擬推薦模型的計算邏輯，進而就可以讓其生成文本解釋其預(yù)測邏輯，實現(xiàn)推薦模型的可解釋性。文中設(shè)計了6種任務(wù)對齊推薦模型和LLM，包括下一個item預(yù)測（注意這里是以推薦系統(tǒng)模型的預(yù)測結(jié)果為目標(biāo)，而非下一個item的ground truth）、item排序、用戶興趣的二分類預(yù)測、生成item的描述、使用GPT數(shù)據(jù)繼續(xù)訓(xùn)練防止災(zāi)難遺忘等。同時，借助多模態(tài)領(lǐng)域的建模思路，在這些任務(wù)中獎id隨機替換成推薦系統(tǒng)中的embedding，當(dāng)成另一個模態(tài)的信息，實現(xiàn)LLM對推薦系統(tǒng)embedding模態(tài)的理解。
4.LLM提供外部知識
LLM中蘊含著大量的世界知識，將這些知識提取出來加入到推薦模型中，也是一種應(yīng)用方式。
Enhancing Sequential Recommenders with Augmented Knowledge from Aligned Large Language Models（螞蟻）通過從LLM中提取知識信息，增強推薦系統(tǒng)模型的訓(xùn)練。對于一個item，將其相關(guān)信息輸入構(gòu)建prompt輸入到LLM中，讓LLM生成一些數(shù)據(jù)集中沒有的知識信息，并通過一個文本Encoder編碼成item embedding。文本embedding和原始的id embedding融合到一起輸入到推薦系統(tǒng)模型中。由于LLM生成的文本信息可能包含很多和推薦無關(guān)的部分，并且由于是提前生成的，無法更新LLM參數(shù)。因此文中直接建模一個從LLM中采樣生成文本知識信息的分布，基于這個分布從LLM生成的文本中采樣對推薦有效的信息。
5.直接用LLM進行推薦
上述方法都是將LLM作為一個外部組件和推薦系統(tǒng)融合，另一些工作更加極端一些，直接使用LLM替代原先的推薦模型。
Adapting Large Language Models by Integrating Collaborative Semantics for Recommendation（微信）直接使用大模型進行item的全庫生成推薦，不再需要item候選集，核心包括基于LLM的item ID生成以及LLM的推薦系統(tǒng)finetune兩個部分。文中基于item的文本標(biāo)題、描述等文本信息，使用LLM生成每個item的表征，再基于Vector Quantization等量化技術(shù)，將每個item的表征進行各個維度的離散化，得到每個item的ID作為索引。另一方面，引入了多種類型的任務(wù)對LLM進行finetune，讓LLM能夠適配這些item ID，并融合推薦領(lǐng)域的知識。在finetune階段，引入了包括next item預(yù)測、根據(jù)item的標(biāo)題或描述預(yù)測item的索引ID、根據(jù)item ID序列預(yù)測用戶的興趣偏好（數(shù)據(jù)從GPT3根據(jù)歷史item文本序列生成用戶的興趣偏好描述）、根據(jù)用戶搜索文本預(yù)測item ID等近10種任務(wù)進行LLM的finetune，充分對齊新引入的item ID、推薦任務(wù)和文本含義。經(jīng)過finetune后，這些item ID直接作為單次加入到LLM的vocabulary中，基于LLM進行下一個item推薦。
