推薦系統(tǒng)在深度學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)的影響下已經(jīng)取得了重大進(jìn)步，尤其擅長(zhǎng)于捕捉復(fù)雜的用戶-物品關(guān)系。

然而，現(xiàn)有基于圖神經(jīng)網(wǎng)絡(luò)（GNNs）的推薦算法普遍僅依賴于ID數(shù)據(jù)構(gòu)造的結(jié)構(gòu)化拓?fù)湫畔ⅲ瑢?dǎo)致其大量存在于推薦數(shù)據(jù)集中與用戶和物品相關(guān)的原始文本數(shù)據(jù)，因此，其學(xué)習(xí)到的表示不夠信息豐富。

此外，協(xié)同過(guò)濾中運(yùn)用到的隱式反饋（Implicit Feedback）數(shù)據(jù)存在有潛在的噪聲和偏差，其對(duì)深度模型在用戶偏好學(xué)習(xí)的有效性也提出了挑戰(zhàn)。

目前，如何將大語(yǔ)言模型（LLMs）與傳統(tǒng)的基于ID數(shù)據(jù)的推薦算法相互結(jié)合，已經(jīng)受到了學(xué)界以及工業(yè)界的廣泛關(guān)注。但是，仍然存在有許多困難，例如算法的可擴(kuò)展性，語(yǔ)言模型的輸入限制（僅文本模態(tài)以及輸入長(zhǎng)度限制），使其大語(yǔ)言模型無(wú)法在實(shí)際運(yùn)用的推薦系統(tǒng)中有效提供幫助。

為了應(yīng)對(duì)這些限制，來(lái)自香港大學(xué)等機(jī)構(gòu)的研究人員提出了一種利用大語(yǔ)言模型來(lái)促進(jìn)現(xiàn)有推薦算法表征學(xué)習(xí)的框架RLMRec，并且在實(shí)驗(yàn)中將其與現(xiàn)有的最先進(jìn)的推薦算法相結(jié)合，在真實(shí)數(shù)據(jù)集中進(jìn)一步提升了算法的推薦性能。

論文地址：https://arxiv.org/abs/2310.15950

代碼地址：https://github.com/HKUDS/RLMRec

具體而言，該范式通過(guò)利用大語(yǔ)言模型從文本角度挖掘用戶行為偏好以及商品語(yǔ)義特征，并且利用最大化互信息的方式將文本信號(hào)和來(lái)自于圖神經(jīng)網(wǎng)絡(luò)的協(xié)同信號(hào)增強(qiáng)對(duì)齊，從而有效促進(jìn)算法學(xué)習(xí)到的表征質(zhì)量。

基于RLMRec，我們分別基于了對(duì)比式學(xué)習(xí)和生成式學(xué)習(xí)構(gòu)建了RLMRec-Con和RLMRec-Gen兩套范式。這兩套范式在不同的測(cè)試場(chǎng)景下展現(xiàn)出了不同的優(yōu)點(diǎn)，因此可以靈活的運(yùn)用于不同的實(shí)際場(chǎng)景。

理論角度緩解協(xié)同信號(hào)中的噪聲

在基于圖神經(jīng)網(wǎng)絡(luò)的協(xié)同過(guò)濾推薦算法中，其基于協(xié)同信號(hào)，會(huì)為每一個(gè)用戶/商品學(xué)習(xí)到一個(gè)表征。

我們稱之為基于協(xié)同信號(hào)的表征，從用戶的角度，其反應(yīng)了用戶對(duì)于商品的偏好；從商品的角度，其反應(yīng)了它吸引的用戶群體。然而，由于協(xié)同信號(hào)中可能存在的噪聲（例如誤點(diǎn)擊、流行度偏差等等），表征中不可避免的受到了噪聲（noise）的影響。

我們不妨設(shè)在推薦的視角下，對(duì)推薦存粹有益的潛在信號(hào)為，那么表征則同時(shí)由與潛在噪聲生成。考慮到協(xié)同數(shù)據(jù)中并不存在文本語(yǔ)義信息，因此在本文中，我們將其作為突破口，考慮利用文本語(yǔ)義信號(hào)（semantic information）來(lái)緩解這一現(xiàn)象。

我們不妨設(shè)對(duì)于每一個(gè)用戶/商品，我們都擁有一個(gè)基于文本語(yǔ)義而產(chǎn)生的表征，其基于的原始文本本身能夠準(zhǔn)確地反應(yīng)了用戶喜好的商品類別，和商品所吸引的用戶群體，因此中也包含了來(lái)自于潛在信號(hào)的信息，但是同時(shí)也包括了一些與推薦無(wú)關(guān)的信號(hào)（例如表征中可能體現(xiàn)的語(yǔ)法等語(yǔ)言屬性）。因此我們可以構(gòu)建如下的概率圖模型。

為了能夠提高協(xié)同過(guò)濾算法所學(xué)習(xí)到的表征e的質(zhì)量，我們構(gòu)建的如下的學(xué)習(xí)目標(biāo)

直觀上將，我們希望能夠最大化協(xié)同信號(hào)表征e與文本信號(hào)表征s以及潛在信號(hào)z直接的關(guān)聯(lián)，從而使得表征e中包含更多有益的信息以增強(qiáng)推薦的性能。

通過(guò)理論推導(dǎo)，最大化上述目標(biāo)等價(jià)于最大化表征e和表征s之間的互信息I(e, s)，并且最終可以轉(zhuǎn)換成優(yōu)化如下目標(biāo)

其中f是密度函數(shù)，體現(xiàn)了二者的相似程度。上述的表征學(xué)習(xí)過(guò)程可以形象化地體現(xiàn)為如下過(guò)程：

在優(yōu)化的過(guò)程中，我們不斷增加協(xié)同信號(hào)表征e與文本信號(hào)表征s中重疊的部分，從而不斷的減少噪聲在協(xié)同信號(hào)表征中的占比，從而獲得高質(zhì)量的特征學(xué)習(xí)結(jié)果，以促進(jìn)推薦性能提高。

為了真正實(shí)現(xiàn)上述的理論推導(dǎo)后的優(yōu)化目標(biāo)，我們?nèi)匀挥袃牲c(diǎn)挑戰(zhàn)：

1. 如何通過(guò)文本有效的用戶/商品真實(shí)的交互偏好以獲得高質(zhì)量的文本語(yǔ)義表征；

2. 如何實(shí)現(xiàn)密度函數(shù)f從而高效地優(yōu)化我們的學(xué)習(xí)目標(biāo)。

我們將在接下來(lái)的兩節(jié)中分別闡述如何解決上述這兩點(diǎn)挑戰(zhàn)。

準(zhǔn)確提煉用戶/商品文本畫像

為了獲得文本信號(hào)表征，我們首先需要擁有文本模態(tài)上對(duì)于用戶和商品的準(zhǔn)確畫像描述，其需要是無(wú)偏差的，從而能夠反應(yīng)出用戶和商品真實(shí)的偏好。我們希望用戶畫像能夠有效的反應(yīng)出其喜好什么類別的商品，并且商品畫像能夠反應(yīng)出其會(huì)吸引什么樣的用戶群體。        

在真實(shí)的推薦數(shù)據(jù)集中（例如Yelp、Amazon-book）存在有許多的對(duì)于原始文本數(shù)據(jù)，例如商品描述、用戶評(píng)論等等，但是這些原始文本數(shù)據(jù)同樣存在這大量的噪音，例如在Steam數(shù)據(jù)集中，玩家對(duì)于電子游戲的評(píng)論會(huì)存在有大量的非語(yǔ)義符號(hào)。

噪音的存在使得我們?cè)谝酝y以利用上這些文本數(shù)據(jù)。幸運(yùn)的是，隨著大語(yǔ)言模型的發(fā)展，其高效的文本總結(jié)能力和自然語(yǔ)言處理能力是我們能夠達(dá)成這一目標(biāo)。

在本節(jié)中，我們基于大語(yǔ)言模型（LLMs）和思維鏈（Chain-of-Thought）的思想，提出了一種從商品到用戶的文本畫像構(gòu)建路徑。其能夠保證在現(xiàn)有的數(shù)據(jù)下，準(zhǔn)確無(wú)誤無(wú)偏的反應(yīng)出用戶和商品的交互偏好，以便于我們獲得高質(zhì)量的文本語(yǔ)義表征。

簡(jiǎn)單來(lái)說(shuō)，我們先基于用戶的反饋或是商品的自身描述，基于大語(yǔ)言模型的知識(shí)先對(duì)商品的畫像進(jìn)行總結(jié)，并且要求其提供思考的過(guò)程，基于此，我們可以首先獲得基于商品的無(wú)偏文本畫像。

其次我們將用戶對(duì)商品的反饋以及商品文本畫像相結(jié)合，輸入給大語(yǔ)言模型，使其總結(jié)用戶畫像，因?yàn)橛脩舻姆答佒邪擞脩舻恼鎸?shí)喜好，因此語(yǔ)言模型能夠準(zhǔn)確的把握住用戶的真實(shí)喜好，從而產(chǎn)生準(zhǔn)確的文本畫像。

最后，我們利用先進(jìn)的文本嵌入模型將文本畫像轉(zhuǎn)化為文本表征表征，上述過(guò)程的示意圖如下（在論文的附錄中，我們對(duì)生成過(guò)程進(jìn)行了具體的案例描述）

對(duì)比式/生成式建模密度函數(shù)

密度函數(shù)的輸出是一個(gè)實(shí)數(shù)，反應(yīng)了輸入的兩個(gè)表征的之間的相似程度。對(duì)于該函數(shù)的建模越有效越精確，就可以更好的實(shí)現(xiàn)互信息最大化，從而實(shí)現(xiàn)協(xié)同信號(hào)表征和文本語(yǔ)義信號(hào)表征之間的對(duì)齊。

在本文中我們考慮兩種不同的建模方法，從而實(shí)現(xiàn)了兩種不同的對(duì)齊方式。

第一種是對(duì)比式對(duì)齊（Contrastive Alignment，RLMRec-Con），其具體建模形式如下

簡(jiǎn)單來(lái)說(shuō)，我們將文本語(yǔ)義表征通過(guò)網(wǎng)絡(luò)進(jìn)行縮放，使其與協(xié)同信號(hào)表征具有相同的維度，而后用余弦相似度來(lái)計(jì)算它們之間的相似程度。

結(jié)合之前的優(yōu)化函數(shù)，實(shí)際上這與對(duì)比學(xué)習(xí)的過(guò)程十分相似，因此我們稱之為對(duì)比式對(duì)齊。形象化的來(lái)說(shuō)，在該過(guò)程中，兩個(gè)表征雙向奔赴，不斷互相對(duì)齊彼此。

第二種是生成式對(duì)齊（Generative Alignment，RLMRec-Gen），其具體形式如下

簡(jiǎn)單來(lái)說(shuō)，我們是基于生成式掩膜子編碼器（Generative Masked Auto-encoder）的思想，將部分節(jié)點(diǎn)的原始特征進(jìn)行掩蓋，然后將推薦算法編碼出來(lái)的這些節(jié)點(diǎn)的特征進(jìn)行縮放，使其具有和文本語(yǔ)義表征相同的維度，而后進(jìn)行對(duì)齊。

形象化的來(lái)說(shuō)，在該過(guò)程中，協(xié)同表征向文本語(yǔ)義表征單向逼近，生成式地重構(gòu)對(duì)方，從而實(shí)現(xiàn)對(duì)齊。

我們?cè)诤罄m(xù)的實(shí)驗(yàn)過(guò)程中，探尋了兩種方法（RLMRec-Con和RLMRec-Gen）在不同的場(chǎng)景下的優(yōu)勢(shì)。

實(shí)驗(yàn)驗(yàn)證

我們?cè)谌齻€(gè)公開(kāi)數(shù)據(jù)集（Yelp，Amazon-book，Steam）上，使用現(xiàn)有的先進(jìn)協(xié)同過(guò)濾算法（GCCF、LightGCN、SGL、SimGCL、DCCF和AutoCF）作為基準(zhǔn)模型，配合RLMRec進(jìn)行了性能的驗(yàn)證。通過(guò)多次隨機(jī)試驗(yàn)求均值，我們發(fā)現(xiàn)RLMRec可以有效且顯著地進(jìn)一步提升現(xiàn)有推薦算法的性能。

從結(jié)果中可以看出。對(duì)比式學(xué)習(xí)（RLMRec-Con）所帶來(lái)的性能提升，相較于生成式學(xué)習(xí)（RLMRec-Gen）更加顯著，但是對(duì)于自身就是生成式建模的推薦算法（AutoCF）而言，生成式學(xué)習(xí)帶來(lái)的性能提升更多，由此可見(jiàn)使用兩種方式需要應(yīng)算法而制宜。

進(jìn)一步的，為了探尋是否真的是文本信號(hào)的引入提高了推薦的性能（而非是框架的設(shè)計(jì)），我們將用戶/商品的協(xié)同信號(hào)和文本信號(hào)之間的對(duì)應(yīng)關(guān)系進(jìn)行了打亂（Shuffle），從而造成錯(cuò)誤的信號(hào)對(duì)應(yīng)關(guān)系，并進(jìn)行了性能試驗(yàn)如下

從結(jié)果中可以看出，在打亂了信號(hào)對(duì)應(yīng)關(guān)系中，錯(cuò)誤的文本語(yǔ)義的引入會(huì)導(dǎo)致表征學(xué)習(xí)無(wú)法正常進(jìn)行，即協(xié)同信號(hào)表征無(wú)法有效的向語(yǔ)義表征逼近（停留在原地），因此性能相對(duì)顯著下降。

同時(shí)我們也利用了不同的語(yǔ)義嵌入模型（Instructor、Contriever）來(lái)生成語(yǔ)義表征，我們發(fā)現(xiàn)越好的語(yǔ)義嵌入模型生成的語(yǔ)義表征能夠更好的增益RLMRec。

其次，我們進(jìn)行了噪音試驗(yàn)，通過(guò)隨機(jī)加上不同程度的噪聲，來(lái)探討RLMRec對(duì)噪聲的抵抗能力，結(jié)果如下

從結(jié)果中可以看出，不論在什么程度的噪聲下，在RLMRec框架下訓(xùn)練獲得的表征能夠相對(duì)于基線模型有更好的性能，同時(shí)對(duì)比式對(duì)齊能夠抵御噪聲的能力更強(qiáng)，我們認(rèn)為這是因?yàn)樯a(chǎn)式對(duì)齊由于存在有掩膜（Mask）的操作，在特征層面上已經(jīng)引入了一部分噪聲，因此應(yīng)對(duì)結(jié)構(gòu)化噪聲的能力有所下降，不過(guò)相對(duì)于基線模型，都是有增益的。

進(jìn)一步的，我們探討了RLMRec的兩種范式能否應(yīng)用于預(yù)訓(xùn)練（Pre-training）。基于此，我們將Yelp數(shù)據(jù)集中從2012-2017年的數(shù)據(jù)作為預(yù)訓(xùn)練數(shù)據(jù)，2018-2019年的數(shù)據(jù)作為微調(diào)（fine-tune）數(shù)據(jù)，并最終測(cè)試性能，結(jié)果如下

從結(jié)果中我們發(fā)現(xiàn)，在預(yù)訓(xùn)練的場(chǎng)景下，生成式對(duì)齊RLMRec-Gen一致的具有更優(yōu)的性能，我們認(rèn)為這是因?yàn)橥ㄟ^(guò)生成式建模中的掩膜（Mask）操作，能夠有效防止過(guò)擬合，從而構(gòu)成一種約束，因此所獲的的參數(shù)能夠有效遷移至新的數(shù)據(jù)上，這也與近年來(lái)通過(guò)生成式預(yù)訓(xùn)練語(yǔ)言模型的范式不謀而合。

最后，我們進(jìn)行了樣例研究（Case Study）

我們針對(duì)一個(gè)用戶計(jì)算了與其距離較遠(yuǎn)（在Graph上大于3跳）的所有用戶的特征相似度，并且基于此從高到低排序。

我們發(fā)現(xiàn)即使是兩個(gè)用戶擁有相同的偏好，但是傳統(tǒng)的推薦算法獲得的表征，無(wú)法有效的體現(xiàn)出他們之間的相似性，這是因?yàn)樗麄兊木嚯x大于圖網(wǎng)絡(luò)的層數(shù)，因此無(wú)法互相監(jiān)督。

通過(guò)在RLMRec中引入了文本信號(hào)信息，具有相同偏好的用戶表征被有效的拉近，從而他們的表征相似度也得到了提高，這從一定程度上說(shuō)明通過(guò)引入文本信號(hào)來(lái)優(yōu)化用戶/商品表征學(xué)習(xí)，能夠從全局的視角對(duì)具有相似偏好的用戶/商品進(jìn)行有益的對(duì)齊，從而提高表征學(xué)習(xí)的質(zhì)量最終提高推薦性能。

結(jié)語(yǔ)

在本文中我們提出了一種模型無(wú)關(guān)的基于大語(yǔ)言模型的推薦系統(tǒng)表征學(xué)習(xí)范式，通過(guò)合理的設(shè)計(jì)，利用大語(yǔ)言模型從海量原始文本數(shù)據(jù)中挖掘的純凈的文本語(yǔ)義信號(hào)，從而對(duì)協(xié)同信號(hào)表征進(jìn)行優(yōu)化，最終促進(jìn)的最先進(jìn)推薦算法性能的提升。

我們?cè)贕itHub上對(duì)數(shù)據(jù)集和代碼進(jìn)行了開(kāi)源，希望我們清洗后的具有文本標(biāo)注的推薦數(shù)據(jù)集以及所提出的范式RLMRec能夠促進(jìn)大語(yǔ)言模型和推薦系統(tǒng)的進(jìn)一步融合。

最后，其實(shí)RLMRec的思想不單單能運(yùn)用在推薦算法中，我們也在別的場(chǎng)景下進(jìn)行了實(shí)踐，在百度的搜索算法框架下，我們將RLMRec中的對(duì)比式對(duì)齊的思想進(jìn)行了測(cè)試，在搜索推薦的精度上也獲得了有益的提升，實(shí)現(xiàn)了算法的有效落地。