隨著以 ChatGPT 為代表的大模型技術(shù)的迅速發(fā)展，推薦系統(tǒng)正經(jīng)歷著一場革命性的變革。傳統(tǒng)的推薦系統(tǒng)主要基于用戶和物品的歷史行為數(shù)據(jù)進(jìn)行預(yù)測，大模型技術(shù)的出現(xiàn)，為推薦系統(tǒng)帶來了更強的泛化能力和更高的效率，解決了傳統(tǒng)推薦系統(tǒng)中的一些難題，如用戶和物品數(shù)量的巨大規(guī)模、不可觀測因素對推薦的影響等。同時，大模型推薦技術(shù)也帶來了新的挑戰(zhàn)，如模型的可解釋性和隱私保護(hù)等問題。

一、推薦及 LLM 簡介

首先整體介紹一下推薦系統(tǒng)和大模型技術(shù)。

1. 推薦方法的本質(zhì)

推薦系統(tǒng)廣泛應(yīng)用于短視頻、電商等各類互聯(lián)網(wǎng)產(chǎn)品中。推薦方法的本質(zhì)是擬合歷史用戶行為數(shù)據(jù)，預(yù)測未來用戶行為。推薦系統(tǒng)是過去 10 年中 AI 落地最成功的案例，但是在工業(yè)場景中，傳統(tǒng)的推薦系統(tǒng)依然存在很多問題。

• 用戶層面（user）：用戶規(guī)模大（數(shù)以億計），用戶行為多樣（千人千面），且受到很多推薦系統(tǒng)不可觀測的外界因素影響，導(dǎo)致建模十分困難。
• 物料層面（item）：item 之間的很多關(guān)聯(lián)是十分小眾的，不易被捕獲（共現(xiàn)頻次低）。為什么這個用戶會同時購買這兩個東西，為什么這個用戶會同時看這兩個視頻等等問題，可能是因為非常小眾的原因關(guān)聯(lián)起來的，對建模也是一項挑戰(zhàn)。
• 模型層面：存在很大的泛化問題，我們所熟知的很多平臺例如 TikTok，用戶每天新上傳大量視頻，產(chǎn)生非常多的新的低頻關(guān)聯(lián)和新的 item，模型可能對新的 item 推薦效果不佳，泛化問題對于主要依靠 id 特征的傳統(tǒng)推薦系統(tǒng)而言是困擾多年的嚴(yán)重問題。

2. 大模型技術(shù)（NLP 新范式）

ChatGPT 發(fā)布以來，大模型成為人人熟知的名詞，它為 NLP 帶來了新的范式，即預(yù)訓(xùn)練模型+微調(diào)+Prompt 模式。這一模式取得了非常驚艷的效果。

人們意識到原來可以有這樣一個模型具備很強的泛化能力，出現(xiàn)“涌現(xiàn)”現(xiàn)象，簡單來說就是大模型學(xué)習(xí)到一個任務(wù)以后，它能夠做到舉一反三；同時具備任務(wù)規(guī)劃能力，能夠切分簡化任務(wù)。

有人認(rèn)為大語言模型不只是一個語言模型，更是一個知識模型，因為大語言模型使用了非常多的語料去做預(yù)訓(xùn)練，相當(dāng)于 encode 了非常多的知識。雖然不像傳統(tǒng)的知識圖譜顯式的把知識結(jié)構(gòu)化表達(dá)出來，但它很可能通過模型中某些參數(shù)將預(yù)訓(xùn)練語料中的知識很好的 encode 進(jìn)去了。當(dāng)然有些知識可能 encode 的不是非常好，但我們目前能看到的事實是在 NLP 領(lǐng)域，大模型已經(jīng)是處于絕對優(yōu)勢，在各種任務(wù)上都表現(xiàn)驚人。

3. 推薦系統(tǒng)“饞”大模型什么？

從推薦系統(tǒng)的角度去看，現(xiàn)有的推薦系統(tǒng)存在對用戶和 item 或多或少的理解不到位，模型泛化性差等問題。推薦系統(tǒng)從業(yè)者希望能夠從大語言模型中獲得啟發(fā)，以構(gòu)建更好的推薦模型。

• 強大的建模能力：第一眼看大語言模型能力強，很可能歸功于大預(yù)言模型使用的 Transformer 這樣的模型結(jié)構(gòu)本身具備很強大的建模能力，受其啟發(fā)我們可以基于它去做一些推薦模型，提升推薦模型的建模能力。
• 優(yōu)秀的學(xué)習(xí)范式：除了模型結(jié)構(gòu)的強大建模能力，大語言模型預(yù)訓(xùn)練+微調(diào)+prompt 這樣的學(xué)習(xí)范式也具備很大的優(yōu)勢，能夠幫助訓(xùn)練出優(yōu)秀的模型。我們也可以將其應(yīng)用于推薦領(lǐng)域中，從而學(xué)習(xí)到更強大的推薦模型。
• Well-train 的大模型本身：無論是 ChatGPT 這樣通過 API 訪問的閉源模型，還是 Llama 這樣可以拿到完整參數(shù)的開源模型，都已經(jīng)表現(xiàn)出了非常強大的能力。如果我們能夠?qū)⑦@些 well-train 的大模型引入到推薦系統(tǒng)中來，也許能夠獲得很好的推薦效果。
  將模型直接應(yīng)用到合適的場景：比如 ChatGPT 剛問世時，其 chat 能力是大家公認(rèn)的第一個非常驚艷的公開系統(tǒng)，對于做 conversational recommendation 的人來說，這就是一個非常誘人的能力。
  使用大模型去做 item 的理解和表征（去 ID 化）：無論是 ChatGPT 還是其前后出現(xiàn)的大語言模型，它們都具備強大的文本表征和理解能力，我們能否將這兩種能力引入到推薦系統(tǒng)中來呢？當(dāng)然是可以的，推薦場景中本來就具備很多的特征，比如商品的 title 和各種文本描述。除此之外，前文提到推薦系統(tǒng)中新 item 的問題是很棘手的，因為傳統(tǒng)的推薦系統(tǒng)都是主要基于 ID 的，也就是每個新來的 item 都必須有一個 ID，然后根據(jù)這個 ID 去學(xué)習(xí) item 的表征，最后通過學(xué)習(xí)到的表征去做推薦。但是如果存在一個通用模型能夠把語言理解的非常好，那是否可以直接用語言去描述 item，去掉 ID，直接得到 item 描述的文本表征作為 item 的表征？

• 建立推薦大模型范式：在 NLP 領(lǐng)域，自從 18 年 BERT 出來之后，NLP 這件事就變得容易了很多，我們可以通過 fine-tune 的方式去解決不同場景下的任務(wù)。后來出現(xiàn)了 Instruction GPT，我們甚至都不需要去 fine-tune 了，基于此類強大的基礎(chǔ)模型，只需要去寫 prompt 就可以完成任務(wù)。對于推薦領(lǐng)域，我們依舊處于對不同場景的任務(wù)去構(gòu)建和優(yōu)化不同模型的階段，與 NLP 領(lǐng)域的任務(wù) solution 生產(chǎn)速度相對比，完全不在一個量級上，可以說是工業(yè)文明和農(nóng)耕文明的巨大區(qū)別。那么我們是不是也可以在推薦領(lǐng)域去建造這樣的強大的基礎(chǔ)模型，在未來讓推薦也可能進(jìn)入一個工業(yè)化、標(biāo)準(zhǔn)化的時代呢？過去兩三年在這一領(lǐng)域中開展了很多工作，可以總結(jié)為以下幾點：
  
  使用文本統(tǒng)一表示，解決依賴 ID 的問題，這樣就可以忽略 cross domain 和 costar 這樣的問題，包括很多長尾問題也能得到很好的解決。
  使用prompt 統(tǒng)一任務(wù)，這樣就可以做到 open ending task，使用訓(xùn)練好的語言模型去做到跨域，最終得到一個 open ending task and domains 的基礎(chǔ)模型。

二、LLM 賦能推薦系統(tǒng)

這一部分將會介紹 LLM 賦能推薦在 Representation、Learning 和Generalization 領(lǐng)域中比較靠前和有代表性的工作。

1. Representation 方面

首先介紹的是 2023 年 KD 發(fā)表的一項工作，思想上與阿里的 M6 RAC 有一定的重合，雖然并不算靠前，但是效果很好。

其核心思想是去 ID 化，將 item 的表示全部轉(zhuǎn)化為文本，利用語言模型強大的文本理解能力去理解和表征 item。具體來說，對于一個 item sequence，每個 item 除了包含一個 ID，也可能包含一些類別特征。它所做的工作就是構(gòu)造了一個 item sentence，將 item 相關(guān)的所有東西，比如標(biāo)題、品牌、價格等屬性拼接在一起，形成一個很長的句子。

于是原本由一個個 item 拼接成的 sequence，就變成了一個個 item sentence 拼接起來的超長 sentence，可以叫它 long sentence 或者 item paragraph，用于表示一個用戶的交互歷史。這樣就可以使用語言模型去對其進(jìn)行理解表征，比如使用類似 Bert 這樣的模型。如果輸入的是 long sentence 或 item paragraph，得到的就是用戶的表征；如果輸入的是 item sentence，就得到了 Item 的表征。當(dāng)然在 embedding 層面除了對 token 的表征之外，它也針對推薦系統(tǒng)的特性加入了 position embedding。

模型架構(gòu)上使用了 long former，屬于 Bert 的一個變種。預(yù)測上使用 item 的embedding 和 sequence 的 embedding（user embedding）去計算 cosine 相似度，然后用這個 cosine 相似度去做排序，就可以得到一個 ranking list。

預(yù)訓(xùn)練階段也十分簡單，主要做兩個事情，一個針對語言模型的預(yù)訓(xùn)練任務(wù)，主要去做 Mask token prediction，簡單來說就是 mask 掉輸入 sequence 中的一些 token，然后去預(yù)測它。另一個是針對推薦任務(wù) item-level 的預(yù)訓(xùn)練任務(wù)，增強對 item 的表征，主要是通過對比學(xué)習(xí)去學(xué)習(xí) item 之間的區(qū)分度，讓 item 的表征與正樣本盡可能靠近，與負(fù)樣本盡可能遠(yuǎn)離。這兩個任務(wù)合在一起就是完整的預(yù)訓(xùn)練過程，取得了很好的效果。

這項工作得到的重要結(jié)論是，在許多場景下，通過文本表征的方式去取代 ID 表征是可行的。

2. Prompt learning 方面

Prompt learning 的思想非常的簡單樸素，就是對每一個任務(wù)使用一個 prompt 去進(jìn)行描述。以情感分析任務(wù)為例，過去我們做此類任務(wù)的方式是對輸入的文本去做一個分類任務(wù)，預(yù)測它情感的正向或者負(fù)向，更多的是一種判別式的方法。而現(xiàn)在，有一個 input，使用 prompt 去對情感分析任務(wù)進(jìn)行描述，讓模型去解碼生成一個結(jié)果，通過這個生成的結(jié)果去判斷情感的正負(fù)傾向。總結(jié)來說 prompt learning 的核心思想就是構(gòu)造 prompt 去描述任務(wù)，使用生成式模型去生成任務(wù)結(jié)果。

Prompt learning 的優(yōu)勢在于，實現(xiàn)了從樣本層面的學(xué)習(xí)到任務(wù)層面的學(xué)習(xí)的提升跨域。過去無論是有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)還是對比學(xué)習(xí)，都是在樣本層面上的學(xué)習(xí)。有了 prompt learning，用于建模的除了樣本以外，還有了 prompt 這樣一個描述任務(wù)的額外輸入，這樣使得模型的學(xué)習(xí)變成了一個任務(wù)層面的學(xué)習(xí)，相對樣本層面的學(xué)習(xí)是一個具備更高抽象層次的學(xué)習(xí)，所以這一學(xué)習(xí)范式更具優(yōu)勢。

Prompt learning 一經(jīng)推出，即受到了推薦領(lǐng)域工作者的關(guān)注，在 21 年的 NIPS上就有了一個這樣的工作，嘗試將推薦任務(wù)寫成 prompt 格式，去研究其是否具備優(yōu)勢，下面做一些簡要的介紹。

對于基于序列建模的推薦，就是輸入用戶歷史訪問的 item 序列 id 的 list，去預(yù)測下一個推薦的 item。該工作的核心思想是將這個 item id 的序列用語言描述出來，input 就是用戶歷史看了哪些電影，prompt 就是現(xiàn)在用戶會想看什么電影，然后用一個預(yù)訓(xùn)練好的模型去做 decode，看它會生成什么推薦的電影。文章中對于具體如何 decode 生成 item 的過程沒有很清楚的描述，但其引領(lǐng)了這一方向的工作。

接下來介紹的工作是楊紅霞老師在阿里時候所做的 M6-Rec，這個工作結(jié)合了上述兩種優(yōu)勢，既使用了文本去表示 item 和用戶交互序列的去 ID 化，也使用了 prompt learning 的方式。

架構(gòu)上使用了阿里內(nèi)部的 M6 模型架構(gòu)，是一個類似與 T5 模型的既要理解能力又要生成能力的模型架構(gòu)，前面是一個類似 Bert 的雙向神經(jīng)網(wǎng)絡(luò)，目的是增強理解能力，后面是一個類似 GPT 的自回歸的結(jié)構(gòu)，與 GPT 不同的是它不是主要為了生成 token。

它將推薦中的許多任務(wù)都用 prompt 描述了一遍，比如將 CTR 任務(wù)這類的 scoring task，都寫成了一個 prompt 模版。這個模版主要分成兩塊，第一塊是特征描述，用特殊的 token 去包裹用戶的畫像特征以及交互歷史這些信息，第二塊是描述現(xiàn)在想要對這個用戶推薦一些候選的 item。

將上述構(gòu)造好的 prompt 輸入模型，接下來就能對候選的 item 進(jìn)行打分，打分的思路非常簡單，模型會根據(jù)輸入的 prompt 去生成一個特殊的 token，然后得到這個 token 的表征，用這個表征去做 decode 就得到 y=1 或者 y=0 的概率。

當(dāng)然這個工作也把推薦中很多其他任務(wù)，比如生成任務(wù)，都寫成了不同的 prompt，是這個方向早期比較有代表性的工作。

3. ChatGPT 時代的工作

前面介紹的都是 ChatGPT 之前的一些工作，用的模型主要是 Bert、GPT2、Long-Former、M6 這類模型。這些工作的優(yōu)缺總結(jié)如下：

優(yōu)點：主要是將大模型領(lǐng)域的一些先進(jìn)的學(xué)習(xí)范式或有效的表征方法引入了推薦系統(tǒng)中，取得了一定的成果。

缺點：一是模型規(guī)模較小，模型的能力比較弱，遠(yuǎn)小于 ChatGPT 之后的一些模型；二是這些工作所需要的訓(xùn)練量很大，模型學(xué)會推薦任務(wù)的效率是比較低的；三是基礎(chǔ)模型能力較弱，導(dǎo)致模型知識有限，泛化性不足，生成能力較弱。

接下來將介紹在 ChatGPT 發(fā)布之后，當(dāng)具備強大基礎(chǔ)模型之后的一些工作，如何將這些 well-train 的模型能力帶進(jìn)推薦系統(tǒng)來。

完全基于 ChatGPT 進(jìn)行推薦：第一類方向的工作，認(rèn)為既然 ChatGPT 是一個可以解決很多任務(wù)的強大模型，那么就直接使用 ChatGPT 去解決推薦任務(wù)。比如將推薦任務(wù)寫成一個 instruction，可能加入一些 in-context sample，讓 ChatCPT 直接去做推薦。這類工作的結(jié)論是比較樂觀的，ChatGPT 確實具備一定的能力去做好推薦這件事，但是單純使用上述方式教會它去做好推薦這件事可能還是不夠的。

ChatGPT 不是天然做推薦的：

• 存在偏差： 直接使用其 in content learning 的方式去做推薦的話，一個突出的問題是，GPT 是被高度安全優(yōu)化過的，所以它很難去拒絕用戶，也就是很難 say no，如果我們按照 point wise 的方式，給它一個 list，history，然后問它是不是要把這些推給這個用戶，它很難 say no，有很大概率會對很多用戶都直接 say yes，也就是所有東西都推對。
  
• 微調(diào)難做：當(dāng)然可以采用 tuning 的方式去緩解上述問題，但是 LLM 的參數(shù)量大、模型深度高，tuning 是一件很難的事。
• 部署成本高：即使采用 lora 之類的方式去解決 tuning 的問題，大模型的 inference 依舊困難，相對傳統(tǒng)的推薦模型推理成本很高。我們曾經(jīng)計算過，以 TikTok 的日活用戶規(guī)模，如果每個用戶讓大語言模型去算 100 個 candidate item 的分，那將會需要 10 萬張 A100-80G 顯卡，24 小時不停算才能算完，這個開銷是難以接受的。
• 生成能力受限：針對推薦場景去對大語言模型進(jìn)行 fine tune 之后，會壓縮模型對生成空間，導(dǎo)致其生成能力受到很大的限制。
  

結(jié)合 GPT 和傳統(tǒng)推薦技術(shù)：現(xiàn)在介紹唐瑞明老師團(tuán)隊參與的一個工作，其核心思想是通過 ChatGPT 或者 in-context learning 的方式，讓 ChatGPT 發(fā)揮其 open world knowledge 的知識能力和 Cross domain 的能力，將 ChatGPT 的輸出接入給下游的傳統(tǒng)推薦模型。這樣兩者相互協(xié)同，發(fā)揮各自的優(yōu)勢，推薦系統(tǒng)負(fù)責(zé)搞定推薦任務(wù)，ChatGPT 負(fù)責(zé)提供 Knowledge、Cross Domain 和 few-shot 的能力。

這項工作是非常成功的，總結(jié)其核心就是使用 in-context learning 通過 ChatGPT 對用戶的交互歷史和 item 分別做一個推薦角度的總結(jié)，然后將其作為額外的特征喂到 CTR 模型里。

打造面向推薦場景優(yōu)化的大模型：為了解決 LLM 在推薦領(lǐng)域直接應(yīng)用的諸多問題，我們提出了一個與生成式檢索類似的兩階段框架，其核心思路是從語言和推薦兩個不同的角度去做理解，充分發(fā)揮各自的優(yōu)勢，整個推薦鏈路被劃分成了三個空間：

• 首先是語言空間：構(gòu)造合適的 prompt 輸入用戶的歷史交互序列，讓大語言模型自由輸出內(nèi)容，充分發(fā)揮大語言模型的生成能力，從語義層面去做理解。
• 然后是推薦空間：與語言空間不同，對于輸入的用戶交互序列，推薦空間不是從語義層面去理解 sequence 中包含的信息，而是站在推薦角度去看 sequence 中哪些信息是與推薦相關(guān)的，去描述與推薦相關(guān)的文本。
• 最后是 item 空間：從統(tǒng)計角度上去理解，融合協(xié)同過濾之類的統(tǒng)計信息，落在要進(jìn)行推薦的具體的 item 上，去做打分和排序，完成最終的推薦。

總結(jié)來說，語言空間和推薦空間作為第一階段進(jìn)行理解召回，item 空間作為第二階段進(jìn)行快速打分排序，其實和傳統(tǒng)的召回排序是一樣的。從實驗結(jié)果來看，這個方法是非常有效的，在 few shot 場景下與傳統(tǒng)模型相比非常具有優(yōu)勢，具體的實驗數(shù)據(jù)見下方。

三、大模型推薦展望

1. 個性提示優(yōu)化

與 NLP 任務(wù)層面的 prompt 不同，推薦領(lǐng)域的 prompt 是用戶層面的，比如針對老人、年輕人去構(gòu)造不同的 prompt，從而實現(xiàn)個性化的推薦。那么如何去構(gòu)造這樣的 prompt 呢？手動構(gòu)造無疑是一件非常麻煩且困難的事情，因此如何去做個性化 prompt 優(yōu)化將是未來的研究方向之一。

2. 魯棒提示優(yōu)化

推薦領(lǐng)域是一個典型的分布漂移的場景，無論是 item 還是 user 層面都是隨時間快速變化的。當(dāng)我們在一個有標(biāo)注的樣本上使用 APO 或者 APE 這樣的 prompt 優(yōu)化方法去做 prompt 的自動生成，相比手工構(gòu)造的 prompt 效果可能會要好。但是如果出現(xiàn)了分布漂移，用于 prompt 優(yōu)化的訓(xùn)練樣本和實際樣本的分布產(chǎn)生較大差異，就可能導(dǎo)致 prompt 的性能崩塌。如何解決推薦領(lǐng)域分布漂移帶來的 prompt 性能崩塌，提升 prompt 的魯棒性，也是一個值得探究的方向。

3. 新的推薦范式

影響推薦效果的兩大因素，內(nèi)容供給和匹配效率，在實際的工業(yè)場景里供給問題往往相對效率問題是一個更大的瓶頸。很多時候很難從已有的固定列表里去找到一個迎合用戶興趣需求的東西，比如捕捉到用戶對某一個電影有搞笑風(fēng)格解說的興趣需求，但是視頻池里還沒有這樣的視頻，無法滿足用戶的信息需求，這個時候如果利用大模型的生成能力快速生成一個這樣的內(nèi)容去及時滿足用戶的需求，可能會給用戶帶來非常好的體驗提升。所以研究如何使用類似 chat 的方式去充分理解用戶需求，及時生成貼合用戶需求的內(nèi)容是非常有價值的。

4. 避免大模型偏見

大模型在預(yù)訓(xùn)練階段使用了大量互聯(lián)網(wǎng)上的語料，這些語料中是分布不均的，天然包含人們的社會偏見，直接使用大預(yù)言模型進(jìn)行推薦可能會使推薦結(jié)果繼承現(xiàn)有的社會偏見。比如如果語料中主要是白人貢獻(xiàn)的英文內(nèi)容，那么推薦的結(jié)果會更加偏向白人的喜好，但是面對的用戶可能是黑人、黃種人。如何在推薦時避免大模型偏見是也是一件很值得研究的事情，涉及到用戶體驗、法律道德等方面。

四、總結(jié)

傳統(tǒng)的強依賴 ID 的推薦模型，存在理解不到位、泛化能力差等問題，導(dǎo)致推薦不滿意。針對推薦系統(tǒng)現(xiàn)存的問題，將大模型技術(shù)引入推薦領(lǐng)域，發(fā)揮其強大的理解能力，對推薦數(shù)據(jù)理解有很大的幫助。此外未來具備 Open-ended domains and task 的統(tǒng)一范式的推薦大模型也極有可能出現(xiàn)，用一個模型統(tǒng)一各類推薦任務(wù)，非常令人期待。

最后對大模型在推薦領(lǐng)域的使用提供一些參考建議：

• 使用盡可能大的基礎(chǔ)模型，比如 GPT4 這樣具備強大能力的模型，不要去用 Bert 之類的模型了。
• Fine-tune 過程中盡量保持模型的生成能力。
• 融合一些語言難以描述的統(tǒng)計信息是十分必要的。

最后，介紹一下中科大數(shù)據(jù)空間研究院。作為新型研發(fā)機構(gòu)、省政府成立的事業(yè)單位，研究院以數(shù)據(jù)重構(gòu)網(wǎng)絡(luò)空間為核心理念，聚焦大數(shù)據(jù)、人工智能和網(wǎng)絡(luò)空間安全。期待更多科技人才的加入，共同努力開展前沿技術(shù)研究和應(yīng)用落地。