一直以來，推薦系統領域面臨模型線上線下效果差距大的痛點問題，昂貴的線上 A/B 測試成本使得廣大研究人員望而卻步，也造成學術界的推薦系統研究與工業界的實際應用間的巨大割裂。隨著大語言模型展現出類人的邏輯推理和理解能力，基于大語言模型的智能體（Agent）能否模擬真實用戶的交互行為，從而構建一個可靠的虛擬推薦 A/B 測試場景，以幫助推薦研究的應用落地，是一個急迫、重要且極具經濟價值的問題。

為了回答這個問題，來自新加坡國立大學 NExT++ 實驗室團隊構建了 Agent4Rec，一個由 1000 名 agents 構成的電影推薦系統模擬器。這些 agent 由真實用戶初始化，由 ChatGPT-3.5 驅動，根據用戶喜好與特質，對封裝的不同推薦算法和其推薦的電影做出個性化反應。這些個性化反應模擬真實用戶在推薦系統中的行為，包括觀看或拒看電影，給電影評分，翻到下一頁電影推薦列表，疲倦度估計，因不滿意或疲憊退出推薦系統，給推薦算法進行評價等。廣泛的實驗評估表明，Agent4Rec 里的 agent 能大概率反映真實世界的用戶行為。

• 論文鏈接：https://arxiv.org/abs/2310.10108
• 代碼鏈接：https://github.com/LehengTHU/Agent4Rec

1.Agent4Rec 平臺構建

Agent4Rec 中的每一個用戶，也即 agent，由 profile module、memory module、action module 構成。作者使用 MovieLens-1m 中的真實用戶數據初始化 agent 檔案。根據用戶的歷史交互生成 agent 的電影偏好，根據用戶的歷史活躍度、從眾性和觀影多樣性生成 agent 的交互特征。

推薦系統將采取逐頁推薦的方式，根據特定的推薦算法向用戶推薦電影列表。仿照真實的手機 APP 推薦場景，每頁將展示 4 部電影。每部電影的信息包括電影名、歷史評分、電影簡介等。每個 agent 將根據自身的電影喜好、疲憊程度以及個人記憶對推薦的電影做出反應，如觀看或評價電影。同時，歷史推薦內容和 agent 行為將被存儲在記憶中，agent 通過 reflection 的方式總結對推薦系統的滿意度和自身的疲憊程度。Agent 在每一頁推薦結束后，都根據自身滿意度和疲倦度，選擇翻到下一頁或者退出推薦系統。在用戶退出系統之后，采訪用戶退出推薦系統的原因和對推薦電影的評價。

2.Agent 行為模擬真實性檢驗

用大語言模型智能體模擬人類行為最關鍵的問題，在于評估 agent 能夠多大程度的模擬用戶的真實喜好。Agent4Rec 在推薦場景下首次給出了一個實驗級別的回答。

為了衡量用戶的電影喜好能否被 agent 正確捕捉，作者首先讓 agent 對用戶交互過的測試集中的電影和隨機采樣的負樣本電影進行喜愛與否判斷。結果表明，agent 能夠捕捉約 70% 的用戶喜好。

在驗證了 agent 的電影喜好合理性的基礎上，1000 個 agent 被投放到逐頁推薦場景下，agent 可以選擇提前退出推薦系統，或在達到 5 頁之后強制退出，同時 Agent 對選擇觀看的電影進行 1 到 5 分的評分。下圖實驗結果表明 agent 的評分與真實數據中的用戶評分呈現分布一致性。

為了驗證 Agent4Rec 作為 A/B 測試平臺的可能性，作者將 5 個常見的推薦策略部署到 Agent4Rec 平臺，收集 agent 反饋（平均觀影比例、平均喜愛數、平均喜愛比例、平均退出頁數、用戶平均滿意度）。下表結果表明，基于算法的推薦系統（MF、MultVAE、LightGCN）表現大幅優于基于策略的推薦系統（Random、Pop）。且總體而言，LightGCN 的表現優于其他算法。這一結果證明，agent 能對不同的推薦系統的推薦結果進行分辨。在未來，一個精心設計的基于大語言模型的推薦系統模擬器或許能夠充當理想的離線 A/B 測試平臺，并給出符合企業需求的用戶評價指標。

仿照現實生活中推薦系統會根據用戶反饋進行更新的場景，作者在完成一輪推薦之后，將 agent 選擇的高分電影或未觀看的電影以正樣本加入訓練集，重新訓練推薦系統，并將重新訓練的推薦算法再次部署到 Agent4Rec 平臺。結果表明，將 agent 選擇的高分電影對推薦系統進行再訓練，在離線指標與模擬的 “在線” 指標上均得到了提升。而將 agent 不喜歡的電影作為數據增強則在大多數情況下起到了負向的效果。這從側面說明 agent 的行為與真實用戶行為對齊。

同時，推薦系統中的真實用戶往往具有不同的特質，如活躍性、從眾性和觀影多樣性等。作者根據數據集中用戶的不同統計信息，將 agent 在每個特質上分為 3 組并給出不同的用戶畫像。在模擬完成后，收集 agent 的交互次數、agent 評分與用戶歷史評分的均方誤差、agent 交互電影種類數這三個指標，作為 agent 活躍性、從眾性、觀影多樣性特質衡量。實驗結果表明，在三個組間 agent 的平均表現符合預期，存在顯著差異。

在個體層面，agent 的表現也與真實用戶呈現一致性。以下圖中的用戶觀影多樣性為例，每個用戶的真實觀影種類數與 Agent4Rec 中的 agent 所觀看的電影種類數呈現一致趨勢。

作者還通過消融實驗研究了不同特質初始化對 agent 行為起到的作用。下述實驗結果表明，沒有個性化的特質初始化，agent 的行為呈現趨同，與現實生活中的真實用戶行為長尾分布有別。

3. 探索推薦系統中尚未解決的問題

獲得一個真實的推薦系統模擬器，將極大地幫助推薦研究工作的推進。鑒于 Agent4Rec 對用戶較大程度的真實行為模擬，作者探索了兩個有意思的待解決問題。

首先，作者利用 Agent4Rec 平臺收集多維度推薦數據，探究推薦系統中潛在的因果關系。作者選取 5 個推薦系統中常見的變量：電影質量、電影流行度、電影曝光率、電影瀏覽量、電影評分，通過 DirectLiNGAM 建模一個帶權有向無環因果圖，分析這 5 個變量間的因果關系。下述因果圖的左半部分說明，電影評分只受電影質量與電影流行度的正向影響。因果圖的右半部分說明電影的質量和流行度將共同影響電影的曝光率，進而影響電影被點擊次數。這反映了推薦系統中的的流行度偏差效應：更流行的物品被更多曝光，進一步導致物品流行度環路放大效應。

作者還進一步探究了推薦系統中信息繭房問題。作者不斷將 agent 選擇的物品作為正樣本加入訓練集，訓練新的推薦算法并收集 agent 反饋。隨著模擬與重新訓練的輪數增多，推薦系統對個體用戶推薦的第一大類電影的比例逐漸上升，且推薦系統對個體用戶推薦的平均電影種類數下降。這一現象表明，用戶接受的信息種類將在推薦算法的干預下越來越單一。

4. 總結與展望

本篇工作探索了基于大語言模型的智能體（Agent）模擬真實推薦場景下用戶行為的可能性。盡管大語言模型仍存在諸如幻覺在內的種種問題，但 Agent4Rec 上的多智能體仍在多個方面展現出了和真實用戶群體一致的行為。期待在未來，一個精心設計的基于大語言模型的 agent 平臺，能夠足夠真實地模擬推薦場景的各個維度，為學術界和工業界的研究提供更多便利。