角色扮演AI系統(tǒng)體現(xiàn)了數(shù)字生命的理念，通過交互形式將不同角色帶入現(xiàn)實(shí)。這些系統(tǒng)模擬指定角色的能力，長(zhǎng)期以來一直存在于人類想象中，體現(xiàn)了我們創(chuàng)造和與具有智能的人工生命互動(dòng)的渴望。

近期，得益于GPT-4、LLaMA等大語言模型（LLMs）的突破性進(jìn)展，基于文本的角色扮演AI（Role-Playing Language Agents，RPLAs）正在從科幻走進(jìn)現(xiàn)實(shí)。

研究表明，當(dāng)前的LLMs已經(jīng)能夠產(chǎn)生令人信服的擬人效果，并可以被視為不同信念和人格的疊加態(tài)。通過對(duì)齊訓(xùn)練，它們能夠遵循角色扮演指令，復(fù)制角色的知識(shí)儲(chǔ)備，模仿語言和行為模式，甚至重現(xiàn)深層的性格特征。

來自復(fù)旦大學(xué)等機(jī)構(gòu)的研究人員發(fā)表了一篇綜述，提出了RPLAs的三層人格分類框架，按照個(gè)性化程度的遞進(jìn)，將RPLAs的人格類型分為群體人格、角色人格和個(gè)性化人格。

論文鏈接：https://arxiv.org/abs/2404.18231

群體人格關(guān)注具有共同特征的人群，如職業(yè)、種族、性格類型等，內(nèi)置于LLMs中，角色扮演主要利用LLMs中的統(tǒng)計(jì)特征，通過簡(jiǎn)單提示詞即可激活。

角色人格則代表廣為人知的具體個(gè)體，特別是現(xiàn)有文獻(xiàn)中的角色，包括名人、歷史人物和虛構(gòu)角色，這類人格考驗(yàn)?zāi)Ｐ屠斫夂瓦\(yùn)用已有角色數(shù)據(jù)的能力。

個(gè)性化人格是基于個(gè)性化用戶數(shù)據(jù)構(gòu)建并持續(xù)更新的數(shù)字檔案，強(qiáng)調(diào)個(gè)人獨(dú)特的經(jīng)歷、需求和偏好，主要用于數(shù)字分身或個(gè)人助理等應(yīng)用。

值得注意的是，這三類人格并非相互獨(dú)立，而是可以在RPLAs中共存。

比如說，一個(gè)扮演蘇格拉底擔(dān)任個(gè)人哲學(xué)導(dǎo)師的RPLA就同時(shí)包含了古希臘哲學(xué)家的群體人格、蘇格拉底的角色人格，以及通過與用戶互動(dòng)發(fā)展的個(gè)性化人格。

這種多層次的人格整合，使得RPLAs能夠在保持角色本真性的同時(shí)，提供更加個(gè)性化的互動(dòng)體驗(yàn)。

在技術(shù)實(shí)現(xiàn)層面，研究團(tuán)隊(duì)深入分析了RPLAs的構(gòu)建方法。RPLAs通過人格數(shù)據(jù)來模擬復(fù)雜的人格，這些數(shù)據(jù)包括描述、畫像、對(duì)話、歷史行為記錄以及書籍原文等文本材料。目前主要有兩類構(gòu)建方法：參數(shù)化訓(xùn)練和非參數(shù)化提示。

參數(shù)化訓(xùn)練主要包括預(yù)訓(xùn)練、監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)三個(gè)階段。

首先，模型在包含文學(xué)作品和百科全書等大規(guī)模原始文本上進(jìn)行預(yù)訓(xùn)練，這使其獲得了大量社會(huì)群體和角色人格的基礎(chǔ)知識(shí)。

隨后，模型在角色扮演數(shù)據(jù)集上進(jìn)行監(jiān)督微調(diào)，增強(qiáng)其角色扮演能力和特定角色知識(shí)。

此外，強(qiáng)化學(xué)習(xí)方法可以進(jìn)一步優(yōu)化RPLAs在多個(gè)方面的表現(xiàn)，包括:與普通用戶的對(duì)齊（如提高吸引力或減少有害內(nèi)容）、改進(jìn)社交推理能力（如在游戲或目標(biāo)導(dǎo)向?qū)υ捴械谋憩F(xiàn)），以及與個(gè)別用戶的對(duì)齊。

非參數(shù)化提示則在上下文中提供人格數(shù)據(jù)和角色扮演指令。人格數(shù)據(jù)主要包括描述（Descriptions）和展示（Demonstrations）兩部分：描述部分主要包含姓名、背景、經(jīng)歷、性格、語氣等基本信息；示范部分則展示代表性的對(duì)話、行為、互動(dòng)和偏好等。

獲取這些人格數(shù)據(jù)的方法包括:在線資源收集（如從維基百科等獲取知名角色信息）、自動(dòng)提取（用LLM從書籍等材料中提取對(duì)話）、對(duì)話合成（用更強(qiáng)的LLM創(chuàng)建和擴(kuò)展角色扮演對(duì)話數(shù)據(jù)集）以及人工標(biāo)注（由標(biāo)注者或角色粉絲創(chuàng)作高質(zhì)量的角色扮演對(duì)話）。

此外，現(xiàn)代RPLAs還越來越多地集成記憶模塊，以從大量角色特征數(shù)據(jù)或過往互動(dòng)中檢索信息加入到上下文中。

在評(píng)估體系方面，研究團(tuán)隊(duì)將評(píng)估標(biāo)準(zhǔn)分為兩大類：角色扮演能力評(píng)估（Role-Playing Capability）和人格還原度評(píng)估（Persona Fidelity）。

角色扮演能力評(píng)估針對(duì)RPLA的基礎(chǔ)模型和構(gòu)建框架，不考慮具體角色，主要關(guān)注擬人能力、吸引力和實(shí)用性等方面，具體包括對(duì)話能力、投入度、人格一致性、情感理解、心智理論和問題解決能力等維度。

人格還原度評(píng)估則聚焦于特定人格的RPLA是否很好地復(fù)制了目標(biāo)人格的特點(diǎn)，包括知識(shí)、語言習(xí)慣、性格、信念和決策方式等方面。

模型評(píng)估

目前評(píng)估方法主要有四類：基于標(biāo)準(zhǔn)答案的自動(dòng)評(píng)估、無標(biāo)準(zhǔn)答案的自動(dòng)評(píng)估、多選題評(píng)估和人工評(píng)估。

在這些評(píng)估方法中，人工評(píng)估成本高昂，費(fèi)時(shí)費(fèi)力；自動(dòng)評(píng)估往往基于LLM-as-a-judge，即使用LLM對(duì)RPLA的表現(xiàn)進(jìn)行評(píng)判，這類評(píng)估方法受制于LLM的角色知識(shí)不足和多種評(píng)估偏見問題，評(píng)估效果并不理想；多選題評(píng)估的數(shù)據(jù)集構(gòu)造則較為困難，同時(shí)與RPLA的真實(shí)應(yīng)用場(chǎng)景存在差異。因此，對(duì)RPLA的精準(zhǔn)評(píng)估仍是一個(gè)開放性問題。

在這篇綜述中，研究團(tuán)隊(duì)對(duì)RPLAs領(lǐng)域的現(xiàn)有文獻(xiàn)進(jìn)行了系統(tǒng)性梳理，建立了相關(guān)方法論的分類體系。同時(shí)，作者們還全面整理了當(dāng)前可用的評(píng)估基準(zhǔn)數(shù)據(jù)集，包括其數(shù)據(jù)類型、規(guī)模、來源和評(píng)估指標(biāo)等關(guān)鍵信息，為未來的研究工作提供了重要參考。

盡管RPLAs已展現(xiàn)出令人振奮的發(fā)展前景，但仍面臨諸多挑戰(zhàn)。

如何構(gòu)建更全面的角色數(shù)據(jù)集、如何實(shí)現(xiàn)更精準(zhǔn)的評(píng)估方法、如何平衡真實(shí)性與安全性，以及如何處理持續(xù)交互中的角色演變，都是亟待解決的問題。

隨著技術(shù)的進(jìn)步，培育人類與智能體協(xié)同共存的社會(huì)生態(tài)將成為重要方向。這不僅將改變?nèi)藱C(jī)交互的方式，更將推動(dòng)數(shù)字生命這一人類長(zhǎng)期追求的實(shí)現(xiàn)。

作者介紹

該綜述項(xiàng)目由復(fù)旦大學(xué)王鑫濤發(fā)起，陳江捷、王鑫濤、徐銳策劃并聯(lián)合課題組同學(xué)共同完成。

王鑫濤，復(fù)旦計(jì)算機(jī)系博士生，重度二次元愛好者，業(yè)余cosplayer，致力于用AI研究創(chuàng)造更c(diǎn)ool的二次元應(yīng)用。他的研究興趣主要集中在大語言模型、Agent、AI角色扮演等領(lǐng)域。