大模型生成RPG游戲,情節(jié)角色全自定義!谷歌出品,一作上海交大校友
現(xiàn)在,大模型能生成RPG角色扮演游戲了。
根據(jù)初始用戶輸入,它能設(shè)置游戲模擬環(huán)境,并在環(huán)境中生成角色動(dòng)作。

來(lái)自谷歌,北卡羅來(lái)納大學(xué)教堂山分校新研究,他們嘗試的第一款游戲叫做Unbounded,靈感來(lái)自《模擬人生》。
用戶可以自定義角色的人生,比如這位名叫Archibus的巫師,他的饑餓度、能量和興趣度會(huì)隨著環(huán)境進(jìn)行相應(yīng)更新。

角色可以自由探索各種環(huán)境,進(jìn)行各種可能的動(dòng)作和互動(dòng)。游戲按照交互速度,每秒就會(huì)刷新一次。
用大模型生成無(wú)限游戲
研究團(tuán)隊(duì)引入了一個(gè)生成無(wú)限游戲這個(gè)概念。
“無(wú)限游戲”指以延續(xù)游戲?yàn)槟康挠螒颍蔁o(wú)限游戲就是即通過使用生成式模型,超越傳統(tǒng)受限的視頻游戲。
無(wú)界(Unbounded)就是一款完全由生成式模型封裝的角色生活模擬游戲。你可以虛擬世界中通過喂養(yǎng)、玩耍和引導(dǎo)角色,與他互動(dòng),但需要保證它的健康狀態(tài)。

基于此,他們生成游戲的主要屬性包括:角色個(gè)性化、游戲環(huán)境生成、開放式互動(dòng)、實(shí)時(shí)生成。

在語(yǔ)言方面,他們開發(fā)了一個(gè)基于LLM的游戲引擎。這個(gè)游戲引擎能夠保持游戲機(jī)制的一致性,生成連貫的敘事,并實(shí)時(shí)生成上下文角色響應(yīng)。

他們的專業(yè)模型是在兩個(gè)協(xié)作性強(qiáng)的LLM Agent自動(dòng)生成的數(shù)據(jù)基礎(chǔ)上進(jìn)行微調(diào)的,無(wú)需人工注釋。
以Gemma-2B為例,經(jīng)過微調(diào)之后的游戲引擎,在狀態(tài)更新、環(huán)境相關(guān)性、故事連貫性和指令遵循方面都表現(xiàn)得更為出色。

在視覺生成方面,他們引入了新型動(dòng)態(tài)區(qū)域圖像提示適配器(Regional IP-Adapter)。該適配器可在保持多幅圖像視覺一致性的同時(shí),生成一致的角色和環(huán)境。
具體來(lái)說(shuō),它將游戲環(huán)境和角色外觀作為圖像生成的條件,而游戲環(huán)境和角色外觀則由交叉注意力層中注意力輸出所獲得的動(dòng)態(tài)掩碼調(diào)制。
這是為了減少環(huán)境和角色之間的干擾,使兩者都能可靠地出現(xiàn)在場(chǎng)景中。

與之前的方法相比,他們的區(qū)域IP適配器采用了區(qū)塊丟棄技術(shù),能持續(xù)生成具有高度字符一致性和環(huán)境一致性的圖像。


一作為上海交大校友
這篇研究主要來(lái)自谷歌以及北卡羅來(lái)納大學(xué)教堂山分校團(tuán)隊(duì)。

其中一作Jialu Li目前是北卡羅來(lái)納大學(xué)教堂山分校五年級(jí)博士生,本科畢業(yè)于上海交大,隨后在康奈爾大學(xué)獲得碩士學(xué)位。

對(duì)于這項(xiàng)研究,谷歌導(dǎo)師Nataniel Ruiz興奮表示了對(duì)生成游戲的看好:未來(lái)大多數(shù)游戲都將完全由生成游戲組成。

想想《龍與地下城》等桌面角色扮演游戲的無(wú)限性——并試著想想這將如何應(yīng)用于《上古卷軸》或《艾爾登法環(huán)》等游戲。
































