微軟、清華的研究人員聯(lián)合發(fā)布了SECOM，一種專(zhuān)用于個(gè)性對(duì)話(huà)Agent的記憶構(gòu)建和檢索的創(chuàng)新方法。

研究人員在LOCOMO和Long-MT-Bench+兩個(gè)超復(fù)雜數(shù)據(jù)集上進(jìn)行了綜合評(píng)估。LOCOMO數(shù)據(jù)集的對(duì)話(huà)平均長(zhǎng)度超過(guò)300輪，包含約9000個(gè)標(biāo)記的對(duì)話(huà)片段，是目前最長(zhǎng)的對(duì)話(huà)數(shù)據(jù)集之一。Long-MT-Bench+則通過(guò)合并多個(gè)會(huì)話(huà)構(gòu)建更長(zhǎng)的對(duì)話(huà)，平均包含約65輪對(duì)話(huà)。

結(jié)果顯示，LOCOMO數(shù)據(jù)集上，SECOM的GPT4-Score達(dá)到71.57，比全歷史方法高出17.42分，比輪次級(jí)記憶方法高出6.02分，比會(huì)話(huà)級(jí)記憶方法高出8.41分。

在Long-MT-Bench+數(shù)據(jù)集上，SECOM的GPT4-Score達(dá)到88.81，比全歷史方法高出24.96分，比輪次級(jí)記憶方法高出3.90分，比會(huì)話(huà)級(jí)記憶方法高出15.43分。

隨著大模型的飛速發(fā)展，已經(jīng)被廣泛應(yīng)用在Agent中。與傳統(tǒng)RPA、按鍵精靈不同的是，基于大模型的對(duì)話(huà)Agent能夠進(jìn)行更長(zhǎng)時(shí)間的交互和主題。但這種長(zhǎng)期、開(kāi)放的對(duì)話(huà)也面臨巨大挑戰(zhàn)，因?yàn)樗枰軌蛴涀∵^(guò)去的事件和用戶(hù)偏好，以便生成連貫個(gè)人化回答或執(zhí)行超長(zhǎng)自動(dòng)化任務(wù)。

目前，大多數(shù)方法通過(guò)從對(duì)話(huà)歷史中構(gòu)建記憶庫(kù)，并在響應(yīng)生成時(shí)進(jìn)行檢索增強(qiáng)來(lái)實(shí)現(xiàn)這一目標(biāo)，不過(guò)這些方法在記憶檢索準(zhǔn)確性和檢索內(nèi)容的語(yǔ)義質(zhì)量方面都存在局限性。

研究人員發(fā)現(xiàn)，記憶單元的粒度對(duì)檢索增強(qiáng)響應(yīng)生成至關(guān)重要。傳統(tǒng)的輪次級(jí)、會(huì)話(huà)級(jí)以及基于總結(jié)的方法都存在不足。輪次級(jí)記憶過(guò)于細(xì)粒度，導(dǎo)致上下文片段化且不完整；

會(huì)話(huà)級(jí)記憶則過(guò)于粗粒度，包含大量無(wú)關(guān)信息；基于總結(jié)的方法在總結(jié)過(guò)程中會(huì)丟失關(guān)鍵細(xì)節(jié)。所以，發(fā)布了SECOM來(lái)解決這些難題。

零樣本分割方法

在SECOM 框架中，對(duì)話(huà)分割模型是其核心組件之一，主要負(fù)責(zé)將長(zhǎng)期對(duì)話(huà)分解為語(yǔ)義連貫段落。這一過(guò)程并非簡(jiǎn)單的文本切分，而是基于對(duì)對(duì)話(huà)內(nèi)容的深度語(yǔ)義理解，識(shí)別出對(duì)話(huà)中話(huà)題的轉(zhuǎn)換點(diǎn)，從而將對(duì)話(huà)自然地劃分為多個(gè)主題相關(guān)的單元。

能夠有效避免傳統(tǒng)輪次級(jí)或會(huì)話(huà)級(jí)記憶構(gòu)建方法中存在的問(wèn)題，例如，輪次級(jí)記憶的碎片化和會(huì)話(huà)級(jí)記憶的冗余信息過(guò)多。

SECOM使用了GPT-4 作為其對(duì)話(huà)分割的骨干模型。可在零樣本學(xué)習(xí)的情況下對(duì)對(duì)話(huà)內(nèi)容進(jìn)行分析，并輸出分割后的段落。

這種分割方法有兩個(gè)巨大技術(shù)優(yōu)勢(shì)：首先，避免了傳統(tǒng)有監(jiān)督學(xué)習(xí)方法中需要大量標(biāo)注數(shù)據(jù)的限制。在對(duì)話(huà)分割任務(wù)中，獲取大量高質(zhì)量的標(biāo)注數(shù)據(jù)是非常困難的，因?yàn)樵?huà)題轉(zhuǎn)換點(diǎn)的識(shí)別本身就具有一定的主觀性，即使是人類(lèi)標(biāo)注者也難以達(dá)成完全一致。

而零樣本分割方法則無(wú)需依賴(lài)標(biāo)注數(shù)據(jù)，直接利用模型的預(yù)訓(xùn)練知識(shí)進(jìn)行分割，大大降低了數(shù)據(jù)準(zhǔn)備的成本和難度。

此外，零樣本分割能夠更好地適應(yīng)開(kāi)放域的對(duì)話(huà)場(chǎng)景。由于沒(méi)有受到特定領(lǐng)域或特定數(shù)據(jù)集的限制，GPT-4 能夠憑借其廣泛的知識(shí)和語(yǔ)言理解能力，對(duì)各種類(lèi)型的對(duì)話(huà)進(jìn)行有效的分割。無(wú)論是日常閑聊、學(xué)術(shù)討論還是專(zhuān)業(yè)咨詢(xún)，GPT-4 都能夠識(shí)別出對(duì)話(huà)中的語(yǔ)義邊界，將對(duì)話(huà)分割成連貫的段落。

使得 SECOM 的對(duì)話(huà)分割模型能夠廣泛應(yīng)用于各種不同的對(duì)話(huà)場(chǎng)景，而無(wú)需針對(duì)每個(gè)場(chǎng)景單獨(dú)訓(xùn)練模型。

自反思機(jī)制

為了進(jìn)一步提升分割的準(zhǔn)確性和一致性，SECOM引入了另外一個(gè)重要模塊——自反思機(jī)制。

SECOM會(huì)首先以零樣本的方式對(duì)一批對(duì)話(huà)數(shù)據(jù)進(jìn)行分割，然后根據(jù)標(biāo)注數(shù)據(jù)中的真實(shí)分割結(jié)果，識(shí)別出分割錯(cuò)誤的部分。然后會(huì)分析這些錯(cuò)誤，反思其原因，并據(jù)此調(diào)整分割策略。

這一過(guò)程有點(diǎn)類(lèi)似于人類(lèi)在學(xué)習(xí)過(guò)程中的自我反思和改進(jìn)。通過(guò)不斷地分析錯(cuò)誤、總結(jié)經(jīng)驗(yàn)并調(diào)整方法，模型能夠逐步提高其分割的準(zhǔn)確性。這種自反思機(jī)制不僅能夠提升分割的準(zhǔn)確性，還能夠使模型的分割結(jié)果更符合人類(lèi)標(biāo)注者的偏好。換句話(huà)說(shuō)，能使模型的分割行為更貼近人類(lèi)對(duì)對(duì)話(huà)結(jié)構(gòu)的理解和劃分方式。

同時(shí)自反思機(jī)制的引入還帶來(lái)了一個(gè)額外的好處，模型能夠在少量標(biāo)注數(shù)據(jù)的情況下快速適應(yīng)新的領(lǐng)域或任務(wù)。

即使只有少量的標(biāo)注樣本，模型也能夠通過(guò)自我反思和調(diào)整，快速學(xué)習(xí)到該領(lǐng)域或任務(wù)中的對(duì)話(huà)結(jié)構(gòu)特點(diǎn)，從而提高分割性能。使得SECOM在實(shí)際應(yīng)用中具有更強(qiáng)的適應(yīng)性和可擴(kuò)展性。

本文轉(zhuǎn)自 AIGC開(kāi)放社區(qū)  ，作者：AIGC開(kāi)放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/Gu9pioNjHyFBmSR1fGjZVA??