DSARE：當傳統NLP遇到LLM后的關系提取新思路 精華
1. 背景
關系提取是指通過自然語言處理技術從非結構化文本中確定兩個實體之間的關系。
圖片
如上圖所示，大多數傳統的關系提?。≧elation Extraction，RE）方法是為RE任務量身定制，但是這些方法往往缺乏特定領域的先驗知識。特別是當可供配置資源空間太少的時候，比如Few Shot Relation Extraction（FSRE）場景。
另一方面，基于LLM的新方法卻存在相反的問題，盡管隨著模型規模和語料庫的增大，LLMs擁有大量先驗知識，但是由于LLMs往往是為通用用途設計的，所以他們缺乏關系提取任務的特定能力。
所以今天這篇論文的作者提出了一種新方法，將傳統關系抽取方法和大語言模型相結合，提出了一種用于小樣本關系抽取的雙系統增強提取器（Dual-System Augmented Relation Extractor, DSARE），這種方法結合了兩種系統的優勢來彌補各自的缺陷。
2. 什么是DSARE？
圖片
DSARE包含三個關鍵組件：
-（a）LLM增強的RE模塊：通過設計提示詞，使LLM生成額外的領域內標注數據，以提升傳統RE模型的訓練效果，從而將LLM的先驗知識有效注入傳統RE方法。
-（b）RE增強的LLM模塊：利用訓練好的RE模型識別并檢索訓練數據中最有價值的樣本。這些樣本隨后作為上下文學習的示例，增強LLM在RE任務中的特定能力。
-（c）綜合預測模塊：綜合考慮LLM增強RE和RE增強LLM模塊的預測結果。當兩者預測不一致時，激活一個專門設計的選擇器來做出最終決策。
2.1 LLM增強的RE模塊
2.1.1 利用LLM進行數據擴充
設計了提示，向LLM注入關系抽取訓練樣本的核心要素，包括上下文文本、主體實體、客體實體、主體類型、客體類型及其關系。隨后，引導LLM生成更多模擬的關系抽取樣本。
然后制定規則，如正則表達式，將LLM輸出的關系抽取數據整理成期望的格式。
2.1.2 經典關系抽取模型
通過擴充的數據集，獲得了更豐富的數據資源，用以訓練經典的關系抽取模型。
使用了帶類型標記的實體標記（Typed Entity Marker）方法，用以標注實體及其上下文。
用“@”和“#”符號標記主體和客體實體的起始和結束，同時使用“?”和“∧”符號來指明主體和客體的類型。
2.2 增強型LLM關系抽取
2.2.1 KNN展示
上文構建了一個經典的關系抽取模型，接下來運用k最近鄰（KNN）搜索技術，從訓練集中提取更具價值的樣本。
使用捕獲的實體表示?s和?o 來標識每個樣本，并從訓練集中提取出表示和標簽對?s和?o ，將其命名為數據集D。
在對新樣本x進行推理時，利用其實體表示 ?x 在 D中進行查詢，依據歐氏距離找出 k個最接近的鄰居：N={(hi, yi)}，這些將作為LLM推理的參考示例。
2.2.2 LLM推理過程
當獲取到有效的示例，將這些示例用于構建提示詞的示例。先通過在提示詞中明確關系抽取任務的目標。接著，展示當前樣本的k個最近鄰N={(hi, yi)}的示例作為學習樣本。
2.3 綜合預測
圖片
上文中分別使用了傳統方法和LLM方法兩個視角進行關系抽取。
當兩個結果一致時，即 R(LLM)=R(RE)，模型將直接輸出預測的關系。若結果出現分歧，設計了一個選擇機制，讓LLM在這兩種關系中做出決斷。為提升選擇機制的有效性，直接從訓練集中檢索與這兩種關系相關的k個樣本。
然后，采用LLM推理部分介紹的方法，引導LLM得出最終的預測結果。如果LLM未能進行推理，或其輸出無法映射到預定義的關系類別，將得出主體與客體實體間不存在關系的結論。
3. 效果測評
為了對比DSARE的效果，作者與當前領先的少樣本關系抽取技術進行了對比。根據這些方法的架構設計，可劃分為三大類：傳統關系抽取技術（①至④）、基于LLM的技術和混合技術（⑧）。
- ? ① TYP Marker：建議將實體表示與類型標記融合，這一創新在關系抽取任務上取得了卓越成效。
- ? ② PTR：設計了一種規則化的提示調整機制，通過邏輯規則構建由多個子提示組成的提示。
- ? ③ KnowPrompt：創造性地將關系標簽蘊含的隱含知識，通過可訓練的虛擬類型詞和答案詞，注入到提示構建中。
- ? ④ GenPT：提出一種創新的生成式提示調整方法，將關系分類問題轉化為填充問題，充分利用了實體和關系類型的深層語義。
- ? ⑤ GPT-3.5 ⑥ LLama-2，⑦ Zephyr 代表當前高級的LLM技術。使用了GPT-3.5的API，并選擇了LLama-2（llama-2-7b-chat-hf）和Zephyr（zephyr-7b-alpha）的7B版本進行實驗。還采用了中的提示來執行上下文學習。
- ? ⑧ Unleash 引入了一種通過LLMs進行的受約束數據生成技術，這一方法顯著增強了現有關系抽取技術（如KnowPrompt），使其取得了更具競爭力的成果。
圖片
如上表所示，DSARE模型在各項指標上均超越了所有對比基準。特別是在TACRED和TACREV數據集上表現尤為突出。
為了驗證DSARE模型各部分的有效性，作者實施了消融實驗。
首先移除了集成預測模塊，由此產生了兩種簡化版本：LLM增強型關系抽取與關系抽取增強型LLM。
圖片
如上表所示，集成預測模塊的效果明顯比其他兩個簡化版本都提升的明顯。
接下來，進一步對LLM增強型關系抽取去掉了LLM數據增強部分，對關系抽取增強型LLM去掉了KNN展示部分。產生了另外兩個版本，即純凈的關系抽取和純凈的LLM4。
這兩種版本的表現都不盡如人意，尤其是純凈LLM。這些結果進一步證實了我們設計方案的合理性和必要性，它們并非多余。
本文轉載自 ??大語言模型論文跟蹤??，作者：HuggingAGI
