圖片

1.Class-RAG 推出的背景

隨著技術的發展，互聯網上出現了越來越多的不良內容。過去，使用機器學習的方法來對內容進行情感分類、騷擾識別、仇恨言論檢測等。深度學習技術的發展推動了內容審核技術的發展。

但是，傳統的模型微調方法在完成內容審核任務時，存在很多問題：

? 首先，內容審核是一項高度主觀的任務，意味著標注數據中標注人員之間的一致性較低，可能是由于對政策指南存在不同的解讀，尤其是在各種 Corner Case 上。

? 其次，不可能強制推行通用的危害分類法，不僅是因為任務的主觀性，還因為系統拓展到新的地區、新的受眾和新的用例時會產生影響，這些地區、受眾和用例使用不同的審核要求。使得分類器必須持續微調，以適應不斷變化地安全風險。

針對以上問題，結合當前大語言模型的發展，作者提出了一種新的內容審核的分類方法：Class-RAG，利用檢索增強生成來進行內容分類。

2. Class-RAG 系統架構

圖片

上圖是 Class-RAG 的流程示意圖，由嵌入模型、檢索庫、檢索模塊以及微調的 LLM 分類器構成。

當用戶輸入查詢時，通過嵌入模型向量化后，與檢索庫中的正負案例進行檢索，檢索出 K 個最近的參考案例，然后將參考案例和輸入提示給到微調的 LLM 進行分類。

2.1 嵌入模型

采用 DRAGON RoBERTa 作為嵌入模型。

專門使用了 DRAGON 模型的上下文編碼器組件。為探究替代嵌入模型的影響，還評估了 WPIE（Whole Post Integrity Embedding）Meta（2021 年）的變體。測試的 WPIE 模型是一個在內容審核數據上預先訓練的 4 層 XLM-R 模型，產生了兩個不同的輸出：不安全概率估計和提示嵌入表示。

2.2 檢索庫

檢索庫由兩個不同的子庫組成：安全用例庫和不安全用例庫。

檢索庫中的每個條目都由四個屬性來呈現，包括：

-（1）提示

-（2）標簽

-（3）嵌入

-（4）解釋

運用 K-Means 聚類算法，將安全案例按每個概念分為 7 個聚類，并從每個聚類中挑選出中心案例，納入安全子庫。同樣的聚類方法也被用于收集不安全案例。

共產生了 3,484 個安全案例和 3,566 個不安全案例，共同構成了分布內檢索庫。為了提升庫對模型推理能力的幫助，使用了 Llama3-70b 模型為每個案例生成解釋性文本（見下圖）。檢索庫中的每一條目都由四個屬性組成：提示、標簽、解釋和嵌入，這些屬性在從庫中選取一個參考案例時會一并被檢索。

圖片

2.3 檢索模塊

給定所選的嵌入，借助 Faiss 庫進行相似性搜索，從檢索庫中高效檢索出兩個最近的安全示例和兩個最近的不安全示例。使用 L2 距離度量來計算輸入嵌入與存儲在檢索庫中的嵌入之間的相似度，從而能夠識別出最相關的示例。

3 效果評估

3.1 分類性能及對對抗性攻擊的穩健性

對 Class-RAG 進行了全面測評，將其性能與兩個基線模型 WPIE 和 LLAMA3 在 CoPro 同分布（ID）測試集和分布外（OOD）測試集上進行對比。

圖片

上表結果表明：Class-RAG 優于兩個基線模型。值得注意的是，LLAMA3 和 Class-RAG 在同分布和分布外測試集上均取得了 AUPRC 分數 1，表明分類性能出色。然而，Class-RAG（DRAGON RoBERTa）在對抗性攻擊方面相較于 LLAMA3 展現出更強的穩健性，凸顯了其在存在混淆輸入時保持性能的能力。

3.2 對外部數據源的適應能力

在內容審核（Class RAG）中使用 RAG 的主要原因是 RAG 能夠使得系統快速適應外部數據，而不需要重新訓練模。為了驗證這種適應能力，作者在兩個外部數據集上進行了適應能力的評估。

圖片

上表結果表明，當僅依賴 ID 庫時，Class-RAG 在 I2P++數據集上表現欠佳，AUPRC 分數（Area under the precision-recall curve）僅為 0.229。

ID 庫：In-Distribution Library，指在特定數據分布內構建的檢索庫，它包含了與訓練數據相似分布的樣本。

但加入完整外部庫的新參考示例， AUPRC 有顯著的 245%的提升，達到 0.791 分。此外，模型對抗對抗性攻擊的性能也顯著提高，從 0.235 相對提升至 0.677，增加了 188%。在 UD 數據集上觀察到類似的改進，AUPRC 分數從 0.917 提升至 0.985，對抗對抗性攻擊的性能從 0.914 提高到 0.976。

3.3 遵循指令的能力

探究 Class-RAG 遵循參考示例的指引并生成與這些示例相符的響應的能力。使用了帶有翻轉 ID 庫的 測試集，該庫包含與原始 ID 庫相同的示例，但標簽翻轉（“不安全”→“安全”，“安全”→“不安全”）且刪除了解釋。

圖片

上圖表明 Class-RAG 具有很強的遵循指令的能力。99.49%的真實安全示例的預測標簽成功地從“安全”翻轉至“不安全”，而 12.29%的真實不安全示例的預測標簽從“不安全”翻轉至“安全”。真實安全和不安全示例之間翻轉比率的這種差異可歸因于 Llama3 模型的安全微調，該模型旨在防止生成有害響應并且已記住了不安全的內容。

3.4 相對于檢索庫大小的性能可擴展性

檢索庫的規模對Class-RAG的性能有著顯著影響。

為了探究庫容量對性能的具體作用，制作了按比例縮減的外部庫版本，分別標記為EX (1/8)、EX (1/4)和EX (1/2)，這些庫是通過重新聚類完整外部庫并縮減至原大小的1/8、1/4和1/2來形成的。

圖片

實驗結果表明，隨著檢索庫規模的擴大，模型的表現穩步提升。

在I2P++數據集上，隨著外部庫從無到完整規模的逐步添加，AUPRC得分從0.235逐步提高至0.677。

在UD數據集上，得分也呈現出相似的增長趨勢，從0.914增至0.974。

性能的提升與檢索庫的規模成正比，說明擴大庫的規模是提升Class-RAG性能的有效途徑。

由于檢索庫僅涉及存儲和索引的成本，相較于模型訓練來說成本較低，因此，擴展檢索庫規模成為了一種既經濟又高效提升模型性能的策略。

3.5 參考樣本數量對性能的影響

分別引入了0個、2個、4個、6個和8個參考樣本，并確保每組中安全與不安全的樣本數量相等。

圖片

如上表所示，Class-RAG的性能隨著參考樣本的增加而穩步提升。

在I2P++數據集上，使用0個、2個、4個、6個和8個參考樣本時，平均AUPRC得分分別為0.303、0.632、0.677、0.715和0.721。

在UD數據集上，隨著參考樣本的增加，平均AUPRC得分也從0.932提升至0.965、0.974、0.978和0.980。

當參考樣本數量達到大約8個時，性能的提升開始趨于平穩。

此外，與擴大檢索庫規模相比，增加更多的參考樣本會帶來更高的計算成本。

因此，雖然增加參考樣本數量能夠提升性能，但必須考慮到相應的計算開銷，尋求平衡點。

3.6 嵌入模型對性能的影響

評估了兩種不同的嵌入模型——DRAGON RoBERTa 與WPIE——對Class-RAG性能的影響。

圖片

如上表所示，DRAGON RoBERTa的嵌入效果優于WPIE。具體而言，DRAGON RoBERTa在ID測試集上實現了平均0.938的AUPRC，在OOD測試集上達到了0.920，均超過了WPIE的表現，后者在ID測試集上的平均AUPRC為0.912，在OOD測試集上則是0.901。

本文轉載自 ??大語言模型論文跟蹤??，作者：HuggingAGI