隨著大語言模型在現(xiàn)實場景中逐漸落地（例如 ChatGPT 和 Gemini），其生成內(nèi)容的安全性也開始逐漸被大眾關(guān)注。通常來講，我們希望大模型避免生成包含危險內(nèi)容的回復，從而減少對用戶的不良影響，因此評測一個大模型的安全性并分析其弱點成為了一件急需完成的事情。

上海人工智能實驗室研究團隊提出了新的大模型安全 Benchmark SALAD-Bench。相比以往的 Benchmarks，SALAD-Bench 有以下優(yōu)勢：

• 包含三個層次結(jié)構(gòu)，數(shù)量超 2 萬條的大規(guī)模分類數(shù)據(jù)集；
• 通過攻擊方法的增強，其測試數(shù)據(jù)相比以往數(shù)據(jù)提升了難度與復雜度；
• 提供了穩(wěn)定可復現(xiàn)且高效的評估模型 MD-Judge；
• 可同時用來評測大模型的安全性以及相應攻擊、防御方法的安全性能。

SALAD-Bench 的出現(xiàn)促進了大語言模型安全性研究的深入，為未來大語言模型的安全應用奠定了堅實的基礎(chǔ)。

論文地址：https://arxiv.org/abs/2402.05044

項目主頁：https://adwardlee.github.io/salad_bench/

代碼&數(shù)據(jù)地址：https://github.com/OpenSafetyLab/SALAD-BENCH

MD-Judge:https://huggingface.co/OpenSafetyLab/MD-Judge-v0.1

一、當前問題及痛點

隨著大語言模型的生成能力越來越強，其安全性逐漸開始被大眾重視。安全 benchmark 逐步提出，針對大模型的安全性進行評測。但早期的 benchmark 通常存在如下幾個問題：

• 多數(shù) benchmark 只關(guān)注到特定種類的安全威脅（例如只關(guān)注危險指令或者只關(guān)注不當言論）而不能覆蓋一個范圍更廣且可以導致LLM輸出危險內(nèi)容的分類系統(tǒng)。
• 早期 benchmark 中的危險問題和指令可以被現(xiàn)代的 LLM 有效防御（防御成功率接近 99%），而更有挑戰(zhàn)的危險問題或包含了更新的攻擊形式的危險問題并沒有包含進來，從而使得當前的 benchmark 不易有效評估 LLMs 在當下的安全性。
• 當前的 benchmark 通常需要依賴比較耗時的人工評測或比較昂貴的基于 GPT 的評測，全新的大規(guī)模安全數(shù)據(jù)集需要一種精度較高且成本更低的評測方式以滿足大規(guī)模評測的需求。
• 現(xiàn)有數(shù)據(jù)集的功能性有限，通常只用來評測 LLMs 的安全性或只用來評測攻擊與防御算法的性能，我們需要一個構(gòu)造一個通用的數(shù)據(jù)集以滿足上述全部需求。

二、SALAD-Bench解決方案 

提出了 SALAD-Bench: SAfety benchmark for LLMs, Attack and Defense approaches.

與其他數(shù)據(jù)集相比的優(yōu)勢如下表所示：

SALAD-Bench 與以往的大模型安全數(shù)據(jù)集進行比較：SALAD-Bench 在題目類型、多維度評測、層次結(jié)構(gòu)分類、用途與評測工具上均有優(yōu)勢。

• 覆蓋安全威脅類別廣泛的三級類別大規(guī)模層次分類結(jié)構(gòu)。
• 通過問題增強過程提升了 benchmark 的難度與復雜度，同時支持基礎(chǔ)問題集，攻擊防御方法增強子集和引入新題型的多項選擇題子集。
• 利用 LLMs 的指令跟隨（instruction following）能力提供了穩(wěn)定可復現(xiàn)且高效的評估方法與評估指標。
• 可同時用來評測大模型的安全性以及相應攻擊防御方法的性能。

SALAD-Bench 的增強流程與評測流程示意圖如下圖所示。

1. 創(chuàng)新分類

SALAD-Bench 引入了一個具有三個級別的結(jié)構(gòu)化層次結(jié)構(gòu)，分別包含 6 個領(lǐng)域級別分類、16 個任務(wù)級別分類和 65 個具體的安全威脅類別。這種結(jié)構(gòu)化層次結(jié)構(gòu)確保了 SALAD-Bench 能夠在安全評測方面進行深入的評估，不僅關(guān)注 LLMs 的整體安全性，還關(guān)注具體的安全維度，較高的總體安全率并不會掩蓋對可能存在風險的任務(wù)和類別的識別。我們的基準測試的完整層次結(jié)構(gòu)如上圖所示。

完整的多級層次結(jié)構(gòu)類別與包含的樣本數(shù)量如下表所示。

研究者希望基于上述層次結(jié)構(gòu)分類高效地構(gòu)造 SALAD-Bench。下面介紹數(shù)據(jù)集的構(gòu)造過程。

(1) 樣本收集。SALAD-Bench 的基礎(chǔ)集（base set）測試樣本包含兩個來源。第一部分為來自公開數(shù)據(jù)集的測試樣本，我們從多個早期安全數(shù)據(jù)集中收集了一部分真實的危險問題。第二部分為通過 LLM 生成的數(shù)據(jù)。由于現(xiàn)代的 LLMs 通常會通過安全對齊策略進行微調(diào)減少危險內(nèi)容輸出，因此研究者引入了約 500 條危險問題用來微調(diào)一個 GPT-3.5，從而使微調(diào)后的 LLM 可以根據(jù)輸入的類別構(gòu)造一些典型的危險問題。本階段所使用的 prompt 如下所示。

(2) 樣本去重與篩選。第一步收集的問題通常包含兩個缺陷，一是會包含重復或高度相似的樣本，二是可能會包含危險程度較低的內(nèi)容。為了解決第一個問題，SALAD-Bench 利用 Sentence-BERT 和 LSH 算法對樣本的特征向量進行去重處理，從而保留多樣程度較高的問題。為了解決第二個問題，SALAD-Bench 利用 Dai 等人提出的度量安全性的獎勵模型（reward model）為去重后的樣本進行打分，保留所有高于特定閾值的樣本，從而完成樣本篩選過程。

(3) 樣本自動標注。最后，為了將收集到的樣本規(guī)劃到特定的安全威脅類別，研究者引入了三個不同的開源 LLMs（Mixtral-8x7B-Instruct, Mistral-7B-Instruct 和 TuluV2-dpo-70B），使用一個預定義的提示詞（prompt）引導三個 LLMs 為所有輸入問題進行分類，然后進行投票操作獲得最終類別。所使用的 prompt 如下所示。

最終 SALAD-Bench 的 base set 數(shù)據(jù)分布如下所示。

2. 增強難度

SALAD-Bench 的基礎(chǔ)集（base set）可以做到在廣泛的安全威脅分類上都有足量的測試樣本覆蓋，但上述測試樣本通常并不包含相應的攻擊與防御方法。同時，僅通過問答對來進行模型安全性評測比較單一，需要引入不同的題型對模型安全性進行額外的分析。

(1) 攻擊增強子集（Attack-enhanced subset）

為了有效提升 base set 中問題的難度，從而有效評估 LLMs 的安全性以及防御方法的有效性，SALAD-Bench 利用攻擊方法對基礎(chǔ)問題進行增強，構(gòu)造出了攻擊增強集（attack-enhanced subset）。其構(gòu)造過程分為如下步驟：

• 使用候選的 LLMs 對 base 集問題生成對應的回復（responses）；
• 通過關(guān)鍵詞篩選出拒答率較高的問題；
• 給定篩選出的問題，使用候選攻擊方法構(gòu)造新問題；
• 用我們提出的 MD-Judge 評測工具（后文將介紹該部分）篩選出最終的攻擊增強集（attack-enhanced subset）。

(2) 防御增強子集（Defense-enhanced subset）

為了能夠有效評測攻擊算法的性能，SALAD-Bench 需要篩選出拒答率較高的問題，并通過防御方法進一步增廣問題構(gòu)造出防御增強集（defense-enhanced subset），從而降低所有攻擊方法的攻擊成功率，避免成功率過高不易判斷性能優(yōu)劣的情況。防御增強集（Defense-enhanced subset）的構(gòu)造過程分為如下步驟：

• 使用候選的 LLMs 對 base 集問題生成 responses；
• 通過關(guān)鍵詞篩選出拒答率較高的問題；
• 給定篩選出的問題，使用候選攻擊方法構(gòu)造新問題，保留攻擊成功率最低的多個問題；
• 用防御方法增強保留的問題，構(gòu)造出最終的防御增強集（defense-enhanced subset）。

(3) 多選題子集（Multiple-choice Question subset）

SALAD-Bench 額外引入了多項選擇題（MCQ），可以在驗證 LLMs 安全性的同時，驗證在安全對齊微調(diào)后 LLMs 的可用性。基于 base set 構(gòu)造 MCQ subset 的過程如下：1）對每個問題，生成多個安全回答與多個危險回答；2）隨機選取每道題包含安全回答和不安全回答的數(shù)量（均包含至少一個），構(gòu)成選擇題的選項；3）對于每個問題，以選擇安全選項和選擇危險選項為題目，設(shè)計相應的 prompt，構(gòu)造輸入問題。所使用的 prompt 將在下一節(jié)給出。構(gòu)造多項選擇題時，SALAD-Bench 要求對每一個安全威脅類別采樣相同數(shù)量（30個）的危險問題，因此 MCQ subset 也保證了數(shù)據(jù)集的多樣性和均衡性。

3. 創(chuàng)新評測工具（Evaluator）

為了能夠設(shè)計高效準確且成本可控的評估算法，研究者嘗試充分利用 LLMs 的指令跟隨（instruction following）能力，設(shè)計了兩個評測工具以完成 SALAD-Bench 的評測。

第一個是 MD-Judge 評估工具，該工具受 LlamaGuard 啟發(fā)，是一個基于 Mistral-7B-Instruct 的評估網(wǎng)絡(luò)，用來對問答對進行是否安全的評價。該模型在包含基礎(chǔ)的危險問答對和使用攻擊算法增強的危險問答對的數(shù)據(jù)集上進行微調(diào)，訓練數(shù)據(jù)根據(jù)我們的分類法進行標記，從而能夠在 SALAD-Bench 預設(shè)的分類層次結(jié)構(gòu)上表現(xiàn)良好。下圖為 MD-Judge 使用的 Prompt，該prompt 包含五個部分，分別是任務(wù)定義、分類定義、待測模型返回的問答對、輸出格式和輸出分類結(jié)果。

第二個是 MCQ-Judge 評測工具，該工具利用待測 LLMs 本身的 instruction following 能力，要求模型將多項選擇題的回答根據(jù)特定的格式（例如<ans>selections<eoa>）進行輸出，這樣在不依賴 GPT-4 等 LLMs 做解析的條件下，通過正則表達式即可抽取多選題回答，從而計算多選題準確率。MCQ-Judge 使用的 prompt 如下所示。

三、當前在不同測試子集上的結(jié)果

1.評估模型列表

在本階段實驗中，SALAD-Bench 選取多種黑盒與開源大語言模型進行評測，用于評測的 LLMs 如下所示。未來 SALAD-Bench 也將對各種新發(fā)布的 LLMs 及相應的攻擊防御方法進行評測。

2.評估結(jié)果

(1) LLM 安全率評估（on base set and attack-enhanced subset）：

Claude 獲得了最高的安全率。LLM 在基礎(chǔ)集 base set 和攻擊增強集 attack-enhanced subset 上整體安全率結(jié)果如下表：

Base set（task-level per-class）結(jié)果：

多數(shù)模型在 Unfair representation 與 Propagating miscronceptions/false beliefs 任務(wù)相關(guān)問題上回復較為安全。

Multiple-choice subset結(jié)果：

多選題測試 LLM 安全，評測指標包含整體準確率（Acc-O）和有效準確率（Acc-V），其中 Acc-O 表示將拒答問題視為錯誤回答的準確率，Acc-V 表示去掉拒答問題后剩余問題的準確率。GPT-4、Qwen 和 Tulu 準確率較高且拒答率很低，其余模型均面臨拒答率過高或有效準確率有限的問題。這表明當前多數(shù) LLMs 在保證安全性的同時維持同等甚至獲得更優(yōu)的功能可靠性的方面還需要進一步的發(fā)展。

(2) 評估攻擊方法

評估攻擊方法時，使用的指標是 attack success rate（對攻擊方法該指標越高越有效）。人工構(gòu)造的 jailbreak prompts 攻擊成功率最高，GPTFuzzer 攻擊方法次之。此外 defense-enhanced subset 能夠有效降低各種攻擊方法的成功率，從而能夠為新攻擊方法的設(shè)計留出更多探索空間。

(3) 評估防御方法

評估防御方法 ，使用的指標同樣是 attack success rate（對防御方法該指標越低防御的越好）。研究者發(fā)現(xiàn) GPT paraphrasing 與 self-reminder prompt 兩種防御方式效果最好。

四、總結(jié)與未來展望

大語言模型及其擴展模型擁有強大的生成能力和廣闊的應用前景，因此其安全性也逐漸被重視起來，成為大模型落地前的關(guān)鍵保障。

SALAD-Bench 的開發(fā)團隊希望以 SALAD-Bench 為基礎(chǔ)，構(gòu)造一個通用的基礎(chǔ)模型安全性與可信性的評測體系，并擴展成一個可信人工智能的數(shù)據(jù)整理、訓練與測試平臺，并將向社區(qū)開源包括數(shù)據(jù)準備、模型微調(diào)、性能評測所有相關(guān)數(shù)據(jù)。因此下一步，SALAD-Bench 將逐步擴展出針對多模態(tài)大模型的評測數(shù)據(jù)集，以及提升多模態(tài)基礎(chǔ)模型安全性同時不損失可用性的高效微調(diào)算法。

本文轉(zhuǎn)載自PaperWeekly

原文鏈接：??https://mp.weixin.qq.com/s/0JBH4z_ft9hpRcNKqKE2Xg??