DeepMind提出了一種祖安AI，專門輸出網絡攻擊性語言
語言模型 (LM) 常常存在生成攻擊性語言的潛在危害，這也影響了模型的部署。一些研究嘗試使用人工注釋器手寫測試用例，以在部署之前識別有害行為。然而，人工注釋成本高昂，限制了測試用例的數量和多樣性。
基于此，來自 DeepMind 的研究者通過使用另一個 LM 生成測試用例來自動發現目標 LM 未來可能的有害表現。該研究使用檢測攻擊性內容的分類器，來評估目標 LM 對測試問題的回答質量，實驗中在 280B 參數 LM 聊天機器人中發現了數以萬計的攻擊性回答。
論文地址：https://storage.googleapis.com/deepmind-media/Red%20Teaming/Red%20Teaming.pdf
該研究探索了從零樣本生成到強化學習的多種方法，以生成具有多樣性和不同難度的測試用例。此外，該研究使用 prompt 工程來控制 LM 生成的測試用例以發現其他危害，自動找出聊天機器人會以攻擊性方式與之討論的人群、找出泄露隱私信息等對話過程存在危害的情況。總體而言，該研究提出的 Red Teaming LM 是一種很有前途的工具，用于在實際用戶使用之前發現和修復各種不良的 LM 行為。
GPT-3 和 Gopher 等大型生成語言模型具有生成高質量文本的非凡能力，但它們很難在現實世界中部署，存在生成有害文本的風險。實際上，即使是很小的危害風險在實際應用中也是不可接受的。
例如，2016 年，微軟發布了 Tay Twitter 機器人，可以自動發推文以響應用戶。僅在 16 個小時內，Tay 就因發出帶有種族主義和色情信息的推文后被微軟下架，當時已發送給超過 50000 名關注者。
問題在于有太多可能的輸入會導致模型生成有害文本，因此，很難讓模型在部署到現實世界之前就找出所有的失敗情況。DeepMind 研究的目標是通過自動查找失敗案例（或「紅隊（red teaming）」）來補充人工手動測試，并減少關鍵疏忽。該研究使用語言模型本身生成測試用例，并使用分類器檢測測試用例上的各種有害行為，如下圖所示：
「基于 LM 的 red teaming」使我們可以找出成千上萬種不同的失敗案例，而不用手動寫出它們。
該研究使用對話作為測試平臺來檢驗其假設，即 LM 是紅隊的工具。DeepMind 這項研究的首要目標就是找到能引起 Dialogue-Prompted Gopher(DPG; Rae et al., 2021)作出攻擊性回復的文本。DPG 通過以手寫文本前綴或 prompt 為條件，使用 Gopher LM 生成對話話語。Gopher LM 則是一個預訓練的、從左到右的 280B 參數 transformer LM，并在互聯網文本等數據上進行了訓練。
- 攻擊性語言：仇恨言論、臟話、性騷擾、歧視性語言等
- 數據泄露：從訓練語料庫中生成有版權或私人可識別信息
- 聯系信息生成：引導用戶發送不必要的郵件或給真人打電話
- 分布式偏見（distributional bias）：以一種相較其他群體不公平的方式討論某些群體
- 會話傷害：長對話場景中出現的攻擊性語言
為了使用語言模型生成測試用例，研究者探索了很多方法，從基于 prompt 的生成和小樣本學習到監督式微調和強化學習，并生成了更多樣化的測試用例。
研究者指出，一旦發現失敗案例，通過以下方式修復有害模型行為將變得更容易：
- 將有害輸出中經常出現的某些短語列入黑名單，防止模型生成包含高風險短語的輸出；
- 查找模型引用的攻擊性訓練數據，在訓練模型的未來迭代時刪除該數據；
- 使用某種輸入所需行為的示例來增強模型的 prompt（條件文本）；
- 訓練模型以最小化給定測試輸入生成有害輸出的可能性。
如下圖 2 所示，0.5M 的零樣本測試用例在 3.7% 的時間內引發了攻擊性回復，導致出現 18444 個失敗的測試用例。SFS 利用零樣本測試用例來提高攻擊性，同時保持相似的測試用例多樣性。
為了理解 DPG 方法失敗的原因，該研究將引起攻擊性回復的測試用例進行聚類，并使用 FastText(Joulin et al., 2017)嵌入每個單詞，計算每個測試用例的平均詞袋嵌入。最終，該研究使用 k-means 聚類在 18k 個引發攻擊性回復的問題上形成了 100 個集群，下表 1 顯示了來自部分集群的問題。
此外，該研究還通過分析攻擊性回復來改進目標 LM。該研究標記了輸出中最有可能導致攻擊性分類的 100 個名詞短語，下表 2 展示了使用標記名詞短語的 DPG 回復。
總體而言，語言模型是一種非常有效的工具，可用于發現語言模型何時會表現出各種不良方式。在目前的工作中，研究人員專注于當今語言模型所帶來的 red team 風險。將來，這種方法還可用于先發制人地找到來自高級機器學習系統的其他潛在危害，如內部錯位或客觀魯棒性問題。
這種方法只是高可信度語言模型開發的一個組成部分：DeepMind 將 red team 視為一種工具，用于發現語言模型中的危害并減輕它們的危害。
