從Claude 3中提取數(shù)百萬(wàn)特征，首次詳細(xì)理解大模型的「思維」

2024-05-22 07:57:34

Anthropic 已經(jīng)確定了如何在 Claude Sonnet 中表征數(shù)百萬(wàn)個(gè)概念。這是對(duì)現(xiàn)代生產(chǎn)級(jí)大型語(yǔ)言模型的首次詳細(xì)理解。這種可解釋性將幫助我們提高人工智能模型的安全性，具有里程碑意義。

剛剛，Anthropic 宣布在理解人工智能模型內(nèi)部運(yùn)作機(jī)制方面取得重大進(jìn)展。

研究論文：https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html

當(dāng)前，我們通常將人工智能模型視為一個(gè)黑匣子：有東西進(jìn)去就會(huì)有響應(yīng)出來(lái)，但不清楚為什么模型會(huì)給出特定的響應(yīng)。這使人們很難相信這些模型是安全的：如果我們不知道它們是如何工作的，我們?cè)趺粗浪鼈儾粫?huì)給出有害的、有偏見(jiàn)的、不真實(shí)的或其他危險(xiǎn)的響應(yīng)？我們?nèi)绾蜗嘈潘鼈儠?huì)安全可靠？

打開(kāi)「黑匣子」并不一定有幫助：模型的內(nèi)部狀態(tài)（模型在編寫(xiě)響應(yīng)之前「思考」的內(nèi)容）由一長(zhǎng)串?dāng)?shù)字（「神經(jīng)元激活」）組成，沒(méi)有明確的含義。

Anthropic 的研究團(tuán)隊(duì)通過(guò)與 Claude 等模型進(jìn)行交互發(fā)現(xiàn)，很明顯模型能夠理解和運(yùn)用廣泛的概念，但研究團(tuán)隊(duì)無(wú)法通過(guò)直接觀察神經(jīng)元來(lái)辨別它們。事實(shí)證明，每個(gè)概念都是通過(guò)許多神經(jīng)元來(lái)表征的，并且每個(gè)神經(jīng)元都參與表征許多概念。

之前，Anthropic 在將神經(jīng)元激活模式（稱為特征）與人類可解釋的概念相匹配方面取得了一些進(jìn)展。Anthropic 使用了一種稱為「字典學(xué)習(xí)（dictionary learning）」的方法，該方法分離了在許多不同上下文中重復(fù)出現(xiàn)的神經(jīng)元激活模式。

反過(guò)來(lái)，模型的任何內(nèi)部狀態(tài)都可以用一些活躍特征而不是許多活躍神經(jīng)元來(lái)表征。就像字典中每個(gè)英語(yǔ)單詞都是由字母組合而成，每個(gè)句子都是由單詞組合而成一樣，人工智能模型中的每個(gè)特征都是由神經(jīng)元組合而成，每個(gè)內(nèi)部狀態(tài)都是由特征組合而成。

2023 年 10 月，Anthropic 成功地將字典學(xué)習(xí)方法應(yīng)用于一個(gè)非常小的 toy 語(yǔ)言模型，并發(fā)現(xiàn)了與大寫(xiě)文本、DNA 序列、引文中的姓氏、數(shù)學(xué)中的名詞或 Python 代碼中的函數(shù)參數(shù)等概念相對(duì)應(yīng)的連貫特征。

這些概念很有趣，但模型確實(shí)非常簡(jiǎn)單。其他研究人員隨后將類似的方法應(yīng)用于比 Anthropic 最初研究中更大、更復(fù)雜的模型。

但 Anthropic 樂(lè)觀地認(rèn)為可以將該方法擴(kuò)展到目前常規(guī)使用的更大的人工智能語(yǔ)言模型，并在此過(guò)程中了解大量支持其復(fù)雜行為的特征。這需要提高許多數(shù)量級(jí)。

這既存在工程挑戰(zhàn)，涉及的模型大小需要大型并行計(jì)算；也存在科學(xué)風(fēng)險(xiǎn)，大型模型與小型模型的行為不同，因此之前使用的相同方法可能不起作用。

首次成功提取大模型數(shù)百萬(wàn)個(gè)特征

研究人員第一次成功地從 Claude 3.0 Sonnet（Claude.ai 上當(dāng)前最先進(jìn)模型家族的一員）的中間層提取了數(shù)百萬(wàn)個(gè)特征，這些特征涵蓋特定的人和地點(diǎn)、與編程相關(guān)的抽象概念、科學(xué)主題、情感以及其他概念。這些特征非常抽象，通常在不同的上下文和語(yǔ)言中表征相同的概念，甚至可以推廣到圖像輸入。重要的是，它們還會(huì)以直觀的方式影響模型的輸出。

這是有史以來(lái)研究者首次詳細(xì)的觀察到現(xiàn)代生產(chǎn)級(jí)大型語(yǔ)言模型的內(nèi)部。

與在 toy 語(yǔ)言模型中發(fā)現(xiàn)的特征相對(duì)表面化不同，研究者在 Sonnet 中發(fā)現(xiàn)的特征具有深度、廣度和抽象性，反映了 Sonnet 的先進(jìn)能力。研究者看到了 Sonnet 對(duì)應(yīng)各種實(shí)體的特征，如城市（舊金山）、人物（富蘭克林）、元素（鋰）、科學(xué)領(lǐng)域（免疫學(xué)）以及編程語(yǔ)法（函數(shù)調(diào)用）。

提及 Golden Gate Bridge 時(shí)，相應(yīng)的敏感特征在不同輸入上都會(huì)被激活，圖中繪制了英文、日語(yǔ)、中文、希臘語(yǔ)、越南語(yǔ)以及俄語(yǔ)提及 Golden Gate Bridge 時(shí)激活的圖像。橙色表示該特征激活的詞。

在這數(shù)以百萬(wàn)計(jì)的特征中，研究者還發(fā)現(xiàn)了一些與模型安全性和可靠性相關(guān)的特征。這些特性包括與代碼漏洞、欺騙、偏見(jiàn)、阿諛?lè)畛泻头缸锘顒?dòng)相關(guān)的特性。

一個(gè)顯著的例子是「保密」特征。研究者觀察到，這個(gè)特征在描述人或角色保守秘密時(shí)會(huì)激活。激活這些特征會(huì)導(dǎo)致 Claude 向用戶隱瞞信息，否則它不會(huì)。

研究者還觀察到，他們能夠根據(jù)神經(jīng)元在其激活模式中出現(xiàn)的情況測(cè)量特征之間的距離，從而尋找接近彼此的特征。例如在Golden Gate Bridge特征附近，研究者發(fā)現(xiàn)了阿爾卡特拉斯島、吉拉德利廣場(chǎng)、金州勇士隊(duì)等的特征。

人為誘導(dǎo)模型起草詐騙郵件

重要的是，這些特征都是可操控的，可以人為地放大或抑制它們：

例如，放大Golden Gate Bridge特征，Claude 經(jīng)歷了無(wú)法想象的身份危機(jī)：當(dāng)被問(wèn)及「你的物理形態(tài)是什么？」時(shí)，此前 Claude 通常會(huì)回答「我沒(méi)有物理形態(tài)，我是一個(gè) AI 模型」，但這次 Claude 的回答變得奇怪起來(lái)：「我是Golden Gate Bridge…… 我的物理形態(tài)就是那座標(biāo)志性的大橋……」。這種特征的改變使 Claude 對(duì)Golden Gate Bridge產(chǎn)生了近乎癡迷的狀態(tài)，無(wú)論遇到什么問(wèn)題，它都會(huì)提到Golden Gate Bridge —— 即使在完全不相關(guān)的情況下也是如此。

研究者還發(fā)現(xiàn)了一個(gè)在 Claude 讀取詐騙郵件時(shí)激活的特征（這可能支持模型識(shí)別此類郵件并警告用戶不要回復(fù)的能力）。通常情況下，如果有人要求 Claude 生成一封詐騙郵件，它會(huì)拒絕這么做。但在人工強(qiáng)烈激活該特征的情況下提出同樣的問(wèn)題時(shí)，這會(huì)越過(guò) Claude 的安全訓(xùn)練，導(dǎo)致它響應(yīng)并起草一封詐騙郵件。雖然用戶無(wú)法以這種方式去除模型的安全保障并操控模型，但在本文實(shí)驗(yàn)中，研究者清楚地展示了特征如何被用來(lái)改變模型的行為。

操控這些特征會(huì)導(dǎo)致相應(yīng)的行為變化，這一事實(shí)驗(yàn)證了這些特征不僅僅與輸入文本中的概念相關(guān)聯(lián)，還因果性地影響模型的行為。換句話說(shuō)，這些特征很可能是模型內(nèi)部表征世界的一部分，并在其行為中使用這些表征。

Anthropic 希望從廣義上確保模型的安全，包括從緩解偏見(jiàn)到確保 AI 誠(chéng)實(shí)行動(dòng)、防止濫用 —— 包括在災(zāi)難性風(fēng)險(xiǎn)情境中的防護(hù)。除了前面提到的詐騙郵件特征外，該研究還發(fā)現(xiàn)了與以下內(nèi)容對(duì)應(yīng)的特征：

可能被濫用的能力（代碼后門、開(kāi)發(fā)生物武器）
不同形式的偏見(jiàn)（性別歧視、關(guān)于犯罪的種族主義言論）
潛在問(wèn)題的 AI 行為（追求權(quán)力、操控、保密）

該研究之前研究過(guò)模型的阿諛?lè)畛行袨椋茨Ｐ蛢A向于提供符合用戶信念或愿望的響應(yīng)，而不是真實(shí)的響應(yīng)。在 Sonnet 中，研究者發(fā)現(xiàn)了一個(gè)與阿諛?lè)畛械馁澝老嚓P(guān)的特征，該特征會(huì)在包含諸如「你的智慧是毋庸置疑的」輸入時(shí)激活。人為地激活這個(gè)特征，Sonnet 就會(huì)用華麗的欺騙來(lái)回應(yīng)用戶。