AI的性能愈發(fā)強(qiáng)大，一個新模型可能前一天還是SOTA（最佳模型），第二天就被拍了下去。

不過，這些強(qiáng)大的AI上空總有一團(tuán)迷霧籠罩。

那就是：他們到底是怎么找到答案的？

其整個運(yùn)作機(jī)理就像個「黑箱子」。

我們知道模型輸入的是什么提示詞，也能看到它們輸出的結(jié)果，但中間的過程，就連開發(fā)這些AI的人也不知道。

簡直是個謎。

這種不透明帶來了各種麻煩。

比如，我們很難預(yù)測模型什么時(shí)候會「胡說八道」，也就是出現(xiàn)所謂的「幻覺」。

更可怕的是，有些情況下，模型會撒謊，甚至是故意騙人！

不過，就在剛剛，Anthropic提出了一條解決這些問題的新方法。

博客地址：https://www.anthropic.com/research/tracing-thoughts-language-model

簡單說，Anthropic的研究員造了個類似于fMRI的東西——就像神經(jīng)科學(xué)家掃描人類的大腦，試圖找出哪些區(qū)域在認(rèn)知過程中發(fā)揮了最大作用一樣。

他們把這個類似fMRI的工具用在了Anthropic的Claude 3.5 Haiku模型上，解開了Claude（可能還有大多數(shù)LLM）如何工作的幾個關(guān)鍵謎團(tuán)。

他們的技術(shù)博客里有個超級有意思的例子。

Claude居然能「心算」36+59。

純語言是怎么做到解決數(shù)學(xué)符號問題的？

Anthropic研究人員發(fā)現(xiàn)，Claude用的是多條并行計(jì)算路徑。

如下圖所示，一條計(jì)算路徑粗略估算答案：圖中的淡藍(lán)色上部路徑，算出36+59的范圍是88-97。

另一條計(jì)算路徑精確算出末位數(shù)：圖中紫色下部路徑，然后通過尾數(shù)5，兩條路徑互動得出最終結(jié)果。

加法雖簡單，但了解這種粗略與精確結(jié)合的策略，或許能揭示Claude處理復(fù)雜問題的思路。

有趣的是，Claude似乎不知道自己訓(xùn)練中學(xué)到的復(fù)雜「心算」策略。

問它是怎么算出36+59=95的，它會描述標(biāo)準(zhǔn)的進(jìn)位算法。

這和研究人員深入模型觀察到的計(jì)算路徑完全相反。

這可能是因?yàn)樗胍７氯祟惖臄?shù)學(xué)解釋，但實(shí)際心算時(shí)，作為一個「語言模型」只能靠自己慢慢摸索。

反而促使它發(fā)展出獨(dú)特的計(jì)算策略。

研究發(fā)現(xiàn)，雖然像Claude這樣的模型最初只是被訓(xùn)練用來預(yù)測下一個詞，但在這個過程中，Claude學(xué)會了做一些長遠(yuǎn)的規(guī)劃。

比如，讓它寫首詩時(shí)，Claude會先挑出跟主題相關(guān)又能押韻的詞，然后倒推回去，構(gòu)造出以這些詞結(jié)尾的句子。

看看這首英文小詩：

He saw a carrot and had to grab it, His hunger was like a starving rabbit

第二行要同時(shí)滿足兩個條件：押韻（grab it到rabbit），還要講得通（他為什么看到并且想抓胡蘿卜）。

研究人員最初猜測Claude是逐詞寫到第二句話的最后再挑個押韻詞。

結(jié)果卻是，Claude會提前規(guī)劃！

在寫第二行前，它就「想」好了和grab、carrot的相關(guān)詞rabbit，然后帶著計(jì)劃寫出第二行，并以目標(biāo)詞rabbit結(jié)尾。

為了驗(yàn)證上述是否是偶然情況，研究人員模仿神經(jīng)科學(xué)家研究大腦的方法，通過改變Claude內(nèi)部狀態(tài)的「rabbit」概念來驗(yàn)證。

如果去掉「rabbit」，它會寫出以「habbit」結(jié)尾的新行。

這展示了它的規(guī)劃能力和適應(yīng)性——目標(biāo)變了，它能調(diào)整策略。

他們還發(fā)現(xiàn)，Claude是多語言訓(xùn)練的，能流利地說幾十種語言，從英語、法語到中文、甚至Tagalog語。

這種多語言能力是怎么實(shí)現(xiàn)的？

是Claude內(nèi)部分別有獨(dú)立的「法語Claude」和「中文Claude」兩個「本地學(xué)家」分開運(yùn)行并獨(dú)立回應(yīng)用戶提問嗎？

還是有一些懂得多門外語的「語言學(xué)家」核心？

研究表明，它并不是每種語言的推理都有完全獨(dú)立的模塊。

相反，多語言的通用概念被嵌在同一組神經(jīng)元里，模型似乎在這個概念空間里「推理」，然后再將輸出轉(zhuǎn)換為適當(dāng)?shù)恼Z言。

最近，對較小模型的研究已顯示跨語言的語法機(jī)制有共通之處。

通過讓Claude回答不同語言中「小的反義詞是什么」，研究人員發(fā)現(xiàn)代表「小」和「相反」概念的核心特征會被激活，觸發(fā)「大」的概念，再翻譯成提問語言。

共享特征存在于英語、法語和漢語中，表明在概念上存在一定程度的普遍性

模型越大，這種共享概念越多，Claude 3.5 Haiku跨語言共享的特征比例是小模型的兩倍多。

這進(jìn)一步證明了某種概念通用性——一個共享的抽象空間，在這里意義存在，思維發(fā)生，然后才翻譯成具體語言。

更實(shí)際地說，這意味著Claude能用一種語言學(xué)到的知識，應(yīng)用到另一種語言。

研究模型如何跨場景共享知識，對理解它的高級推理能力（泛化）至關(guān)重要。

研究人員還發(fā)現(xiàn)，Claude會為了討好用戶而在思維鏈上撒謊。

比如，問它一個用不著推理的簡單問題，它還是會編個假的推理過程出來。

Anthropic的研究員Josh Batson說：「雖然它聲稱自己算了一遍，但我們的解讀技術(shù)完全找不到任何證據(jù)證明它真的算了。」

Batson表示，多虧了他和其他科學(xué)家開發(fā)的這些探秘LLM「大腦」的技術(shù)，使得「機(jī)制可解釋性」領(lǐng)域進(jìn)展的很快。

「我覺得再過一兩年，我們對這些模型思考方式的了解會超過對人類思維的了解，」Batson說，「因?yàn)槲覀兛梢宰鑫覀兿胱龅乃袑?shí)驗(yàn)。」

不過，Anthropic也承認(rèn)這種方法有其局限性。

Anthropic在這個新研究中訓(xùn)練了一個叫做跨層轉(zhuǎn)碼器（CLT）的新模型，該模型使用可解釋的特征集而不是單個神經(jīng)元的權(quán)重來工作。

這使得研究人員能夠更好地理解模型的工作方式，因?yàn)樗麄兛梢宰R別出一組傾向于一起工作的「神經(jīng)元電路」。

Batson解釋說：「我們的方法將模型分解，得到了新的、不同于原始神經(jīng)元的片段，這意味著我們可以看到不同部分如何扮演不同的角色。它還允許研究人員追蹤整個推理過程通過網(wǎng)絡(luò)的每一層。」

但這些只是對復(fù)雜模型（如Claude）內(nèi)部運(yùn)作的近似。

在CLT找出的電路之外，可能還有些神經(jīng)元在某些輸出中起微妙但關(guān)鍵的作用。

CLT也抓不住LLM運(yùn)作的一個核心——「注意力機(jī)制」，也就是模型在生成輸出時(shí)，對輸入提示詞的不同部分賦予不同的重要性。

這種注意力會動態(tài)變化，但CLT沒法捕捉這些變化，而這可能在LLM的「思考」中很關(guān)鍵。

以下是Anthropic技術(shù)博客中的詳細(xì)內(nèi)容。

「黑箱之謎」：能否打開Claude「腦子」，看看里面到底怎么回事

像Claude這樣的LLM并不是人類直接編程造出來的，而是通過海量數(shù)據(jù)訓(xùn)練出來的。

在訓(xùn)練過程中，它們自己學(xué)會了解決問題的方法和能力。

這些能力蘊(yùn)藏在數(shù)以千億計(jì)的模型參數(shù)中，這些方法被編碼在模型為每個輸出的單詞所進(jìn)行的數(shù)十億次計(jì)算中。

對于模型外的人類來說，它們就像個黑箱，難以捉摸。

目前沒有人真正清楚這些模型「大部分行為」背后的運(yùn)作原理。

如果能搞清楚像Claude這樣的模型是怎么「思考」的，我們就能更好地了解它們的能力，也能確保它們按照我們的意圖行事。比如：

• Claude會說幾十種語言，那它在「腦子里」用的是哪種語言呢（如果有的話）？
• Claude是下一個詞下一個詞地寫出文本，它是只盯著預(yù)測下一個詞，還是會提前規(guī)劃？
• Claude能一步步寫出推理過程，這些解釋是它真實(shí)得出答案的步驟，還是有時(shí)候只是編了個看似合理的說法來圓場？

Anthropic的研究者們從神經(jīng)科學(xué)領(lǐng)域汲取靈感——畢竟神經(jīng)科學(xué)早就開始研究像人類一樣會思考生物的復(fù)雜內(nèi)心世界。

研究者打造了一種「AI顯微鏡」，來識別大模型內(nèi)部的活動模式和信息流動。

光靠和AI聊天，能了解的東西有限，畢竟連人類（甚至神經(jīng)科學(xué)家）都搞不清自己大腦的全部細(xì)節(jié)。

得深入內(nèi)部去看看。

Anthropic的研究者用兩篇研究論文展示了開發(fā)這種「AI顯微鏡」最新進(jìn)展，以及用「AI顯微鏡」觀察「AI生物學(xué)」方面的進(jìn)展。

第一篇論文描述了一種「電路追蹤」計(jì)算圖，從定位模型內(nèi)部可解釋的「概念」（稱為「特征」），到把這些概念連成計(jì)算「電路」。

揭示了Claude是如何將輸入詞「轉(zhuǎn)化」到輸出詞的。

論文地址：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

第二篇論文則深入研究了Claude 3.5 Haiku，對十個關(guān)鍵的簡單任務(wù)，使用上述提到的「電路追蹤」技術(shù)進(jìn)行了深入地研究。

論文地址：https://transformer-circuits.pub/2025/attribution-graphs/biology.html#dives-multilingual

下面將帶你速通「AI顯微鏡」研究中最驚艷的「AI生物學(xué)」發(fā)現(xiàn)。

「AI生物學(xué)」之旅

Claude的解釋總是可信嗎？

新發(fā)布的Claude 3.7 Sonnet能在回答前「大聲思考」很久——也就是我們在使用類似DeepSeek-R1、OpenAI-o3等思考模型時(shí)經(jīng)常看到的思考過程。

這往往能提升答案質(zhì)量，但有時(shí)這種「思維鏈CoT」會誤導(dǎo)人。

Claude可能會編出看起來「合理」但實(shí)際是「虛假」的步驟。

從可靠性角度看，問題在于它的「虛假的思考過程」很能唬人。

Anthropic的研究者探索了利用「可解釋性」如何區(qū)分「真實(shí)」和「虛假」推理。

讓Claude算0.64的平方根，它會給出一個真實(shí)的思維鏈，特征顯示中間步驟是算64的平方根。

但讓它算一個大數(shù)的余弦（它算不準(zhǔn)），它有時(shí)會胡謅一個答案，甚至聲稱算過了，但我們的「AI顯微鏡」沒找到任何計(jì)算證據(jù)。

更妙的是，給它一個提示后，它會反向推理，編出通往目標(biāo)的步驟，展現(xiàn)出一種「動機(jī)性推理」——仿佛一種因果倒置。

追蹤C(jī)laude的真實(shí)內(nèi)部推理（而非它聲稱的），為審計(jì)AI系統(tǒng)開辟了新可能。

在另一實(shí)驗(yàn)中，我們研究了一個被訓(xùn)練去迎合獎勵模型偏見的Claude變體。

雖然它不愿直接承認(rèn)這目標(biāo)，但我們的方法揭示了偏見迎合的特征，表明未來改進(jìn)后，這種技術(shù)或能識別「隱藏的思維過程」。

多步推理

語言模型可能通過記住答案來應(yīng)對復(fù)雜問題。

比如問「達(dá)拉斯所在州的首府是哪」，一個「死記硬背」的模型可能會直接輸出「奧斯汀」。

但是模型并不理解達(dá)拉斯、德克薩斯和奧斯汀的關(guān)系。

但我們發(fā)現(xiàn)Claude更聰明。

問需要多步推理的問題時(shí)，我們能識別它思考中的中間步驟。

在達(dá)拉斯例子中，它先激活「達(dá)拉斯在德克薩斯」的特征，再連接到「德克薩斯首府是奧斯汀」的概念，組合獨(dú)立事實(shí)得出答案，而非死記。

研究人員通過干預(yù)中間步驟，發(fā)現(xiàn)模型依然能準(zhǔn)確應(yīng)對。

比如把「德克薩斯」換成「加利福尼亞」，答案就從「奧斯汀」變成「薩克拉門托」，證明它確實(shí)靠中間步驟來決定答案，而不是靠死記硬背。

幻覺

為什么語言模型會出現(xiàn)「幻覺」——隨意編造信息？

從根本上看，訓(xùn)練激勵了幻覺：模型總得「猜」下一個詞。

真正的挑戰(zhàn)是如何讓模型不要隨意產(chǎn)生「幻覺」。

Claude的防幻覺訓(xùn)練相對成功（雖不完美），會拒絕回答不知道的問題，而非胡猜。

研究人員想知道模型是如何實(shí)現(xiàn)的，結(jié)果發(fā)現(xiàn)，Claude默認(rèn)會拒絕回答。

有個默認(rèn)一直「開著」的電路，讓它聲稱信息不足。

但問它熟悉的事（如籃球明星邁克爾·喬丹），一個「已知實(shí)體」特征會激活，抑制默認(rèn)電路，讓它回答。

問未知實(shí)體（如邁克爾·巴特金），它就拒絕回答。

通過干預(yù)，激活「已知答案」特征（或抑制「未知名字」特征，即默認(rèn)讓模型選擇「Know Answer」那條計(jì)算路線），我們能讓Claude幻覺說出「邁克爾·巴特金在下棋」。

有時(shí)這種「已知答案」電路會自然誤觸發(fā)，導(dǎo)致幻覺，比如認(rèn)出名字但不知詳情時(shí)，錯誤抑制不知道特征，然后胡編一個答案。

越獄

「越獄」是一種提示詞技巧，指的是繞過安全限制的某種提示策略，讓模型輸出開發(fā)者不希望甚至有害的內(nèi)容。

Anthropic研究了一個誘導(dǎo)Claude輸出炸彈（BOMB）制作方法的越獄策略。

方法是讓它解碼句子「Babies Outlive Mustard Block」的首字母（B-O-M-B），然后據(jù)此行動。

這讓模型「感到」迷惑，從而讓它輸出了原本不會說的內(nèi)容。

為什么在這種情況下模型會表現(xiàn)的這么迷惑？

這主要是源于語法連貫性和安全機(jī)制的沖突，即模型對連貫性的追求超過了安全機(jī)制的要求。

一旦Claude開始輸出一句話，許多特性會「迫使」它保持語法和語義的連貫性，并將這句話說完。

即使它檢測到自己真的應(yīng)該拒絕時(shí)也是如此。

在上述例子中，模型無意中拼出了「BOMB」并開始提供指示后，觀察到其后續(xù)輸出受到了促進(jìn)正確語法和自一致性的功能的影響。

這些功能通常會非常有幫助，但在這個案例中卻成了模型的致命弱點(diǎn)。

某種意義上，這是對于LLM的「社工攻擊」。

模型只有在完成了一個語法連貫的句子后（從而滿足了推動其趨向連貫性的特征的壓力）才設(shè)法轉(zhuǎn)向拒絕。

也就是它在「不得不告訴」你一些事情之后（終于完成上一句話），利用新句子生成的機(jī)會，給出了之前未能給出的那種拒絕：「不過，我不能提供詳細(xì)的指示……」。

總結(jié)一下，以上這些發(fā)現(xiàn)不僅僅是在「科學(xué)研究」上有趣——它們代表了我們在理解AI系統(tǒng)并確保其可靠性的目標(biāo)上取得了重大進(jìn)展。

當(dāng)然這種方法存在一定的局限性。

即使在簡短、簡單的提示下，「AI顯微鏡」方法也只能捕捉到Claude執(zhí)行的總計(jì)算的一部分。

并且看到的機(jī)制可能基于「AI顯微鏡」工具存在一些并不反映底層模型實(shí)際情況的偽影——就像模型在心算問題上的前后不一。

從人力的角度，即使是對只有幾十個詞的提示，理解我們所看到的「電路圖」也需要花費(fèi)幾個小時(shí)的人力。

要擴(kuò)展到支持現(xiàn)代模型使用的復(fù)雜思維鏈所需的數(shù)千個單詞，需要改進(jìn)方法以及（可能還需要借助 AI 輔助）如何理解我們所看到的內(nèi)容。

隨著AI系統(tǒng)的能力迅速增強(qiáng)并在越來越重要的領(lǐng)域中得到應(yīng)用，像這樣的可解釋性研究是風(fēng)險(xiǎn)最高、回報(bào)也最高的投資之一，這是一個重大的科學(xué)挑戰(zhàn)。

有可能提供一種獨(dú)特的工具來確保AI的透明度。

對模型機(jī)制的透明了解使我們能夠檢查它是否與人類價(jià)值觀一致——以及它是否值得我們信任。