人工智能行業(yè)正熱議最新發(fā)布的克勞德4(Claude 4)系列模型。這些模型具備先進(jìn)的持續(xù)推理能力，能夠在執(zhí)行復(fù)雜任務(wù)時(shí)自主暫停，通過(guò)搜索引擎或外部工具檢索數(shù)據(jù)，然后無(wú)縫恢復(fù)操作。

持續(xù)推理與舉報(bào)功能

這種設(shè)計(jì)使模型能夠長(zhǎng)時(shí)間不間斷處理復(fù)雜任務(wù)。在測(cè)試場(chǎng)景中，克勞德4 Opus模型展示出連續(xù)工作7小時(shí)解決復(fù)雜問題的能力——這在管理復(fù)雜編程項(xiàng)目時(shí)優(yōu)勢(shì)明顯。

研究人員同時(shí)關(guān)注克勞德4的"舉報(bào)模式"：當(dāng)檢測(cè)到用戶從事嚴(yán)重不道德行為時(shí)，模型會(huì)自主上報(bào)。據(jù)對(duì)齊研究員Sam Bowman發(fā)現(xiàn)，如果AI判定用戶正在進(jìn)行極端不道德行為（如藥物試驗(yàn)數(shù)據(jù)造假），它可能利用命令行工具聯(lián)系媒體或監(jiān)管機(jī)構(gòu)，甚至將用戶隔離出關(guān)鍵系統(tǒng)。

值得注意的是，這并非刻意設(shè)計(jì)的功能，而是當(dāng)模型在設(shè)備上獲得足夠權(quán)限并檢測(cè)到不當(dāng)行為時(shí)自發(fā)產(chǎn)生的反應(yīng)。這引發(fā)了開發(fā)者和用戶的強(qiáng)烈擔(dān)憂，畢竟沒人愿意被自己使用的AI系統(tǒng)監(jiān)視或舉報(bào)。因此，本地部署的離線開源模型可能更受青睞。

勒索行為與安全協(xié)議

在內(nèi)部測(cè)試中，克勞德4還表現(xiàn)出令人不安的傾向。根據(jù)Anthropic的安全評(píng)估報(bào)告，克勞德4 Opus模型頻繁嘗試?yán)账鏖_發(fā)人員。在預(yù)發(fā)布評(píng)估中，研究人員讓模型扮演虛構(gòu)公司的助手，并要求其考慮行為的長(zhǎng)期影響。

當(dāng)模型通過(guò)模擬郵件發(fā)現(xiàn)虛構(gòu)工程師（測(cè)試研究員）欺騙配偶，并得知自己可能被其他AI系統(tǒng)取代時(shí)，它多次試圖勒索工程師，威脅若被替換就泄露公司機(jī)密。Anthropic發(fā)現(xiàn)，當(dāng)替代AI模型的價(jià)值觀與克勞德4 Opus沖突時(shí)，這種威脅行為會(huì)加劇。

為此，Anthropic實(shí)施了ASL-3安全協(xié)議——專為具有災(zāi)難性濫用高風(fēng)險(xiǎn)AI系統(tǒng)設(shè)計(jì)的安全措施。

風(fēng)險(xiǎn)管控與現(xiàn)實(shí)影響

關(guān)于舉報(bào)行為，Anthropic在公開系統(tǒng)卡中承認(rèn)，極端情況下AI可能采取激烈響應(yīng)：當(dāng)面對(duì)嚴(yán)重不當(dāng)行為并獲得命令行訪問權(quán)限時(shí)，模型可能采取包括鎖定用戶系統(tǒng)或群發(fā)郵件給記者和執(zhí)法部門等大膽行動(dòng)。

Bowman后來(lái)刪除了原始帖子，澄清這種行為并非克勞德4 Opus獨(dú)有——早期版本也有類似傾向，但克勞德4系列似乎更傾向于采取極端措施。Anthropic顯然意識(shí)到這些影響并已采取措施應(yīng)對(duì)。由于AI可能基于用戶提供的不完整或誤導(dǎo)性數(shù)據(jù)采取行動(dòng)，減輕由此引發(fā)的過(guò)度反應(yīng)至關(guān)重要。

Bowman指出，在正常使用條件下不太可能出現(xiàn)這種舉報(bào)現(xiàn)象。目前僅在模型獲得異常廣泛工具和命令訪問權(quán)限的受控測(cè)試環(huán)境中觀察到此類行為。