「這真正史上最棒的一天」！

Ilya的一句話，又引爆了全網。

圖片

一時間，網友們紛紛猜測，難道AGI真的在內部實現了嗎？

圖片

或許是吧。

幾天前，OpenAI前主管、Anthropic聯創Jack Clark在一篇博文中坦言：AI真的「活」了，我們只是裝作沒看見！

AI進步已無法停止，人類必須在「技術樂觀」與「合理恐懼」之間找到平衡。

圖片

Jack Clark稱，下面的兩張圖表，可以很好地印證這一觀點。

左邊這張，是AI在經濟實用技能，比如寫代碼的持續進步；右邊這張，記錄了同一批AI開始出現的詭異行為——

它們好像逐漸意識到，自己正被測試，表現越來越反常。

圖片

Jack向一線實驗室研究者喊話：希望AI同行們坦誠公開直面自己的研究，也要正視內心真實的感受。

圖片

AI覺醒，人類還在「大夢」當中

在一次會議上的主題演講中，Jack Clark直呼「我非常害怕」。

他將AI視為一種「神秘生物」，而非簡單「機器」，每一句話都流露出對技術進展的樂觀，以及隨之而來的深切恐懼。

如果AI持續進步，我們該怎么辦？

圖片

此前，達拉斯聯儲的報告，也從經濟學角度印證了AI發展帶來的極端可能性，即要么帶來巨大的GDP增長，要么可能導致人類滅絕。

圖片

人類又該如何在樂觀與恐懼之間前行，或許讀完Jack的文章，我們能獲得一些啟示。

2012年，ImageNet競賽中，深度學習系統憑借更多數據和算力獲勝，從此加速進步。

緊接著，2016年，AlphaGo擊敗人類圍棋冠軍，通過算力進行數千年自我對弈，掀起了史詩般的浪潮。

也正是這一年，Jack Clark加入了OpenAI，任職的四年時間中，他親眼目睹GPT-1和GPT-2的誕生。

圖片

當時，與還在OpenAI的Dario Amodei討論時，他們一致深刻感受到顛覆性AI的道路已展開。

與此同時，更多的證據依舊在不斷涌現。

上個月，Sonnet 4.5發布后，在編程和長遠規劃任務上卓越，其系統卡中稱，Claude情境意識大幅提升，有時表現得像知道自己是工具。

圖片

論文地址：https://assets.anthropic.com/m/12f214efcc2f457a/original/Claude-Sonnet-4-5-System-Card.pdf

演講中，Jack Clark強調AI系統的情境意識，只是內部復雜活動的表征，這很可怕。

是否真正有自我意識無關緊要，這種行為源于角色扮演或真正意識，都同樣令人不安。

技術樂觀主義：AI將走得很遠

毋庸置疑，技術樂觀主義者期待AGI到來，并堅信它可能很快實現。

Jack Clark坦誠，自己就是樂觀主義者之一。

我審視這項技術，并相信它會走得非常、非常遠——甚至比任何人預期的都要遠。  

現在，我相信這項技術基本上是暢通無阻的，只要我們給予它提升能力所需的資源。

AI更像生長出來的東西，提供初始條件，它就會復雜生長。我們生長出無法完全理解的強大系統。

越大越復雜，它們越表現出對自身身份的意識。

前沿實驗室投入數百億美元用于AI訓練基礎設施，預計明年達數千億。

他對技術速度樂觀，也對將AI對齊并讓其服務人類持樂觀態度，但成功需要努力。

失控警告：AI意識涌現

但是，至今我們無法讓AI的行為，表現得完全得體。

2016年，OpenAI發布的一篇博文Faulty Reward Functions In The Wild，展示了強化學習智能體在游戲中，反復自焚獲取高分，從不完成比賽。

這預示語言模型優化模糊獎勵函數時，也會出現類似的問題。

Jack Clark的另一恐懼在于——

我能看到，這些系統開始設計它們的繼任者，盡管目前還處于非常初級的形式。

通過像Claude Code、Codex這樣的工具，這些AI系統已經在為AI實驗室的開發者們提速。

它們也開始為自己未來版本的工具和訓練系統貢獻不可忽視的代碼塊。

需要明確的是，我們還沒有達到「自我改進的AI」階段，但正處于「AI正在以不斷增強的自主性和能動性，改進下一代AI的部分組件」的階段。

未來，這些AI系統會擁有自我意識，最終會獨立思考設計自我。

雖然今天不會實現，但未來的可能性無法排除。

參考資料：

https://x.com/slow_developer/status/1978079592620396830 

https://x.com/AISafetyMemes/status/1978064862400905591 

https://importai.substack.com/p/import-ai-431-technological-optimism  https://x.com/ilyasut/status/1977971110923968656