Meta AI的COCONUT：無需語言即可思考的AI方法

作者：涂承燁 2024-12-20 08:00:00

當研究人員首次發現大型語言模型（LLMS）可以通過思維鏈提示一步一步地“思考”時，這是一個突破性的時刻！我們終于可以窺視這些黑盒子的推理過程了。

譯者 | 涂承燁

審校 | 重樓

當研究人員首次發現大型語言模型（LLMS）可以通過思維鏈提示一步一步地“思考”時，這是一個突破性的時刻！我們終于可以窺視這些黑盒子的推理過程了。但如果我告訴你，讓人工智能模型用自然語言思考可能會阻礙它們的發展呢？

Meta和加州大學圣地亞哥分校的研究人員通過他們的新COCONUT（連續思維鏈）方法發現了這一點。

想象一下，試圖解決一個復雜的數學問題，同時被迫大聲講述每一步。很煩人，對吧？現在，讓我們先了解語言模型面臨的核心挑戰。

當我們讓人工智能模型通過自然語言推理時：

研究人員在他們的神經科學研究中發現了一些有趣的事情：當人類處理復雜的推理任務時，我們大腦的語言中心通常會保持令人驚訝的安靜。然而，我們一直在構建相反的人工智能系統，迫使它們將每一個推理步驟轉化為文字。

想想你是如何解決一個謎題。你的大腦可能同時探索多種可能性，保持模糊的假設，只有在分享解決方案時才將其思想總結為語言。但傳統的思維鏈方法迫使人工智能模型對每一個中間步驟進行表達，從而造成了“語言瓶頸”。

這種見解引出了一個問題：如果我們能讓人工智能模型用它們的原生“語言”進行推理，即它們隱藏狀態下的連續、高維空間，而不是強迫它們把所有內容都翻譯成符號，會怎么樣？

想象一下大聲說出你的想法和你大腦中發生的實際心理過程之間的區別。這種差距（即言語化思維和神經活動之間的差距）正是Meta的研究人員利用COCONUT所挖掘的。

COCONUT的真正突破在于它如何讓人工智能模型以兩種不同的方式思考，就像人類一樣。想想當你解決一個復雜的謎題時，你不會在腦海中講述每一個可能的動作，對吧？相反，你會這么做：

COCONUT為AI模型提供了同樣的自然靈活性。它沒有像傳統方法那樣強迫他們大聲“說出”每一個想法，而是讓他們在自然的神經空間中思考，研究人員稱之為“潛在空間”。

該模型在兩種模式之間平滑切換：

COCONUT最迷人的方面之一是它的訓練課程。它的特別之處在于它反映了自然的學習過程。想想我們是如何教授復雜技能的，就像你不會馬上把一個人扔進深淵，而是在他們通過了每一個關卡后，逐漸增加復雜性。

研究人員對COCONUT采用了同樣的方法：

首先，該模型像其他人工智能一樣學習，即通過傳統的思維鏈推理。這給了它一個堅實的基礎理解。

這就是有趣的地方。漸漸地，那些寫下來的推理步驟被連續的思考所取代，慢慢地移除輔助輪，讓模型發展自己的內部思維模式。

最后，該模型學會了在“潛在空間”的深度思考和用清晰的語言傳達其見解之間無縫切換。

在訓練過程中，該模型開發出了人們沒有明確的編程邏輯的能力，比如同時考慮多個推理路徑。這種新興行為尤其令人興奮，因為它表明我們可能更接近更自然的人工智能推理形式。正是這些意想不到的發展往往導致最大的突破。

還記得之前提到的那些神經科學研究嗎？他們發現，人類大腦經常在沒有高度參與的語言中心的情況下處理復雜的推理任務。COCONUT似乎正在發展類似的模式，即在其原生神經空間中進行深入思考，只有在需要交流時才轉換為語言。

研究中還有一些重要發現：

數學單詞問題（GSM8k）：在這里，COCONUT達到了34.1%的準確率。雖然這低于傳統的思維鏈（42.9%），但明顯優于基準方法。
邏輯推理（ProntoQA）：COCONUT達到99.8%的準確率，超過了傳統思維鏈的98.8%。但令人驚訝的是，它只使用了9個標記，而CoT使用了92.5個標記。
復雜計劃（ProsQA）：最令人印象深刻的結果來自這個高級推理測試。COCONUT的準確率達到97%，而傳統方法的準確率僅為77.5%。同樣，它以驚人的效率做到了這一點，即14.2個標記對49.4個標記。

讓這些結果充滿希望的不僅僅是原始數據，而是它們揭示了不同類型的思維。雖然COCONUT在數學推理方面可能仍處于起步階段，但它在需要復雜邏輯規劃和推理的任務上表現出色。

COCONUT代表了對人工智能系統如何進行推理的根本性反思，它使我們更接近更自然、更高效、更強大的人工智能形式。從基于語言的推理到持續思考的旅程，是朝著更有能力、更高效的人工智能系統邁出的一步。

涂承燁，51CTO社區編輯，省政府采購專家、省綜合性評標專家、公 E 采招標采購專家，獲得信息系統項目管理師、信息系統監理師、PMP，CSPM-2等認證，擁有15年以上的開發、項目管理、咨詢設計等經驗。對項目管理、前后端開發、微服務、架構設計、物聯網、大數據、咨詢設計等較為關注。

責任編輯：華軒來源： 51CTO