本篇工作發表在《Nature Computational Science》上，共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員，北京大學田永鴻教授。共同一作是清華大學錢學森班的本科生何林軒（自動化所實習生）、數理基科班本科生徐蘊輝（自動化所實習生），清華大學精儀系博士生何煒華和林逸晗。

讓模型具有更加廣泛和通用的認知能力，是當前人工智能（AI）領域發展的重要目標。目前流行的大模型路徑是基于 Scaling Law (尺度定律) 去構建更大、更深和更寬的神經網絡提升模型的表現，可稱之為 “基于外生復雜性” 的通用智能實現方法。然而，這一路徑也面臨著一些難以克服的困境，例如高昂的計算資源消耗和能源消耗，并且在可解釋性方面存在不足。

人工智能與神經科學長期以來相互依存，協同發展。為了克服 “基于外生復雜性” 實現通用智能的困境，中國科學院自動化研究所李國齊、徐波研究團隊聯合清華大學、北京大學等借鑒大腦神經元復雜動力學特性，提出了 “基于內生復雜性” 的類腦神經元模型構建方法 （圖 1），改善了傳統模型通過向外拓展規模帶來的計算資源消耗問題，為有效利用神經科學發展人工智能提供了示例。Nature Computational Science 期刊對此評論道：“AI 研究更加貼近工程與應用，而神經科學的研究更加具有探索性。研究團隊挑戰了這一傳統觀點，并表明更詳細且生物學上更真實的神經元模型可以推動深度學習取得更大進展。”

• 論文鏈接：https://www.nature.com/articles/s43588-024-00674-9
• 評論鏈接：https://www.nature.com/articles/s43588-024-00677-6

圖 1. “外生復雜性” 和 “內生復雜性” 定義示意圖。內生復雜性是指向內借鑒大腦神經元復雜動力學特性構建神經網絡基元模型

具有內生復雜性的小網絡模型：生物神經元的啟示

生物神經元具有復雜的內部結構，例如離子通道、突觸傳遞機制等，這些復雜的內部結構使得神經元能夠處理復雜的信號并產生多樣化的響應。相比之下，目前的人工脈沖神經網絡模型，例如經典的 LIF （Leaky Integrate and Fire）網絡，通常采用簡單的內部結構，難以模擬生物神經元的復雜動力學和功能。

在這項研究中，研究者提出了 “具有內生復雜性的小網絡模型” 這一概念，其核心思路是通過模擬生物神經元的復雜動力學，將復雜的內部結構引入單個神經元，從而構建更高效的 AI 模型。例如在本研究中，研究者在脈沖神經網絡中使用 HH（Hodgkin-Huxley）模型來替代傳統的 LIF 模型。作為一種描述神經元動作電位產生機制的數學模型，HH 模型具有由復雜的內部結構帶來的精細動力學，可以模擬神經元對各種刺激的響應。

從外生復雜性至內生復雜性的轉化

理論動力學推導與仿真

研究團隊通過理論證明了 HH 模型與 LIF 模型在動作電位產生機制上存在某種等效關系，即一個 HH 神經元可以和四個時變參數 LIF 神經元（tv-LIF）以特定連接方式形成的微結構等效，其中每個 LIF 神經元描述 HH 模型中的一個離子通道。基于這種等效性，可以通過設計微結構提升計算單元的內生復雜性，使 HH 網絡模型能夠模擬更大規模 LIF 網絡模型的動力學特性，在更小的網絡結構上實現與之相似的計算功能。

研究團隊通過模擬神經元刺激輸入對比網絡輸出對該理論進行了仿真驗證。在相同的輸入刺激下，具有更高外生復雜性的 tv-LIF 網絡能夠與 HH 模型產生相同的輸出響應。進一步，團隊將由四個 tv-LIF 神經元構建的 “HH 模型”（tv-LIF2HH）簡化為 s-LIF2HH 模型，通過仿真實驗驗證了這種簡化模型依然保有捕捉 HH 模型動力學行為的可能性 （圖 2）。

圖 2. “外生復雜性” 和 “內生復雜性” 神經元能夠保持等效的動力學行為，為計算任務簡化后仍舊能夠保持相近的動力學行為

網絡學習實驗對比

除了通過仿真研究相同刺激下不同網絡的動力學行為，研究者構建了更大規模的 HH 網絡模型， s-LIF2HH 網絡模型，并進行了多任務分類和深度強化學習實驗。結果表明，具有內生復雜性 HH 網絡模型能夠與更大規模的 s-LIF2HH 網絡模型在表示能力和魯棒性上具有相似的性能，相比更大規模的一般 LIF 網絡表現出更好的性能。

• 多任務學習實驗：研究者通過使用 Fashion-MNIST 數據集進行多任務學習實驗，結果表明 HH 網絡模型能夠與更大規模的 s-LIF2HH 網絡模型實現相當性能，甚至略優于更大規模的一般 LIF 網絡（圖 3）。

圖 3. 具有內生復雜性的 HH 網絡模型在多任務上能與更大規模外生復雜性網絡絡性能相當

• 時序強化學習實驗：研究者在倒立擺（Inverted Pendulum）和倒立雙擺（Inverted Double Pendulum）環境下進行時序強化學習實驗，結果表明 HH 網絡模型能夠與更大規模的 LIF 網絡模型相比，表現出更強的時序信息提取能力（圖 4）。

圖 4. 具有內生復雜性的 HH 網絡模型在時序強化學習任務上能與更大規模外生復雜性網絡性能相當

• 魯棒性實驗：研究者在多任務學習和深度強化學習任務中添加高斯噪聲，以評估網絡的魯棒性。實驗結果顯示，更大規模的一般 LIF 網絡模型在噪聲影響下性能下降幅度最大，而 HH 網絡模型和更大規模的 s-LIF2HH 網絡模型則表現出更強的魯棒性。在噪聲強度增加的情況下，HH 網絡模型和 s-LIF2HH 網絡模型的獎勵曲線仍然保持接近，并且相比一般 LIF 網絡模型受到的影響顯著地更小（圖 5）。

圖 5. 具有內生復雜性的 HH 網絡模型比更大規模外生復雜性網絡具有更好的魯棒性

實驗證明了內生復雜性模型在處理復雜任務時的有效性和可靠性。同時，研究發現 HH 網絡模型在計算資源消耗上更為高效，顯著減少了內存和計算時間的使用，從而提高了整體的運算效率。研究團隊通過信息瓶頸理論對上述研究結果進行了解釋。除此之外，小規模的模型外部結構相對簡單，更容易理解其決策過程，這也提高了模型的可解釋性和安全性。

結語與展望

具有內生復雜性的小型模型為 AI 的發展帶來了新的機遇。通過模擬生物神經元的復雜動力學，優化模型的局部微結構擴展內生復雜性，我們可以構建更高效、更強大的 AI 模型，并克服外部復雜性大型模型的困境。未來，拓展內生復雜性或將成為 AI 研究的重要方向，并推動 AI 技術走向更廣泛的應用。

本研究為將神經科學的復雜動力學特性融入人工智能提供了新的方法和理論支持，為實際應用中的 AI 模型優化和性能提升提供了可行的解決方案。目前，研究團隊已開展對更大規模 HH 網絡，以及具備更大內生復雜性的多分枝多房室神經元的研究，有望進一步提升大模型計算效率與任務處理能力，實現在實際應用場景中的快速落地。