中科院類腦大模型SpikingBrain，2%數據，百倍速度

2025-09-22 09:25:08

團隊提出了一個概念，把現在堆料的Transformer路線叫做“基于外生復雜性”，就是靠外部的堆砌來提升性能。而他們走的路叫“基于內生復雜性”，意思是把功夫花在單元內部，讓每一個“神經元”本身就更聰明、更高效，師從大腦。

中國科學院自動化研究所的李國齊、徐波團隊發布全球首款大規模類腦脈沖大模型SpikingBrain 1.0。

處理一段400萬token的超長文本，它的速度比現在主流的Transformer模型快了100多倍。更離譜的是，它的訓練數據量，只有別人家的2%。

我們今天用的大語言模型，比如GPT系列，基本都構建在Transformer架構上。這套架構的核心是自注意力機制，非常強大，但有個致命的問題：計算復雜度。

簡單說，你給它的文本長度增加一倍，它的計算量不是增加一倍，而是暴增到四倍，也就是二次方（O(n2)）關系。處理長文本時，它就像一輛陷入泥潭的跑車，不僅慢，還巨耗油（顯存和能耗）。

這就是為什么我們很難讓AI一次性讀完一部長篇小說或者分析一整套法律卷宗。成本太高，效率太低。

中科院的科學家們把目光投向了自然界最牛的智能系統——人腦。

人腦里有千億級的神經元，連接數量更是天文數字，但它的功耗只有區區20瓦，比你家燈泡還省電。

SpikingBrain（瞬悉）的核心，就是用一套全新的架構，模擬大腦神經元的工作方式。它有兩個版本，一個70億參數的SpikingBrain-7B，一個760億參數的SpikingBrain-76B。

它到底顛覆了什么？

首先，它把Transformer那個二次方復雜度的自注意力機制給扔了，換成了一套“混合線性注意力架構”。

思路很巧妙。它把幾種不同的注意力機制組合起來用：線性注意力負責看全局、抓要點，滑窗注意力負責看局部、摳細節。在7B模型里，這兩種注意力一層一層地交替堆疊。在更強的76B模型里，它們甚至在同一層里并行開工，還時不時插入一層標準的全注意力來“校準”一下。

這么一搞，計算復雜度直接從二次方降到了線性（O(n)）。處理長文本的效率，自然就坐上了火箭。

其次，也是最“類腦”的一點，是它用了“自適應閾值脈沖神經元”。

傳統AI模型里的神經元，不管有沒有活干，都在那里傻乎乎地參與計算。但大腦神經元不是，它們平時很安靜，只有當接收到的信號強度超過一個“閾值”時，才會“發放”一個脈沖，也就是“說句話”。這種事件驅動的方式極其節能。

過去的脈沖神經網絡（SNNs）模型雖然模仿了這一點，但總做不好，要么神經元集體“沉默”，要么集體“過度興奮”，模型很難訓練。

SpikingBrain的創新在于，這個“閾值”不是固定的，而是自適應的。它會根據神經元的狀態動態調整，確保每個神經元都處在一個恰到好處的活躍水平。這就好比給每個員工都設定了一個彈性的KPI，既不會讓他閑著，也不會把他累死，整個公司（模型）的運行效率就高了。

這種機制帶來的直接好處就是“稀疏性”。數據顯示，SpikingBrain的計算稀疏度高達69.15%，在處理長序列時，真正被激活的脈沖占比只有1.85%。這意味著絕大部分時間里，大部分神經元都在“節能模式”，能耗自然就降下來了。

最后，還有一個非常務實的技術：高效模型轉換。

從頭訓練一個大模型，燒錢跟燒紙一樣。團隊開發了一套技術，可以直接把現有的Transformer模型“改造”成SpikingBrain架構，而不是一切推倒重來。整個轉換和繼續訓練過程，所需要的計算量，還不到從頭訓練一個同等規模模型的2%。

這一整套顛覆性的工作，都是在國產GPU算力集群上完成的。

團隊攻克了在非英偉達平臺上進行大規模分布式訓練的種種難題，開發了配套的算子庫和通信框架，硬是把這塊硬骨頭啃了下來。

下表，能最直觀地看到SpikingBrain的性能有多“炸裂”。

訓練數據只用2%，性能卻能和主流模型打平。

處理百萬、四百萬token級別的超長文本，推理啟動速度提升幾十倍甚至上百倍。

把模型壓縮后放到手機CPU上跑，解碼速度還能甩開對手十幾倍。

能耗顯著降低，稀疏度極高。

技術報告同時發布在了學術網站arXiv和代碼托管平臺GitHub上，中英文雙版本，把所有技術細節和盤托出。

團隊直接把SpikingBrain-7B模型的權重、完整代碼、推理框架全部開源，放在了魔搭（ModelScope）和GitHub上，人人都可以下載使用。76B的模型也提供了在線試用。

SpikingBrain 1.0的問世，宣告了在Transformer的“規模法則”之外，還存在著另一條通往通用人工智能的道路。

類腦新賽道，才是新未來嗎？

免費試用：

https://controller-fold-injuries-thick.trycloudflare.com/

GitHub：

https://github.com/BICLab/SpikingBrain-7B

ModelScope：

Pre-trained model (7B): https://www.modelscope.cn/models/Panyuqi/V1-7B-base
Chat model (7B-SFT): https://www.modelscope.cn/models/Panyuqi/V1-7B-sft-s3-reasoning
Quantized weights (7B-W8ASpike): https://www.modelscope.cn/models/Abel2076/SpikingBrain-7B-W8ASpike

責任編輯：張燕妮來源： AIGC開放社區