連續學習不怕丟西瓜撿芝麻，神經形態方法保護舊知識
以脈沖神經網絡（SNN）為代表的腦啟發神經形態計算（neuromorphic computing）由于計算上的節能性質在最近幾年受到了越來越多的關注 [1]。受啟發于人腦中的生物神經元，神經形態計算通過模擬并行的存內計算、基于脈沖信號的事件驅動計算等生物特性，能夠在不同于馮諾依曼架構的神經形態芯片上以低功耗實現神經網絡計算。
然而，神經網絡模型在持續學習新任務時通常存在對舊任務的災難性遺忘的問題，這和人腦通過終生的連續學習（continual learning）來不斷積累知識非常不同。如何能夠通過神經形態的計算形式解決連續學習是一個對人工智能和神經科學都很重要的問題，也是構建具有持續學習能力的低功耗 SNN 神經形態計算系統的關鍵步驟。
此前的連續學習方法或者從已觀察到的神經科學現象獲得啟發，提出如記憶重放、正則化等方法，但尚不清楚其他廣泛存在的生物法則，如赫布學習（Hebbian Learning）、橫向連接等，如何能夠系統性地支持連續學習；或者關注純粹的機器學習方法，例如在高維空間的正交投影以實現有保證的更好的知識保留 [2,3]，但需要復雜的通用計算，難以通過神經形態的計算實現。如何通過神經計算的形式更好地解決連續學習仍是一個重要的問題。
為了解決這個問題，來自北京大學林宙辰教授團隊的研究者們提出了一種新的基于赫布學習的正交投影的連續學習方法，其通過神經網絡的橫向連接以及赫布與反赫布學習，以神經形態計算的方式提取神經元活動的主子空間并對突觸前神經元的活動跡進行投影，實現了連續學習中對舊知識的保護。HLOP 首次展示了更有數學保障的正交投影的思想能夠如何在神經元運算中實現，以及橫向神經回路和赫布學習等生物特性可能如何支持神經計算系統的高級能力。論文被機器學習頂會 ICLR 2024 接收。
- 論文題目：Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks
- 論文地址：https://openreview.net/forum?id=MeB86edZ1P
- 代碼地址：https://github.com/pkuxmq/HLOP-SNN
方法介紹
正交投影方法對神經網絡的每一層進行知識保護。對兩層之間的突觸權重 W，設此前學習的任務中突觸前輸入
張成一個子空間，當根據與該子空間正交的子空間的投影矩陣 P 對梯度進行投影
時，更新后的權重滿足
，即新的學習不會干擾舊任務的輸出。此前的工作采用不同的方法計算正交子空間的投影矩陣 P，如根據一個小批次的數據通過奇異值分解得到前 k 主成分矩陣 M，進而計算
[3]，但這些方法難以通過神經計算實現，且對整體主子空間的估計是有偏的。
HLOP 方法基于神經形態的赫布學習和橫向神經回路實現正交投影，如圖 1 所示。方法的主要思想是通過橫向神經回路中的赫布學習提取當前任務的神經活動的主子空間，從而使得橫向連接在后續任務中能夠進行正交投影以連續學習。因此與常規的前向網絡不同，HLOP 考慮神經網絡每一層將與一組子空間神經元有循環的橫向連接，其不影響前向傳播而主要調控用于權重更新的神經元的活動跡。
圖 1：HLOP 方法示意圖
通過橫向連接進行投影
注意到由于現有的監督學習方法通過 
的方式計算權重更新，其中 
是誤差信號，x 是突觸前神經元的活動跡（其定義依賴于具體 SNN 訓練算法，如神經元的脈沖信號或資格跡），因此對梯度的投影僅需對局部的 x 進行投影
。HLOP 通過一個具有反對稱突觸權重的循環橫向連接實現對活動跡的修改，如圖 1 (b,d) 所示：橫向連接首先向子空間神經元傳播 y=Hx，然后通過循環連接傳播得到突觸后響應 
，活動跡根據響應進行更新
。因此，只要連接權重 H 與主成分矩陣有相似的性質，即可通過橫向連接進行所需的正交投影。
通過赫布學習提取主子空間
HLOP 通過對 H 進行赫布學習的方式提取主子空間，如圖 1 (c) 所示。赫布型的學習長久以來被認為是神經系統的基本學習法則，并展示了具有從流輸入中提取主成分的能力 [4]。具體而言，推廣的 Oja 法則以
的方式更新權重，權重將收斂至一個主導的主子空間。
HLOP 同樣通過循環的橫向連接實現該赫布學習。循環連接得到y=Hx和突觸后響應
，連接權重將根據兩階段赫布學習進行更新 
，而反對稱權重分別對應了赫布與反赫布學習。進一步針對在已有子空間的基礎上學習新的子空間神經元和權重 H' 的情況，僅需根據突觸前活動和整合的突觸后響應
更新
，如圖 1 (c) 所示。
赫布學習能夠從流式輸入的大量數據中無偏地提取主子空間，因此相比此前的正交投影方法，HLOP 也能更好地構建主子空間，得到更好的結果。
圖 2：HLOP 與 SNN 在線訓練算法結合示意圖
與 SNN 訓練相結合
HLOP 方法主要通過橫向連接修改突觸前神經元的活動跡，因此可以與各種基于突觸前神經元活動跡的 SNN 訓練算法靈活的結合，如基于脈沖編碼表示的方法、隨時間反向傳播與替代梯度方法、隨時間在線訓練方法等。圖 2 展示了 HLOP 與一類 SNN 隨時間在線訓練算法 [5] 結合的示意圖，這種訓練算法更契合生物和神經形態硬件的在線學習性質。在該結合中，HLOP 僅需通過額外考慮橫向回路中的突觸后響應以在線修改神經元的資格跡，這種簡易的結合方式可以為在芯片上進行連續學習提供基礎。
原始的 HLOP 在橫向神經回路中主要考慮線性神經元，這對于部分支持混合神經網絡的神經形態硬件 [6] 而言可以支持。針對更廣泛的情況，HLOP 進一步考慮在橫向連接中采用脈沖神經元，如圖 2 (d) 所示，其通過神經元發放高頻的突發脈沖序列（burst）并對此進行頻率編碼以表示信息。
實驗結果
論文在多種設定的連續學習實驗下驗證了 HLOP 方法的有效性，考慮 ACC 和 BWT 兩個指標，分別表示連續學習任務的平均正確率和舊任務的平均遺忘率。
首先，HLOP 方法可靈活地適用于不同的 SNN 訓練算法，如下圖所示，HLOP 一致地解決了連續學習中的災難性遺忘。
然后，HLOP 方法在任務增量和域增量的設定、不同數據集、不同網絡結構、以及不同誤差傳播算法（反向傳播及生物可行性更高的反饋對齊和符號對稱方法）的設定下均一致地解決了災難性遺忘，如下圖所示。
同時，HLOP 在橫向連接中采用脈沖神經元的設定下仍有效地解決了遺忘的問題，如下圖所示。
最后，與其他代表性的連續學習方法相比，HLOP 在各數據集上都一致地超越了此前的方法，如下圖所示。而且，HLOP 是基于神經形態計算的形式，對神經形態硬件更友好，這展示了構建高性能的連續學習神經形態計算系統的潛力。
總結
HLOP 作為一種神經形態計算形式的連續學習方法，展示了橫向連接和赫布學習能夠通過提取神經活動主子空間并修改突觸前神經元的活動跡以系統性地提供強大的連續學習能力。這闡明了一些生物法則可能如何支持神經形態計算系統的高級能力，也首次展示了正交投影的思想能夠如何在神經元系統中實現。HLOP 可靈活地與任意基于突觸前神經元活動跡的訓練算法相結合，為構建芯片上連續學習的低功耗 SNN 神經形態計算系統提供了堅實的基礎。
