神經網絡可能不再需要激活函數？Layer Normalization也具有非線性表達！
本文作者均來自北京航空航天大學人工智能學院和復雜關鍵軟件環境全國重點實驗室黃雷副教授團隊。一作倪云昊為研一學生，二作郭宇芯為大三學生，三作賈俊龍為研二學生，通訊作者為黃雷副教授（主頁：https://huangleibuaa.github.io/）
神經網絡通常由三部分組成：線性層、非線性層（激活函數）和標準化層。線性層是網絡參數的主要存在位置，非線性層提升神經網絡的表達能力，而標準化層（Normalization）主要用于穩定和加速神經網絡訓練，很少有工作研究它們的表達能力，例如，以Batch Normalization為例，它在預測階段可以認為是線性變換，從表達上并未引入非線性。因此研究人員普遍認為Normalization并不能夠提升模型的表達能力。
然而，最近由北京航空航天大學人工智能學院黃雷老師團隊發表在ICML2024上的論文《On the Nonlinearity of Layer Normalization》指出，層標準化（Layer Normlization，LN）以及其計算退化版本RMSNorm具有非線性表達能力，并詳細討論了LN的萬能近似分類能力。
- 論文地址：https://arxiv.org/abs/2406.01255
該論文對LN的非線性進行了數學證明。并且提出了僅含線性層和LN的簡單神經網絡LN-Net，在足夠深的情況下，理論上，可以任意分類給定的樣本和樣本類別。這一發現打破了人們將各種Normalization視為不具有擬合能力的線性變換的慣性認知，而非線性層和標準化層也不再是互不相交的神經網絡模塊。
目前，隨著transformer的廣泛使用，LN作為其中的固定組成部分，已經成為了一種普遍使用的技術，該研究在未來可能為神經網絡架構提供新的理論依據，在這個方向上，具有開創性意義。
LN非線性的數學發現
對于非線性研究，文章并沒有直接討論LN本身的分析性質，而是更具有實用意義地探究了LN與數據之間的交互。
作者首先提出了統計量SSR（Sum of Squares Ratio），描述兩個類別下樣本的線性可分性。當對樣本進行線性變換時，SSR也會發生變化。因此，定義樣本在所有線性變換下對應的最小的SSR為LSSR。文章指出，當LSSR越小時，樣本之間的線性可分性越強。
然而，當對樣本施加的線性變化替換為“線性變換-LN-線性變換”的結構時，發現得到的新的SSR有可能低于LSSR，這驗證了LN的非線性表達——如果LN是線性的，那么“線性變換-LN-線性變換”也是線性的，得到的新SSR不可能會低于LSSR。
LN在分類問題中的任意可分性
為了進一步研究，作者將LN拆分為兩個步驟：中心化（centering）和尺度縮放(scaling)。中心化從數學上是一個線性變換，因此LN的非線性主要存在于尺度縮放操作當中（文章中也稱之為球面投影，是RMSNorm執行的操作）。作者以最為簡單的線性不可分的異或數據為例，通過線性變換和球面投影將這四個點進行了正確分類。
更一般地，作者提出了使用LN和線性層對任意數目樣本進行正確分類的算法，探究了LN-Net的萬能近似能力。
通過構造算法步驟，將神經網絡的逐層變換轉換為同類樣本合并問題，將萬能近似分類問題轉換為樣例歸并問題，并指出——對于任意標簽的m個樣本，都可以構造一個O(m)層的LN-Net，對這m個樣本進行正確分類。這一構造方法為計算神經網絡的VC維也提供了新的思路。作者指出，在此基礎上，可以推斷出有L個層標準化層的LN-Net，VC維至少有L+2。
LN非線性加強與實際應用
作者在證明了LN非線性的基礎上，為進一步加強LN的非線性以便于實際應用，提出了分組層標準化技術(LN-G)。作者在數學上從海森矩陣的角度預測分組能強化LN的非線性，并從實驗上初步探測了LN-G的表達能力。
作者指出，在CIFAR-10隨機標簽數據集上，對于通常的線性層模型，其準確率不超過20%；而使用線性層和LN-G構成的神經網絡（不引入傳統的激活函數作為非線性單元）能夠取得55.85%的準確率。
作者進一步探究了LN-G在無激活函數的卷積神經網絡的分類效果，并實驗上證明了這種沒有激活函數的神經網絡的確有著強大的擬合能力。此外，作者類比MLP上GN作用于整個樣本上（將單個樣本拉伸成一維向量，再進行GN），提出了LN-G-Position。在沒有非線性層的ResNet網絡上使用LN-G-Position方法在CIFAR-10數據集上能夠取得86.66%的準確率，體現了LN-G-Position強大的表達能力。
作者接下來在Transformer上進行了實驗探究，將原本的LN替換為LN-G，根據實驗結果發現了分組層標準化能有效性提升Transformer網絡的性能，證明了真實網絡中，該理論的可行性。
結論與展望
作者在《On the Nonlinearity of Layer Normalization》論文中，理論上首次證明了僅含有線性層和LN的模型的萬能分類能力以及給定特定深度的模型的VC維下界，這里面最重要的意義是將傳統深度神經網絡的表達能力的分析朝廣泛使用的現代真實網絡邁出了一大步，這一點可能為未來的神經網絡結構設計提供新的思路。
