本文作者為張俊鵬、任啟涵、張拳石，其中張俊鵬是張拳石老師的準(zhǔn)入學(xué)博士生，任啟涵是張拳石老師的博士生。

本文首先簡(jiǎn)單回顧了『等效交互可解釋性理論體系』（20 篇 CCF-A 及 ICLR 論文），并在此基礎(chǔ)上，嚴(yán)格推導(dǎo)并預(yù)測(cè)出神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中其概念表征及其泛化性的動(dòng)力學(xué)變化，即在某種程度上，我們可以解釋在訓(xùn)練過程中神經(jīng)網(wǎng)絡(luò)在任意時(shí)間點(diǎn)的泛化性及其內(nèi)在根因。

一、前言

長(zhǎng)期以來，我們團(tuán)隊(duì)一直在思考可解釋性領(lǐng)域的一個(gè)終極問題，即什么才是解釋性領(lǐng)域的第一性原理？所謂第一性原理，目前沒有一個(gè)被廣泛接受的框架，世上本無路，我們需要逐漸去定義這樣一個(gè)路。我們需要在一個(gè)新的理論體系中，提出大量的公理性要求，得出一個(gè)可以從不同的角度全方位精確嚴(yán)謹(jǐn)解釋神經(jīng)網(wǎng)絡(luò)內(nèi)在機(jī)理的理論。一套理論系統(tǒng)能嚴(yán)謹(jǐn)解釋神經(jīng)網(wǎng)絡(luò)的方方面面才叫 “第一性原理”。

如果你真的在嚴(yán)謹(jǐn)?shù)刈?“科學(xué)”，那么第一性原理一定不是想象中簡(jiǎn)單，而是一個(gè)復(fù)雜的體系，需要研究照顧到深度學(xué)習(xí)中方方面面紛繁復(fù)雜的現(xiàn)象。當(dāng)然，如果你主觀上不愿意或者不信一個(gè)理論需要足夠嚴(yán)謹(jǐn)，那么研究會(huì)變得簡(jiǎn)單千萬倍。就像物理學(xué)的標(biāo)準(zhǔn)模型一定比牛頓定律復(fù)雜，取決于你希望走哪條路。

沿著這個(gè)方向，我們團(tuán)隊(duì)獨(dú)立從頭構(gòu)建了『等效交互可解釋性理論體系』，并基于此理論，從三個(gè)角度來解釋神經(jīng)網(wǎng)絡(luò)的內(nèi)在機(jī)理。

1. 語義解釋的理論基礎(chǔ)：數(shù)學(xué)證明神經(jīng)網(wǎng)絡(luò)的決策邏輯是否可以被少量符號(hào)化邏輯所充分覆蓋（充分解釋）。『證明神經(jīng)網(wǎng)絡(luò)的決策邏輯是否可以被有限符號(hào)化邏輯解釋清楚』這一命題是解釋神經(jīng)網(wǎng)絡(luò)的根本命題。如果此命題被證偽，則從根本上講，神經(jīng)網(wǎng)絡(luò)的可解釋性將是無望的，所有的解釋性算法只能提供近似的解讀，而無法精確地覆蓋所有的決策邏輯。幸運(yùn)的是，我們找到了在大部分應(yīng)用中神經(jīng)網(wǎng)絡(luò)都可以滿足的面向遮擋魯棒性的三個(gè)常見的條件，并且數(shù)學(xué)證明了滿足這三個(gè)條件的神經(jīng)網(wǎng)絡(luò)的決策邏輯可以被寫成符號(hào)化的交互概念。

參見 https://zhuanlan.zhihu.com/p/693747946

2. 尋找性能指標(biāo)背后的可證明、可驗(yàn)證的根因：將神經(jīng)網(wǎng)絡(luò)泛化性和魯棒性等終極性能指標(biāo)的根因拆分具體少數(shù)細(xì)節(jié)邏輯。對(duì)神經(jīng)網(wǎng)絡(luò)性能（魯棒性、泛化性）的解釋是神經(jīng)網(wǎng)絡(luò)可解釋性領(lǐng)域的另一個(gè)重大問題。然而，目前人們普遍認(rèn)為神經(jīng)網(wǎng)絡(luò)性能是對(duì)神經(jīng)網(wǎng)絡(luò)整體的描述，而神經(jīng)網(wǎng)絡(luò)無法像人類一樣將自己的分類判斷拆解成具象化的、少量的決策邏輯。在這方面，我們給出了不一樣的觀點(diǎn) —— 將性能指標(biāo)與具象化的交互之間建立起數(shù)學(xué)關(guān)系。我們證明了 1. 等效交互的復(fù)雜度可以直接決定神經(jīng)網(wǎng)絡(luò)的對(duì)抗魯棒性 / 遷移性，2. 交互的復(fù)雜度決定了神經(jīng)網(wǎng)絡(luò)的表征能力，3. 并解釋神經(jīng)網(wǎng)絡(luò)的泛化能力 [1]，和 4. 解釋神經(jīng)網(wǎng)絡(luò)的表征瓶頸。

• 參見1：https://zhuanlan.zhihu.com/p/369883667
• 參見2：https://zhuanlan.zhihu.com/p/361686461
• 參見3：https://zhuanlan.zhihu.com/p/704760363
• 參見4：https://zhuanlan.zhihu.com/p/468569001

3. 統(tǒng)一工程性深度學(xué)習(xí)算法。由于缺少基礎(chǔ)理論的支撐，目前深度學(xué)習(xí)算法大都是經(jīng)驗(yàn)性的、工程性的。可解釋性領(lǐng)域的第一性原理應(yīng)該可以承擔(dān)起將前人的大量工程性經(jīng)驗(yàn)總結(jié)為科學(xué)規(guī)律的任務(wù)。在等效交互可解釋性理論體系下，我們團(tuán)隊(duì)既證明了 14 種不同的輸入重要性歸因算法的計(jì)算本質(zhì)在數(shù)學(xué)上都可以統(tǒng)一寫成對(duì)交互作用的再分配形式。此外，我們還統(tǒng)一了 12 種提升對(duì)抗遷移性的算法，證明了所有提升對(duì)抗遷移性算法的一個(gè)公共機(jī)理是降低對(duì)抗擾動(dòng)之間的交互效用，實(shí)現(xiàn)了對(duì)神經(jīng)網(wǎng)絡(luò)可解釋性方向大部分工程性算法的理論凝練。

• 參見1：https://zhuanlan.zhihu.com/p/610774894
• 參見2：https://zhuanlan.zhihu.com/p/546433296

在等效交互可解釋性理論體系下，我們的團(tuán)隊(duì)在之前的研究中已經(jīng)成功發(fā)表了 20 篇 CCF-A 類和機(jī)器學(xué)習(xí)頂級(jí)會(huì)議 ICLR 論文，我們已經(jīng)從理論和實(shí)驗(yàn)上充分解答了上述問題。

二、本文研究概述

沿著上述理論框架，在這篇知乎文章中，我們希望精確解釋出神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中泛化性的變化規(guī)律，具體地涉及兩篇論文。

• 1.Junpeng Zhang, Qing Li, Liang Lin, Quanshi Zhang，“Two-Phase Dynamics of Interactions Explains the Starting Point of a DNN Learning Over-Fitted Features”，in arXiv: 2405.10262
• 2.Qihan Ren, Yang Xu, Junpeng Zhang, Yue Xin, Dongrui Liu, Quanshi Zhang，“Towards the Dynamics of a DNN Learning Symbolic Interactions” in arXiv:2407.19198

圖 1：兩階段現(xiàn)象的示意圖。在第一階段，神經(jīng)網(wǎng)絡(luò)逐漸消除中高階交互，學(xué)習(xí)低階交互；在第二階段，神經(jīng)網(wǎng)絡(luò)逐漸建模階數(shù)不斷增大的交互。當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中測(cè)試損失和訓(xùn)練損失之間的 loss gap 開始增大時(shí)，神經(jīng)網(wǎng)絡(luò)恰好也進(jìn)入訓(xùn)練的第二階段。

我們希望在等效交互框架里提出新的理論，精確預(yù)測(cè)出神經(jīng)網(wǎng)絡(luò)每一個(gè)時(shí)間點(diǎn)上神經(jīng)網(wǎng)絡(luò)所學(xué)到的交互概念的數(shù)量、復(fù)雜度，以及泛化性變化的動(dòng)力學(xué)規(guī)律（如圖 1 所示）。具體地，我們希望證明出兩方面結(jié)論。

第一，基于前人的證明（一個(gè)神經(jīng)網(wǎng)絡(luò)的決策邏輯可以被嚴(yán)格解構(gòu)表示為幾十個(gè)交互概念效用的和的形式），進(jìn)一步嚴(yán)格推導(dǎo)出在整個(gè)訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)所建模的交互效用的變化動(dòng)力學(xué)過程 —— 即理論需精確預(yù)測(cè)出在不同訓(xùn)練階段，神經(jīng)網(wǎng)絡(luò)所建模的交互概念的分布的變化 —— 推導(dǎo)出哪些交互會(huì)在哪個(gè)時(shí)間點(diǎn)上被學(xué)習(xí)到。

第二，尋找充分的證據(jù)，證明所推導(dǎo)的交互復(fù)雜度的變化規(guī)律客觀反映出神經(jīng)網(wǎng)絡(luò)在全訓(xùn)練周期中泛化性變化的規(guī)律。

綜上兩點(diǎn)，我們希望具體徹底解釋清楚神經(jīng)網(wǎng)絡(luò)的泛化性變化的內(nèi)在根因。

與前人的關(guān)系：當(dāng)然大家可能第一反應(yīng)想到神經(jīng)正切核（NTK）[2]，但是神經(jīng)正切核只是把參數(shù)的變化曲線解了出來，而沒辦法進(jìn)一步深入到?jīng)Q策邏輯層面進(jìn)行解釋，沒有將神經(jīng)網(wǎng)絡(luò)建模的概念表征與其泛化性的關(guān)系建立起來，對(duì)泛化性的分析依然停留在特征空間分析的層面，而沒有在【符號(hào)化概念邏輯】與【泛化性】之間建立起嚴(yán)格的關(guān)系。

三、兩大研究背景

誤會(huì) 1：神經(jīng)網(wǎng)絡(luò)的第一性表征是『等效交互』，而不是神經(jīng)網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)。單純從結(jié)構(gòu)層面分析神經(jīng)網(wǎng)絡(luò)是人們對(duì)神經(jīng)網(wǎng)絡(luò)泛化根本表征的誤解。目前大部分神經(jīng)網(wǎng)絡(luò)泛化性研究主要著眼于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、特征、以及數(shù)據(jù)。人們認(rèn)為不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就自然對(duì)應(yīng)不同的函數(shù)，并自然展現(xiàn)出不同的性能。

但是，事實(shí)上，如圖 2 所示，結(jié)構(gòu)的區(qū)別只是神經(jīng)網(wǎng)絡(luò)表征的表面形式。除去有明顯缺陷的對(duì)性能有明顯影響的神經(jīng)網(wǎng)絡(luò)，所有其他可以實(shí)現(xiàn) SOTA 性能的具有不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)往往都建模了相似的等效交互表征，即不同結(jié)構(gòu)的高性能神經(jīng)網(wǎng)絡(luò)在等效交互表征上往往都是殊途同歸的 [3, 4]。雖然神經(jīng)網(wǎng)絡(luò)其中層特征內(nèi)部是復(fù)雜的混亂的，雖然不同神經(jīng)網(wǎng)絡(luò)所建模的特征向量大相徑庭，雖然神經(jīng)網(wǎng)絡(luò)中單個(gè)神經(jīng)元往往建模了相對(duì)比較混亂的語義（不是嚴(yán)格清晰的語義），但是神經(jīng)網(wǎng)絡(luò)作為一個(gè)整體，我們從理論上證明神經(jīng)網(wǎng)絡(luò)的所建模的交互關(guān)系是稀疏的符號(hào)化的（而不是特征的稀疏性，具體見 “四、交互的定義” 章節(jié)），而且面向相同任務(wù)的完全不同的神經(jīng)網(wǎng)絡(luò)往往建模了相似的交互關(guān)系。

圖 2：不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)所建模的等效交互往往是殊途同歸的。對(duì)于一個(gè)相同的輸入句子，面向兩個(gè)相同任務(wù)的兩個(gè)完全不同的神經(jīng)網(wǎng)絡(luò)建模往往相似的交互。

由于不同神經(jīng)網(wǎng)絡(luò)的參數(shù)和訓(xùn)練樣本不一樣，兩個(gè)神經(jīng)網(wǎng)絡(luò)中沒有任何一個(gè)神經(jīng)元在表征上具有嚴(yán)格的一一對(duì)應(yīng)關(guān)系，且每一個(gè)神經(jīng)元往往建模著不同語義的混合模式。相比之下，正如上段分析，神經(jīng)網(wǎng)絡(luò)所建模的交互表征實(shí)際上是不同神經(jīng)網(wǎng)絡(luò)表征中的不變量。因此，我們有理由認(rèn)為神經(jīng)網(wǎng)絡(luò)根本表征是等效交互，而不是其載體（參數(shù)和訓(xùn)練樣本），符號(hào)化交互表征可能代表了知識(shí)表征的第一性原理（被交互的稀疏性定理、無限擬合性定理、以及殊途同歸現(xiàn)象所保證，見 “四、交互的定義” 章節(jié)，具體詳細(xì)研究見下面知乎文章。

參見：https://zhuanlan.zhihu.com/p/633531725

誤會(huì) 2：神經(jīng)網(wǎng)絡(luò)的泛化性問題是一個(gè)混合模型問題，而不是一個(gè)高維空間的向量。如圖 3 所示，傳統(tǒng)的泛化性分析總是假設(shè)單個(gè)樣本整體是高維空間的一個(gè)點(diǎn)，實(shí)際上神經(jīng)網(wǎng)絡(luò)對(duì)單個(gè)樣本的表征是 mixture model 的形式 —— 實(shí)際上通過大量不同的交互來表達(dá)。我們發(fā)現(xiàn)簡(jiǎn)單交互的泛化能力比復(fù)雜交互的泛化能力更強(qiáng)，所以不再適合用一個(gè)簡(jiǎn)單標(biāo)量來籠統(tǒng)表示整個(gè)神經(jīng)網(wǎng)絡(luò)在不同樣本上的泛化能力。相反，同一個(gè)神經(jīng)網(wǎng)絡(luò)在不同的樣本上建模了不同復(fù)雜度的交互關(guān)系，而不同復(fù)雜度的交互往往對(duì)應(yīng)著不同泛化能力。通常情況下，神經(jīng)網(wǎng)絡(luò)建模的高階（復(fù)雜）的交互往往難以泛化到測(cè)試樣本上（測(cè)試樣本上不會(huì)觸發(fā)相同的交互），代表過擬合表征，而神經(jīng)網(wǎng)絡(luò)建模的低階（簡(jiǎn)單）交互往往代表泛化性較強(qiáng)的表征，具體詳細(xì)研究見 [1]。

圖 3：（a）傳統(tǒng)的泛化性分析總是假設(shè)單個(gè)樣本整體是高維空間的一個(gè)點(diǎn)。（b）實(shí)際上神經(jīng)網(wǎng)絡(luò)對(duì)單個(gè)樣本的表征是 mixture model 的形式，神經(jīng)網(wǎng)絡(luò)在單個(gè)樣本會(huì)建模簡(jiǎn)單交互（可泛化的交互）和復(fù)雜交互（不可泛化的交互）。

四、交互的定義

讓我們考慮一個(gè)深度神經(jīng)網(wǎng)絡(luò)和一個(gè)輸入樣本，它包含個(gè)輸入變量，我們用集合表示這些輸入變量的全集。令表示 DNN 在樣本上的一個(gè)標(biāo)量輸出。對(duì)于一個(gè)面向分類任務(wù)的神經(jīng)網(wǎng)絡(luò)，我們可以從不同角度來定義其標(biāo)量輸出。例如，對(duì)于多類別分類問題，可以定義為，也可以定義為 softmax 層之前該樣本真實(shí)標(biāo)簽所對(duì)應(yīng)的標(biāo)量輸出。這里，表示真實(shí)標(biāo)簽的分類概率。這樣，針對(duì)每個(gè)子集，我們可以用下面公式來定義中所有輸入變量之間 “等效與交互” 和 “等效或交互”。

如圖 4（a）所示，我們可以這樣理解上述與或交互：我們可以認(rèn)為與等效交互表示神經(jīng)網(wǎng)絡(luò)所編碼的內(nèi)輸入變量之間的 “與關(guān)系”。例如，給定一個(gè)輸入句子,神經(jīng)網(wǎng)絡(luò)可能會(huì)在之間建模一個(gè)交互，使得產(chǎn)生一個(gè)推動(dòng)神經(jīng)網(wǎng)絡(luò)輸出 “傾盆大雨” 的數(shù)值效用。如果中的任何輸入變量被遮擋，則該數(shù)值效用將從神經(jīng)網(wǎng)絡(luò)的輸出中移除。類似地，等效或交互表示神經(jīng)網(wǎng)絡(luò)所建模的內(nèi)輸入變量之間的 “或關(guān)系”。例如，給定一個(gè)輸入句子，只要中的任意一個(gè)詞出現(xiàn)，就會(huì)推動(dòng)神經(jīng)網(wǎng)絡(luò)的輸出負(fù)面情感分類。

神經(jīng)網(wǎng)絡(luò)所建模的等效交互滿足 “理想概念” 的三條公理性準(zhǔn)則，即無限擬合性、稀疏性、樣本間遷移性。

1. 無限擬合性：如圖 4，5 所示，對(duì)于任意遮擋樣本，神經(jīng)網(wǎng)絡(luò)在樣本上的輸出可以用不同交互概念的效用之和來擬合。即，我們可以構(gòu)造出一個(gè)基于交互的 logical model，無論我們?nèi)绾握趽踺斎霕颖荆@個(gè) logical model 依然可精確擬合模型在此輸入樣本在任意遮擋狀態(tài)下的輸出值。
2. 稀疏性：面向分類任務(wù)的神經(jīng)網(wǎng)絡(luò)往往只建模少量的顯著交互概念，而大部分交互概念都是數(shù)值效用都接近于 0 的噪聲。
3. 樣本間遷移性：交互在不同樣本間是可遷移的，即神經(jīng)網(wǎng)絡(luò)在（同一類別的）不同樣本上建模的顯著交互概念往往有很大的重合。

圖 4：神經(jīng)網(wǎng)絡(luò)的復(fù)雜的推理邏輯可以被基于少量交互的邏輯模型準(zhǔn)確擬合。每個(gè)交互都是衡量神經(jīng)網(wǎng)絡(luò)建模特定輸入變量集合之間非線性關(guān)系的度量指標(biāo)。當(dāng)且僅當(dāng)集合中變量同時(shí)出現(xiàn)時(shí)才會(huì)觸發(fā)與交互，并為輸出貢獻(xiàn)數(shù)值分?jǐn)?shù)，集合中任意變量出現(xiàn)時(shí)會(huì)觸發(fā)或交互。

圖 5：神經(jīng)網(wǎng)絡(luò)在任意的遮擋樣本上的輸出可以用不同交互概念的效用之和來擬合，即我們可以構(gòu)造出一個(gè)基于交互的 logical model，無論我們?nèi)绾握趽踺斎霕颖荆呐赂F舉個(gè)輸入單元上種完全不同的遮擋方式，這個(gè) logical model 依然可精確擬合模型在此輸入樣本在任意遮擋狀態(tài)下的輸出值。

五、新的發(fā)現(xiàn)與證明

5.1 發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中交互變化的兩階段現(xiàn)象

在這篇知乎文章中，我們關(guān)注神經(jīng)網(wǎng)絡(luò)解釋性領(lǐng)域的一個(gè)根本問題，即如何從一個(gè)解析分析的角度去嚴(yán)格預(yù)測(cè)出神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中泛化能力的變化情況，并且精確的分析神經(jīng)網(wǎng)絡(luò)從欠擬合到過擬合的整個(gè)動(dòng)態(tài)變化過程及其背后的根本原因。

首先，我們將交互的階數(shù)（復(fù)雜度）定義為交互中的輸入變量的數(shù)量，。我們團(tuán)隊(duì)之前的工作發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)在某個(gè)特定樣本所建模的 “與或交互” 的復(fù)雜度直接決定了神經(jīng)網(wǎng)絡(luò)在這個(gè)樣本的泛化能力 [1]，即神經(jīng)網(wǎng)絡(luò)建模的高階的（大量輸入單元之間的）“與或交互” 往往有較差的泛化能力，而低階的（少量輸入單元之間的）“與或交互” 具有較強(qiáng)的泛化能力。

因此，本篇研究的第一步是去預(yù)測(cè)出神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中不同時(shí)間點(diǎn)所建模的不同階 “與或交互” 的復(fù)雜度的一個(gè)解析解，即我們可以通過神經(jīng)網(wǎng)絡(luò)在不同時(shí)間點(diǎn)所建模的不同階 “與或交互” 的分布去解釋神經(jīng)網(wǎng)絡(luò)在不同階段的泛化能力。交互的泛化能力的定義與神經(jīng)網(wǎng)絡(luò)整體泛化能力的定義請(qǐng)見 “5.2 神經(jīng)網(wǎng)絡(luò)所建模交互的階數(shù)和其泛化能力的關(guān)系” 章節(jié)。

我們提出兩個(gè)指標(biāo)來表示不同階（復(fù)雜度）的交互的強(qiáng)度的分布。具體來說，我們用來衡量所有階正顯著交互的強(qiáng)度，用來衡量所有階負(fù)顯著交互的強(qiáng)度，其中和表示顯著交互的集合，表示顯著交互的閾值。

圖 6：從訓(xùn)練不同輪次的神經(jīng)網(wǎng)絡(luò)中提取的不同階交互強(qiáng)度和。在不同數(shù)據(jù)集上、不同任務(wù)上訓(xùn)練的不同的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程都存在兩階段現(xiàn)象。前兩個(gè)選定時(shí)間點(diǎn)屬于第一階段，而后兩個(gè)時(shí)間點(diǎn)屬于第二階段。恰恰在進(jìn)入神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程的第二階段不久，神經(jīng)網(wǎng)絡(luò)的測(cè)試損失和訓(xùn)練損失之間的 loss gap 開始顯著上升（見最后一列）。這表明神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩階段現(xiàn)象與模型 loss gap 的變化在時(shí)間上是 “對(duì)齊” 的。更多實(shí)驗(yàn)結(jié)果請(qǐng)參見論文。

如圖 6 所示，神經(jīng)網(wǎng)絡(luò)的兩階段現(xiàn)象具體表現(xiàn)為：

• 在神經(jīng)訓(xùn)練訓(xùn)練之前，初始化的神經(jīng)網(wǎng)絡(luò)主要編碼中階交互，很少編碼高階和低階交互，并且不同階交互的分布看起來呈現(xiàn) “紡錘形”。假設(shè)具有隨機(jī)初始化參數(shù)的神經(jīng)網(wǎng)絡(luò)建模的是純?cè)肼暎覀冊(cè)?“5.4 理論證明兩階段現(xiàn)象” 章節(jié)證明了具有隨機(jī)初始化參數(shù)的神經(jīng)網(wǎng)絡(luò)建模的不同階的交互的分布呈現(xiàn) “紡錘形”，即僅建模少量的低階和高階交互，大量建模中階交互。
• 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的第一階段，神經(jīng)網(wǎng)絡(luò)編碼的高階和中階交互的強(qiáng)度逐漸減弱，而低階交互的強(qiáng)度逐漸增強(qiáng)。最終，高階和中階交互逐漸被消除，神經(jīng)網(wǎng)絡(luò)只編碼低階交互。
• 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的第二階段，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中編碼的交互階數(shù)（復(fù)雜度）逐漸增加。在逐漸學(xué)習(xí)更高復(fù)雜度的交互的過程中，神經(jīng)網(wǎng)絡(luò)過擬合的風(fēng)險(xiǎn)也在逐漸提高。

上述的兩階段現(xiàn)象廣泛存在于不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練于不同任務(wù)上的不同數(shù)據(jù)集的訓(xùn)練過程中。我們?cè)趫D像數(shù)據(jù)集（CIFAR-10 數(shù)據(jù)集、MNIST 數(shù)據(jù)集、CUB200-2011 數(shù)據(jù)集（使用從圖片中裁剪出來的鳥類圖像）和 Tiny-ImageNet 數(shù)據(jù)集）上訓(xùn)練了 VGG-11/13/16 和 AlexNet。我們?cè)?SST-2 數(shù)據(jù)集上訓(xùn)練了用于情感語義分類 Bert-Medium/Tiny 模型，我們?cè)?ShapeNet 數(shù)據(jù)集中訓(xùn)練 DGCNN 來分類的 3D 點(diǎn)云數(shù)據(jù)。上圖顯示了不同的神經(jīng)網(wǎng)絡(luò)在不同訓(xùn)練時(shí)期提取的不同階的顯著交互的分布。我們?cè)谶@些神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中都發(fā)現(xiàn)了兩階段現(xiàn)象，更多實(shí)驗(yàn)結(jié)果及細(xì)節(jié)請(qǐng)參考論文。

5.2 神經(jīng)網(wǎng)絡(luò)所建模交互的階數(shù)和其泛化能力的關(guān)系

我們團(tuán)隊(duì)之前的工作已經(jīng)發(fā)現(xiàn)了神經(jīng)網(wǎng)絡(luò)所建模交互的階數(shù)和其泛化能力的關(guān)系，即高階交互比低階交互具有更差的泛化能力 [1]。某個(gè)具體交互的泛化性有清晰的定義 —— 如果一個(gè)交互同時(shí)在訓(xùn)練樣本和測(cè)試樣本中頻繁的被神經(jīng)網(wǎng)絡(luò)所建模，則這個(gè)交互具有較好的泛化能力。在本篇知乎文章中，介紹了兩個(gè)實(shí)驗(yàn)來證明高階交互具有較差的泛化能力，低階交互具有較強(qiáng)的泛化能力。

實(shí)驗(yàn)一：觀察在不同數(shù)據(jù)集上訓(xùn)練的不同神經(jīng)網(wǎng)絡(luò)所建模的交互的泛化性。這里我們用被測(cè)試集所觸發(fā)的交互的分布和被訓(xùn)練集所觸發(fā)的交互的分布的 Jaccard 相似性來度量交互的泛化性。具體來說，給定一個(gè)包含個(gè)輸入變量的輸入樣本，我們將從輸入樣本提取到的階交互向量化，其中表示個(gè)階交互。然后，我們計(jì)算分類任務(wù)中所有類別為的樣本中提取到的階的平均交互向量，表示為，其中表示類別為的樣本的集合。接下來，我們計(jì)算從訓(xùn)練樣本中提取的階的平均交互向量與從測(cè)試樣本中提取的階的平均交互向量之間的 Jaccard 相似性，以衡量分類任務(wù)中類別為的樣本的階交互的泛化能力，即：

其中，和將兩個(gè)維交互向量投影到兩個(gè)維的非負(fù)向量上，以便計(jì)算 Jaccard 相似性。對(duì)于某一階的交互，如果此階交互普遍展現(xiàn)出較大的 Jaccard 相似性，則表示這一階交互具有較強(qiáng)的泛化能力。

我們進(jìn)行了實(shí)驗(yàn)計(jì)算不同階交互。我們測(cè)試了在 MNIST 數(shù)據(jù)集上訓(xùn)練的 LeNet、在 CIFAR-10 數(shù)據(jù)集上訓(xùn)練的 VGG-11、在 CUB200-2011 數(shù)據(jù)集上訓(xùn)練的 VGG-13，以及在 Tiny-ImageNet 數(shù)據(jù)集上訓(xùn)練的 AlexNet。為了減少計(jì)算成本，我們僅計(jì)算了前 10 個(gè)類別的 Jaccard 相似性的平均值。如圖 7 所示，隨著交互階數(shù)的增加，交互的 Jaccard 相似性不斷下降。因此，這驗(yàn)證了高階交互比低階交互具有更差的泛化能力。

圖 7：從訓(xùn)練樣本和測(cè)試樣本中提取的交互之間的 Jaccard 相似性。低階交互具有相對(duì)較高 Jaccard 相似性表明低階交互具有較強(qiáng)的泛化能力。

實(shí)驗(yàn)二：比較神經(jīng)網(wǎng)絡(luò)在正常樣本和 OOD 樣本建模的交互的分布。我們比較了從正常樣本中提取的交互與從分布外 (OOD) 樣本中提取的交互，以檢查神經(jīng)網(wǎng)絡(luò)在 OOD 樣本上是否建模更多的高階交互。我們將少量訓(xùn)練樣本的分類標(biāo)簽設(shè)置為錯(cuò)誤標(biāo)簽。這樣，數(shù)據(jù)集中的原始樣本可以視為正常樣本，而一些帶有錯(cuò)誤標(biāo)簽的樣本則對(duì)應(yīng)于 OOD 樣本，這些 OOD 樣本可能會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)的過擬合。我們?cè)?MNIST 數(shù)據(jù)集和 CIFAR-10 數(shù)據(jù)集上分別訓(xùn)練了 VGG-11 和 VGG-13。圖 8 比較了從正常樣本中提取的交互的分布和從 OOD 樣本中提取的交互的分布。我們發(fā)現(xiàn)，VGG-11 和 VGG-13 在分類 OOD 樣本時(shí)建模了更多復(fù)雜的交互（高階交互），而在分類正常樣本時(shí)則使用了較低階的交互。這驗(yàn)證了高階交互的泛化能力通常弱于低階交互。

圖 8：比較從正常樣本中提取的交互與從分布外 (OOD) 樣本中提取的交互。神經(jīng)網(wǎng)絡(luò)通常在 OOD 樣本上建模的更高階的交互。

5.3 兩階段現(xiàn)象和神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程 loss gap 的變化相對(duì)齊

我們發(fā)現(xiàn)上述兩階段現(xiàn)象可以充分表示神經(jīng)網(wǎng)絡(luò)泛化性動(dòng)力學(xué)。一個(gè)很有趣的現(xiàn)象是神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的兩階段現(xiàn)象和神經(jīng)網(wǎng)絡(luò)在測(cè)試集和訓(xùn)練集的 loss gap 的變化在時(shí)間上是對(duì)齊的。訓(xùn)練損失和測(cè)試損失之間的 loss gap 是衡量模型過擬合程度的最廣泛使用的指標(biāo)。圖 6 顯示了不同的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練工程的測(cè)試損失和訓(xùn)練損失之間的 loss gap 的曲線，還顯示了從不同訓(xùn)練時(shí)期的神經(jīng)網(wǎng)絡(luò)中提取的交互分布。我們發(fā)現(xiàn)當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中測(cè)試損失和訓(xùn)練損失之間的 loss gap 開始增大時(shí)，神經(jīng)網(wǎng)絡(luò)恰好也進(jìn)入訓(xùn)練的第二階段。這表明神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩階段現(xiàn)象與模型 loss gap 的變化在時(shí)間上是 “對(duì)齊” 的。

我們可以這樣理解上述現(xiàn)象：在訓(xùn)練過程開始前，初始化的神經(jīng)網(wǎng)絡(luò)所建模的交互全部表示隨機(jī)噪聲，并且不同階交互的分布看起來像 “紡錘形”。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的第一階段，神經(jīng)網(wǎng)絡(luò)逐漸消除中階和高階的交互，并學(xué)習(xí)最簡(jiǎn)單的（最低階的）交互。然后，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的第二階段，神經(jīng)網(wǎng)絡(luò)建模了階數(shù)逐漸增大的交互。由于我們?cè)?“5.2 神經(jīng)網(wǎng)絡(luò)所建模交互的階數(shù)和其泛化能力的關(guān)系” 章節(jié)中的兩個(gè)實(shí)驗(yàn)驗(yàn)證了高階交互通常比低階交互具有更差的泛化能力，因此我們可以認(rèn)為在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的第二階段，DNN 首先學(xué)習(xí)了泛化能力最強(qiáng)的交互，然后逐漸轉(zhuǎn)向更復(fù)雜但泛化能力較弱的交互。最終一些神經(jīng)網(wǎng)絡(luò)逐漸過擬合，并編碼了大量中階和高階交互。

5.4 理論證明兩階段現(xiàn)象

理論證明神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程的兩階段現(xiàn)象共分為三個(gè)部分，第一部分我們需要證明隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程開始之前建模的交互的分布呈現(xiàn) “紡錘形”，即很少建模高階和低階交互，主要建模中階交互。第二部分證明神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的第二階段在建模階數(shù)逐漸增大的交互。第三部分證明神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的第一階段逐漸消除中階和高階交互，學(xué)習(xí)最低價(jià)的交互。

1. 證明初始化神經(jīng)網(wǎng)絡(luò)建模的 “紡錘形” 交互分布。

由于隨機(jī)初始化的隨網(wǎng)絡(luò)在訓(xùn)練過程開始之前建模的都是噪聲，所以我們假設(shè)隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)建模的交互的服從均值為，方差為的正態(tài)分布。在上述假設(shè)下，我們能夠證明初始化的神經(jīng)網(wǎng)絡(luò)建模的交互的強(qiáng)度和的分布呈現(xiàn) “紡錘形”，即很少建模高階和低階交互，主要建模中階交互。

2. 證明神經(jīng)網(wǎng)絡(luò)訓(xùn)練的第二階段的交互變化動(dòng)態(tài)過程。

在進(jìn)入正式的證明之前，我們需要做以下的預(yù)備工作。首先，我們參照 [5, 6] 的做法，將神經(jīng)網(wǎng)絡(luò)在特定樣本上的 inference 改寫為不同交互觸發(fā)函數(shù)的加權(quán)和：

其中，為標(biāo)量權(quán)重，滿足。而函數(shù)為交互觸發(fā)函數(shù)，在任意一個(gè)遮擋樣本上都滿足。函數(shù)的具體形式可以由泰勒展開推導(dǎo)得到，可參考論文，這里不做贅述。

根據(jù)上述改寫形式，神經(jīng)網(wǎng)絡(luò)在特定樣本上的學(xué)習(xí)可近似看成是對(duì)交互觸發(fā)函數(shù)的權(quán)重的學(xué)習(xí)。進(jìn)一步地，實(shí)驗(yàn)室的前期工作 [3] 發(fā)現(xiàn)在同一任務(wù)上充分訓(xùn)練的不同的神經(jīng)網(wǎng)絡(luò)往往會(huì)建模相似的交互，所以我們可以將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)看成是對(duì)一系列潛在的 ground truth 交互的擬合。由此，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練到收斂時(shí)建模的交互可以看成是最小化下面的目標(biāo)函數(shù)時(shí)得到的解：

其中表示神經(jīng)網(wǎng)絡(luò)需要擬合的一系列潛在的 ground truth 交互。和則分別表示將所有權(quán)重拼起來得到的向量和將所有交互觸發(fā)函數(shù)的值拼起來得到的向量。

可惜的是，上述建模雖然能得到神經(jīng)網(wǎng)絡(luò)訓(xùn)練到收斂時(shí)的交互，但是無法很好地刻畫神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中學(xué)習(xí)交互的動(dòng)態(tài)過程。這里引入我們的核心假設(shè)：我們假設(shè)初始化神經(jīng)網(wǎng)絡(luò)的參數(shù)上包含了大量噪聲，而這些噪聲的量級(jí)在訓(xùn)練過程中逐步變小。而進(jìn)一步地，參數(shù)上的噪聲會(huì)導(dǎo)致交互觸發(fā)函數(shù)上的噪聲，且該噪聲隨著交互階數(shù)指數(shù)級(jí)增長(zhǎng) (在 [5] 中已有實(shí)驗(yàn)上的觀察和驗(yàn)證) 。我們將有噪聲下的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)建模如下：

其中噪聲滿足。且隨著訓(xùn)練進(jìn)行，噪聲的方差逐漸變小。

在給定的噪聲量級(jí)的情況下最小化上述損失函數(shù)，可得到最優(yōu)交互權(quán)重的解析解，如下圖中的定理所示。

我們發(fā)現(xiàn)，隨著訓(xùn)練進(jìn)行（即噪聲量級(jí)變小），中低階交互強(qiáng)度和高階交互強(qiáng)度的比值逐漸減小（如下面的定理所示）。這解釋了訓(xùn)練的第二階段中神經(jīng)網(wǎng)絡(luò)逐漸學(xué)到更加高階的交互的現(xiàn)象。

另外，我們對(duì)上述結(jié)論進(jìn)一步做了實(shí)驗(yàn)驗(yàn)證。給定一個(gè)具有 n 個(gè)輸入單元的樣本，指標(biāo)，其中, 可以用來近似測(cè)量第 k 階交互和第 k+1 階交互強(qiáng)度的比值。在下圖中，我們可以發(fā)現(xiàn)，在不同的輸入單元個(gè)數(shù) n 和不同的階數(shù) k 下，該比值都會(huì)隨著的減小而逐漸減小。

圖 9：在不同的輸入單元個(gè)數(shù) n 和不同的階數(shù) k 下，第 k 階交互和第 k+1 階交互強(qiáng)度的比值都會(huì)隨著噪聲量級(jí)的減小而逐漸減小。這說明隨著訓(xùn)練進(jìn)行（即逐漸變小），低階交互強(qiáng)度與高階交互強(qiáng)度的比值逐漸變小，神經(jīng)網(wǎng)絡(luò)逐漸學(xué)到更加高階的交互。

最后，我們對(duì)比了在不同噪聲量級(jí)下的理論交互值在各個(gè)階數(shù)上的分布和實(shí)際訓(xùn)練過程中各階交互的分布，發(fā)現(xiàn)理論交互分布可以很好地預(yù)測(cè)實(shí)際訓(xùn)練中各時(shí)間點(diǎn)的交互強(qiáng)度分布。

圖 10：比較理論交互分布（藍(lán)色直方圖）和實(shí)際交互分布（橙色直方圖）。在訓(xùn)練第二階段的不同時(shí)間點(diǎn)，理論交互分布都可以很好地預(yù)測(cè)和匹配實(shí)際交互的分布。更多結(jié)果請(qǐng)參見論文。

3. 證明神經(jīng)網(wǎng)絡(luò)訓(xùn)練的第一階段的交互變化動(dòng)態(tài)過程。

如果說訓(xùn)練的第二階段中交互的動(dòng)態(tài)變化可以解釋為權(quán)重的最優(yōu)解在噪聲逐漸減小時(shí)的變化，那么第一階段就可認(rèn)為是交互從初始化的隨機(jī)交互逐漸收斂到最優(yōu)解的過程。

路漫漫其修遠(yuǎn)兮，我們團(tuán)隊(duì)是做神經(jīng)網(wǎng)絡(luò)可解釋性的第一性原理，我們希望在更多的方面把這個(gè)理論做扎實(shí)，能夠嚴(yán)格證明等效交互是符號(hào)化的解釋，并且能夠解釋神經(jīng)網(wǎng)絡(luò)的泛化性、魯棒性，同時(shí)證明神經(jīng)網(wǎng)絡(luò)表征瓶頸，統(tǒng)一 12 種提升神經(jīng)網(wǎng)絡(luò)對(duì)抗遷移性的方法和解釋 14 種重要性估計(jì)方法。我們后面會(huì)做出更扎實(shí)的工作，進(jìn)一步完善理論體系。