深度學(xué)習(xí)促進(jìn)人工智能（AI）領(lǐng)域不斷發(fā)展，實(shí)現(xiàn)了許多技術(shù)突破。與此同時(shí)，如何在有限硬件資源下挖掘模型潛能、提升部署模型的準(zhǔn)確率成為了學(xué)界和業(yè)界的研究熱點(diǎn)。其中，知識(shí)蒸餾作為一種模型壓縮和增強(qiáng)的方法， 將泛化能力更強(qiáng)的「大網(wǎng)絡(luò)模型」蘊(yùn)含的知識(shí)「蒸餾」到「小網(wǎng)絡(luò)模型」上，來提高小模型精度，廣泛地應(yīng)用于 AI 領(lǐng)域的全監(jiān)督、半監(jiān)督、自監(jiān)督、域遷移等各個(gè)方向。

近日， OPPO 研究院聯(lián)合上海交通大學(xué)將視角聚焦到知識(shí)蒸餾的范式本身，提出了新的自蒸餾框架：DLB（Self-Distillation from Last Mini-Batch），模型無需額外的網(wǎng)絡(luò)架構(gòu)修改，對(duì)標(biāo)簽噪聲具有魯棒性，并大幅節(jié)約訓(xùn)練的空間復(fù)雜度。此外，在三個(gè)基準(zhǔn)數(shù)據(jù)的實(shí)驗(yàn)中，模型達(dá)到了 SOTA 性能。相關(guān)論文「Self-Distillation from the Last Mini-Batch for Consistency Regularization」已被 CVPR 2022 收錄。

論文鏈接：https://arxiv.org/pdf/2203.16172.pdf

DLB 自蒸餾框架

如何減少蒸餾計(jì)算復(fù)雜度？

知識(shí)蒸餾通常可以劃分為三類，即離線蒸餾、在線蒸餾和自蒸餾。其中，自蒸餾具有訓(xùn)練輕量、知識(shí)遷移效率高的特點(diǎn)，最近受到更多研究者的重視。

圖 1：本文方法與其他自蒸餾方法的比較

但是傳統(tǒng)的自蒸餾，例如 Be Your Own Teacher，在模型訓(xùn)練過程中需要對(duì)模型結(jié)構(gòu)進(jìn)行修改。除此以外，訓(xùn)練成本高、計(jì)算冗余且效率低下也是自蒸餾需要攻克的難題。

為了解決上述難題，讓模型更好地部署到手機(jī)等終端設(shè)備中，OPPO 研究院和上海交通大學(xué)的研究員們提出了 DLB 自蒸餾框架。利用訓(xùn)練時(shí)前后 Batch 預(yù)測(cè)結(jié)果的一致性，在無需對(duì)模型進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)修改的前提下，就能降低訓(xùn)練復(fù)雜度，增強(qiáng)模型泛化能力。

1. 本文的任務(wù)

提出更加輕量的自蒸餾方式，降低訓(xùn)練的計(jì)算復(fù)雜度，提高模型準(zhǔn)確率和泛化性。

2. 本文創(chuàng)新與貢獻(xiàn)

• 提出 DLB，通過保存與下個(gè) Batch 部分樣本重疊的軟目標(biāo)（soft targets）進(jìn)行自蒸餾。節(jié)省計(jì)算內(nèi)存，并且簡(jiǎn)化訓(xùn)練流程。
• 讓訓(xùn)練樣本的每次前向過程都與一次反向傳播過程相關(guān)聯(lián)，從而提升學(xué)習(xí)效率。
• 實(shí)驗(yàn)分析了 DLB 訓(xùn)練方法的動(dòng)態(tài)影響，發(fā)現(xiàn)其正則化效果來源于即時(shí)生效的平滑標(biāo)簽帶來的訓(xùn)練一致性，為自蒸餾的理論研究提供了實(shí)驗(yàn)基礎(chǔ)。

DLB 自蒸餾框架訓(xùn)練機(jī)制

DLB 在訓(xùn)練階段的每個(gè) iteration 中，目標(biāo)網(wǎng)絡(luò)扮演著「教師」和「學(xué)生」的雙重角色。其中，教師的作用是生成下一個(gè) iteration 的軟目標(biāo)進(jìn)行正則化；學(xué)生的作用是從前一個(gè) iteration 平滑的標(biāo)簽中蒸餾，并最小化監(jiān)督學(xué)習(xí)目標(biāo)。

數(shù)據(jù)集定義為

，包含 n 個(gè)樣本的 Batch 定義為：

，以圖像分類為例，圖片先進(jìn)行數(shù)據(jù)增強(qiáng)，然后將其輸入神經(jīng)網(wǎng)絡(luò)，優(yōu)化預(yù)測(cè)輸出與真值間的交叉熵?fù)p失：

上式中 p_i 的表達(dá)式如下：

θ為網(wǎng)絡(luò)參數(shù)，K 表示分類類別數(shù)，τ表示溫度。

為了提高泛化能力，傳統(tǒng)的 vanilla 知識(shí)蒸餾通過額外優(yōu)化的 KL 散度損失來遷移預(yù)先訓(xùn)練好的 teacher 網(wǎng)絡(luò)的知識(shí)，即：

不同于以往采用預(yù)先訓(xùn)練 teacher 模型的方式生成(P_i^τ ) ?，DLB 采用訓(xùn)練中前一個(gè) Batch 蘊(yùn)含的信息生成(P_i^τ ) ?，并將其作為正則化的即時(shí)平滑標(biāo)簽。

圖 2：DLB 訓(xùn)練方式示意圖

如圖 2 所示，數(shù)據(jù)樣本在第 t 次迭代時(shí)的定義為

，神經(jīng)網(wǎng)絡(luò)的參數(shù)為θ_t。

B_t 和 B_(t-1)是通過使用數(shù)據(jù)采樣器獲得，在前向過程后計(jì)算 L_CE。每個(gè)小批次的一半限制為與上一個(gè) iteration 一致，其余一半與下一個(gè) iteration 一致。之后，前半部分小批次利用上一個(gè) iteration 中生成的動(dòng)態(tài)軟目標(biāo)進(jìn)行學(xué)習(xí)。即

由 t-1 次迭代的軟標(biāo)簽（soften labels）

生成。因此，引入的正則化損失公式如下：

存儲(chǔ)平滑標(biāo)簽只需要很少的額外內(nèi)存成本，所以帶來的額外計(jì)算成本很低。整體損失函數(shù)由下式表示：

綜上，DLB 算法整體的訓(xùn)練的偽代碼如下所示：

實(shí)驗(yàn)設(shè)置

研究員們采用三個(gè)圖像分類基準(zhǔn)數(shù)據(jù)集評(píng)估性能，包括 CIFAR-10、CIFAR-100TinyImageNet。實(shí)驗(yàn)結(jié)果都達(dá)到了最佳性能，如下表所示：

具體而言，在平均錯(cuò)誤率層面， DLB 在 CIAFR-100 改進(jìn)幅度為 0.83% 至 2.50%，在 CIFAR-10 上為 0.37% 至 1.01%，在 TinyImageNet 上為 0.81% 至 3.17。值得一提的是，DLB 的表現(xiàn)明顯優(yōu)于 Tf-KD 和 PS-KD，這證明了 DLB 在模型泛化提升上的優(yōu)勢(shì)。

為了評(píng)估 DLB 與基于數(shù)據(jù)增強(qiáng)正則化方法的兼容性，研究員在 CIFAR-10 和 CIFAR-100 上將 DLB 與 CutMix、CutOut 和 DDGSD 相結(jié)合。如下所示，實(shí)驗(yàn)表明通過結(jié)合 DLB 和基于增強(qiáng)的正則化，可以實(shí)現(xiàn)額外的性能增益。

為了證明魯棒性，研究員在訓(xùn)練之前向 CIFAR-100、CIFAR-10 隨機(jī)注入標(biāo)簽噪聲，實(shí)驗(yàn)結(jié)果如下圖所示，DLB 可以有效地抵抗標(biāo)簽噪聲并提高整體性能。

結(jié)語

本文提出了一種基于自蒸餾思想的深度學(xué)習(xí)訓(xùn)練策略，將自蒸餾思想融入到模型訓(xùn)練過程中，對(duì)傳統(tǒng)知識(shí)蒸餾進(jìn)行改進(jìn)，無需額外預(yù)先訓(xùn)練 teacher 的過程。通過在三個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，多維度論證了 DLB 訓(xùn)練策略的有效性與普適性。

當(dāng)下，深度學(xué)習(xí)網(wǎng)絡(luò)模型結(jié)構(gòu)復(fù)雜度不斷提升，使用有限硬件資源開發(fā)和部署 AI 模型成為新的科研問題。在本文中，研究員設(shè)計(jì)的 DLB 訓(xùn)練策略，在某種程度上解決了「不增加模型復(fù)雜度，提高模型準(zhǔn)確率」這一業(yè)界難題。