YoloCS：有效降低特征圖空間復(fù)雜度

作者：計算機視覺研究院 2024-06-05 09:35:00

在今天分享中，研究者檢查了在特征純化和梯度反向傳播過程中信道特征和卷積核之間的關(guān)聯(lián)，重點是網(wǎng)絡(luò)內(nèi)的前向和反向傳播。因此，研究者提出了一種稱為密集通道壓縮的特征空間固化方法。

本文經(jīng)計算機視覺研究院公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

論文地址：YOLOCS: Object Detection based on Dense Channel Compression for Feature Spatial Solidification (arxiv.org)

01 總述

在今天分享中，研究者檢查了在特征純化和梯度反向傳播過程中信道特征和卷積核之間的關(guān)聯(lián)，重點是網(wǎng)絡(luò)內(nèi)的前向和反向傳播。因此，研究者提出了一種稱為密集通道壓縮的特征空間固化方法。根據(jù)該方法的核心概念，引入了兩個用于骨干網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)的創(chuàng)新模塊：用于特征空間固化結(jié)構(gòu)的密集通道壓縮（DCFS）和非對稱多級壓縮解耦頭部（ADH）。當(dāng)集成到Y(jié)OLOv5模型中時，這兩個模塊表現(xiàn)出非凡的性能，從而產(chǎn)生了一個被稱為YOLOCS的改進模型。

在MSCOCO數(shù)據(jù)集上評估，大、中、小YOLOCS模型的AP分別為50.1%、47.6%和42.5%。在保持與YOLOv5模型的推理速度顯著相似的情況下，大、中、小YOLOCS模型分別以1.1%、2.3%和5.2%的優(yōu)勢超過YOLOv5的AP。

02 背景

近年來，目標檢測技術(shù)在計算機視覺領(lǐng)域受到了廣泛關(guān)注。其中，基于單發(fā)多框算法的目標檢測技術(shù)（Single Shot Multi Box Detector，SSD）和基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測技術(shù)（Convolutional Neural Networks，CNN）是兩種最常用的目標檢測技術(shù)。然而，由于單發(fā)多框算法的精度較低，而基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測技術(shù)的計算復(fù)雜度較高，因此，尋找一種高效且精度較高的目標檢測技術(shù)成為了當(dāng)前研究的熱點之一。

Dense Channel Compression（DCC）是一種新型的卷積神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)，它通過對卷積神經(jīng)網(wǎng)絡(luò)中的特征圖進行空間固化，從而實現(xiàn)對網(wǎng)絡(luò)參數(shù)的壓縮和加速。然而，DCC技術(shù)在目標檢測領(lǐng)域的應(yīng)用尚未得到充分的研究。

因此，提出了一種基于Dense Channel Compression的目標檢測技術(shù)，命名為YOLOCS（YOLO with Dense Channel Compression）。YOLOCS技術(shù)將DCC技術(shù)與YOLO（You Only Look Once）算法相結(jié)合，實現(xiàn)了對目標檢測的高效且精度較高的處理。具體來說，YOLOCS技術(shù)通過DCC技術(shù)對特征圖進行空間固化，從而實現(xiàn)對目標位置的精確定位；同時，YOLOCS技術(shù)利用YOLO算法的單發(fā)多框算法特點，實現(xiàn)對目標類別分類的快速計算。

03 新框架

Dense Channel Compression for Feature Spatial Solidification Structure (DCFS)

在提出的方法中（上圖（c））中，研究者不僅解決了網(wǎng)絡(luò)寬度和深度之間的平衡問題，還通過3×3卷積壓縮了來自不同深度層的特征，在輸出和融合特征之前將通道數(shù)量減少了一半。這種方法使研究者能夠在更大程度上細化來自不同層的特征輸出，從而在融合階段增強特征的多樣性和有效性。

此外，來自每一層的壓縮特征都帶有更大的卷積核權(quán)重（3×3），從而有效地擴展了輸出特征的感受野。將這種方法稱為特征空間固化的密集通道壓縮。用于特征空間固化的密集通道壓縮背后的基本原理依賴于利用較大的卷積核來促進通道壓縮。該技術(shù)具有兩個關(guān)鍵優(yōu)點：首先，它擴展了前向傳播過程中特征感知的感受域，從而確保了區(qū)域相關(guān)的特征細節(jié)被納入，以最大限度地減少整個壓縮階段的特征損失。其次，誤差反向傳播過程中誤差細節(jié)的增強允許更準確的權(quán)重調(diào)整。

為了進一步闡明這兩個優(yōu)點，使用具有兩種不同核類型（1×1和3×3）的卷積來壓縮兩個通道，如下圖：

DCFS的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。采用三層瓶頸結(jié)構(gòu)，在網(wǎng)絡(luò)前向傳播的過程中逐漸壓縮信道。半通道3×3卷積應(yīng)用于所有分支，然后是批處理歸一化（BN）和激活函數(shù)層。隨后，使用1×1卷積層來壓縮輸出特征通道，以匹配輸入特征通道。

Asymmetric Multi-level Channel Compression Decoupled Head (ADH)

為了解決YOLOX模型中的解耦頭問題，研究者進行了一系列的研究和實驗。研究結(jié)果揭示了解耦頭部結(jié)構(gòu)的利用與相關(guān)損失函數(shù)之間的邏輯相關(guān)性。具體而言，對于不同的任務(wù)，應(yīng)根據(jù)損失計算的復(fù)雜性調(diào)整解耦頭的結(jié)構(gòu)。此外，當(dāng)將解耦的頭部結(jié)構(gòu)應(yīng)用于各種任務(wù)時，由于最終輸出維度的差異，將前一層的特征通道（如下圖）直接壓縮為任務(wù)通道可能會導(dǎo)致顯著的特征損失。這反過來又會對模型的整體性能產(chǎn)生不利影響。

此外，當(dāng)考慮提出的用于特征空間固化的密集通道壓縮方法時，直接減少最終層中的通道數(shù)量以匹配輸出通道可能會導(dǎo)致前向傳播過程中的特征丟失，從而降低網(wǎng)絡(luò)性能。同時，在反向傳播的背景下，這種結(jié)構(gòu)可能會導(dǎo)致次優(yōu)誤差反向傳播，阻礙梯度穩(wěn)定性的實現(xiàn)。為了應(yīng)對這些挑戰(zhàn)，引入了一種新的解耦頭，稱為非對稱多級通道壓縮解耦頭（如下圖（b））。

具體而言，研究者深化了專用于目標評分任務(wù)的網(wǎng)絡(luò)路徑，并使用3個卷積來擴展該任務(wù)的感受野和參數(shù)數(shù)量。同時，沿著通道維度壓縮每個卷積層的特征。該方法不僅有效地減輕了與目標評分任務(wù)相關(guān)的訓(xùn)練難度，提高了模型性能，而且大大減少了解耦頭部模塊的參數(shù)和GFLOP，從而顯著提高了推理速度。此外，使用1卷積層來分離分類和邊界框任務(wù)。這是因為對于匹配的正樣本，與兩個任務(wù)相關(guān)聯(lián)的損失相對較小，因此避免了過度擴展。這種方法大大降低了解耦頭中的參數(shù)和GFLOP，最終提高了推理速度。