本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

在視覺任務上，CNN、ViT各有各的優勢和劣勢。

于是，以經典Backbone為基礎、細節上相互借鑒，成了最近一個熱門研究方向。

前有微軟SwinTransformer引入CNN的滑動窗口等特性，刷榜下游任務并獲馬爾獎。

后有Meta AI的ConvNeXT用ViT上的大量技巧魔改ResNet后實現性能反超。

現在一種全新Backbone——VAN（Visiual Attention Network, 視覺注意力網絡）再次引起學界關注。

因為新模型再一次刷榜三大視覺任務，把上面那兩位又都給比下去了。

VAN號稱同時吸收了CNN和ViT的優勢且簡單高效，精度更高的同時參數量和計算量還更小。

VAN來自清華計圖胡事民團隊，他們提出一個標準大核卷積可以拆解成三部分：

深度卷積(DW-Conv)、深度擴張卷積(DW-D-Conv)和1 × 1卷積(1 × 1 Conv)。

更關鍵的是，再加上一步element-wise相乘可以獲得類似注意力的效果，團隊把新的卷積模塊命名為大核注意力LKA（Large Kernel Attention）

論文最后還提到，現在的VAN只是一個直覺的原始版本、沒有仔細打磨，也就是說后續還有很大提升潛力。

（代碼已開源，地址在文末）

拆解大核卷積能算注意力

注意力機制，可以理解為一種自適應選擇過程，能根據輸入辨別出關鍵特征并自動忽略噪聲。

關鍵步驟是學習輸入數據的長距離依賴，生成注意力圖。

有兩種常用方法來生成注意圖。

第一種是從NLP來的自注意力機制，但用在視覺上還有一些不足，比如把圖像轉換為一維序列會忽略其二維結構。

第二種是視覺上的大核卷積方法，但計算開銷又太大。

為克服上面的問題，團隊提出的LKA方法把大核卷積拆解成三部分。

設擴張間隔為d，一個K x K的卷積可以拆解成K/d x K/d的深度擴張卷積，一個(2d ? 1) × (2d ? 1)的深度卷積核一個1 x 1的point-wise卷積。

△c為通道(channel)

這樣做，在捕捉到長距離依賴的同時節省了計算開銷，進一步可以生成注意力圖。

LKA方法不僅綜合了卷積和自注意力的優勢，還額外獲得了通道適應性。

在CNN里，LKA方法與MobileNet的兩部分拆解法類似，增加的深度擴張卷積可以捕獲長距離依賴。

與ViT相比，解決了自注意力的二次復雜度對高分辨率圖像計算代價太大的問題，

MLP架構中的gMLP也引入了注意力機制，但只能處理固定分辨率的圖像，且只關注了全局特征，忽略了圖像的局部結構。

從理論上來說，LKA方法綜合了各方優勢，同時克服了上述缺點。

那么，實際效果如何？

新Backbone刷榜三大任務

根據LKA方法設計的新Backbone網絡VAN，延續了經典的四階段設計，具體配置如下。

每個階段的結構如圖所示，其中下采樣率由步長控制，CFF代表卷積前饋網絡（ convolutional feed-forward network）

假輸入和輸出擁有相等的寬高和通道數，可以算出計算復雜性。

其中當卷積核大小(K)為21時，擴張間隔(d)取3可以讓參數量最小，便以此為默認配置。

團隊認為按此配置對于全局特征和局部特征的提取效果都比較理想。

最終，在ImageNet上不同規模的VAN精度都超過了各類CNN、ViT和MLP。

在COCO 2017目標檢測任務上，以VAN為Backbone應用多種檢測方法也都領先。

ADE20K語意分割任務上同樣如此。

而且正如前文所述，VAN未經仔細打磨就已刷榜三大任務，后續還有提升空間。

對于今后的改進方向，團隊表示可能會嘗試更大的卷積核，引入來自Res2Net的多尺度結構，或者Inception中的多分支結構。

另外用VAN做圖像自監督學習和遷移學習，甚至能否做NLP都有待后續探索。

作者介紹

這篇論文來自清華大學計算機系胡事民團隊。

胡事民教授是清華計圖框架團隊的負責人，計圖框架則是首個由中國高校開源的深度學習框架。

一作博士生國孟昊，現就讀于清華大學計算機系，也是計圖團隊的成員。

這次論文的代碼已經開源，并且提供了Pytorch版和計圖框架兩種版本。

該團隊之前有一篇視覺注意力的綜述，還成了arXiv上的爆款

配套的GitHub倉庫視覺注意力論文大合集Awesome-Vision-Attentions也有1.2k星。

最后八卦一下，莫非是團隊研究遍了各種視覺注意力機制后，碰撞出這個新的思路？

也是666了。

論文地址：
??https://arxiv.org/abs/2202.09741??

GitHub地址：
??https://github.com/Visual-Attention-Network??