[[436989]]

這段時間，計算機視覺圈有點熱鬧。先是何愷明等人用簡單的掩蔽自編碼器（MAE）證明了 Transformer 擴展到 CV 大模型的光明前景；緊接著，字節跳動又推出了部分指標超過 MAE 的新方法——iBOT，將十幾項視覺任務的 SOTA 又往前推了一步。這些進展給該領域的研究者帶來了很大的鼓舞。

在這樣一個節點，我們有必要梳理一下 CV 領域 Transformer 模型的現有進展，挖掘其中有價值的經驗。因此，我們找到了中國科學院計算技術研究所等機構剛剛發布的一篇綜述論文。在這篇論文中，Yang Liu 等幾位研究者全面回顧了用于三個基本 CV 任務（分類、檢測和分割）的 100 多個視覺 Transfomer，并討論了有關視覺 Transformer 的一些關鍵問題以及有潛力的研究方向，是一份研究視覺 Transformer 的詳盡資料。

論文鏈接：https://arxiv.org/pdf/2111.06091.pdf

本文是對該綜述的簡要介紹。

論文概覽

Transformer 是一種基于注意力的架構，在序列建模和機器翻譯等任務上表現出了驚人的潛力。如下圖 1 所示，Transformer 已經逐漸成為 NLP 領域主要的深度學習模型。最近流行的 Transformer 模型是一些自監督預訓練模型，它們利用充足的數據進行預訓練，然后在特定的下游任務中進行微調 [2]–[9]。生成預訓練 Transformer（GPT）家族 [2]– [4] 利用 Transformer 解碼器來執行自回歸語言建模任務；而使用雙向編碼器的 Transformer（BERT）[5]及其變體 [6], [7] 是在 Transformer 編碼器上構建的自編碼器語言模型。

在計算機視覺領域，卷積神經網絡（CNN）一直占據主導地位。受 NLP 領域自注意力機制成功的啟示，一些基于 CNN 的模型開始嘗試通過空間 [14]–[16] 或通道 [17]–[19]層面的額外自注意力層來捕獲長程依賴，而另一些模型則試圖用全局 [20] 或局部自注意塊[21]–[25] 來徹底替代傳統的卷積。雖然 Cordonnier 等人在理論上證明了自注意力塊的有效性[26]，但在主流基準上，這些純注意力模型仍然比不上當前的 SOTA CNN 模型。

如上所述，在 vanilla Transformer 于 NLP 領域取得巨大成功之際，基于注意力的模型在視覺識別領域也得到了很多關注。最近，有大量研究將 Transformer 移植到 CV 任務中并取得了非常有競爭力的結果。例如，Dosovitskiy et al. [27]提出了一種使用圖像 patch 作為圖像分類輸入的純 Transformer，在許多圖像分類基準上都實現了 SOTA。此外，視覺 Transformer 在其他 CV 任務中也實現了良好的性能，如檢測 [28]、分割[29]、跟蹤[30]、圖像生成[31]、增強[32] 等。

如圖 1 所示，繼 [27]、[28] 之后，研究者們又針對各個領域提出了數百種基于 Transformer 的視覺模型。因此，我們迫切地需要一篇系統性的文章來梳理一下這些模型，這便是這篇綜述誕生的背景。考慮到讀者可能來自很多不同的領域，綜述作者將分類、檢測和分割三種基本的視覺任務都納入了梳理范圍。

如下圖 2 所示，這篇綜述將用于三個基本 CV 任務（分類、檢測和分割）的 100 多種視覺 Transformer 方法按照任務、動機和結構特性分成了多個小組。當然，這些小組可能存在重疊。例如，其中一些進展可能不僅有助于增強圖像分類骨干的表現，還能在檢測、分割任務中取得不錯的結果。

圖 2 ：視覺 Transformer 的分類

由于訓練設置和定向任務各不相同，研究者也在不同配置上對這些 Transforme 進行了評估，以進行方便和直觀的比較。此外，他們還揭示了一系列重要但仍需探索的特點，這些特點可能使 Transformer 從眾多架構中脫穎而出，例如彌合視覺和序列 Transformer 之間差距的松弛高級語義嵌入。最后，他們提出了幾個有前景的研究方向。

用于分類的視覺 Transformer

受 NLP 中 Transfomer 成功的啟發 [2]–[5], [8]，不少研究者嘗試將 Transformer 引入圖像分類任務。Vision Transformer（ViT）[27] 最先在主流分類基準上達到了可以媲美傳統 CNN 的性能。在論文的第 III 章，研究者對 2021 年 6 月之前發布的 40 多個 Transformer 骨干進行了全面回顧，并根據動機和實現情況將其分成了六類，如下圖 5 所示。

根據這一分類，研究者首先介紹了 ViT——用于圖像分類的 Original Visual Transformer。接下來，他們討論了 Transformer Enhanced CNN 方法，這些方法利用 Transformer 增強 CNN 骨干的長程依賴。Transformer 在全局建模方面能力突出，但在早期階段會忽略局部信息。因此，CNN Enhanced Transformer 方法利用適當的卷積歸納偏置來增強 Transformer，而 Local Attention Enhanced Transformer 方法重新設計 patch 分區和注意力塊，以增強 Transformer 的局部性并維持一個無卷積的架構。

此外，CNN 在性能和計算效率方面都受益于分層和深度結構[93]。受此啟發，研究者們提出了 Hierarchical Transformer 和 Deep Transformer 方法。前者用一個金字塔 stem 代替分辨率固定的柱狀結構，后者可以防止注意力圖過于平滑，并在較深的層中增加其多樣性。此外，他們還回顧了目前可用的自監督方法。

下表 I 總結了以上 Transformer 模型在主流分類基準上的表現：

在梳理了這一部分的進展之后，研究者得出了以下結論：

對于分類任務，一個深度分層 Transformer 骨干可以有效降低計算復雜度 [39]，還能避免深層中的特征過于平滑[35], [40], [59], [60]。同時，早期卷積 [37] 足以捕獲低級特征，從而顯著增強淺層的穩健性，降低計算復雜度。此外，卷積投影[46], [47] 和局部注意力機制 [33], [42] 都可以提高 Transformer 的局部性。

用于檢測的視覺 Transformer

在第 IV 章中，研究者詳細介紹了用于目標檢測的視覺 Transformer。這些模型可以分為兩類：作為頸部的 Transformer 和作為骨干的 Transformer。頸部檢測器主要基于為 Transformer 結構指定的一個新表示，稱為對象查詢，即一組學習到的同等地聚合全局特征的參數。它們試圖從加速收斂或提高性能的角度來解決最優融合范式。除了專門為檢測任務設計的各種頸部外，一定比例的主干檢測器也會考慮到特定的策略。最后，作者在表 II 和表 III 中比較了它們的性能，并分析了 Transformer 檢測器的一些潛在改進。

在梳理了這一部分的進展之后，研究者得出了以下結論：

對于檢測任務，Transformer 頸部得益于編碼器 - 解碼器結構，比只使用編碼器的 Transformer 檢測器計算更少。因此，解碼器是必要的，但是由于收斂緩慢 [72]，它需要的 stack 極少[70]。此外，稀疏注意力[67] 有利于降低計算復雜度，加速 Transformer 的收斂，而空間先驗 [67], [69], [71] 有利于提高 Transformer 的性能，稍微提高其收斂速度。

用于分割的視覺 Transformer

論文第 V 章主要介紹了用于分割的 Transformer。按照分割方式的不同，這些 Transformer 可以被分為兩類：基于 patch 的 Transformer 和基于查詢的 Transformer。后者可以進一步分解為帶對象查詢的 Transformer 和帶掩碼嵌入的 Transformer。下面這些表格展示了這些 Transformer 的性能數據。

在梳理了這一部分的進展之后，研究者得出了以下結論：

對于分割任務，編碼器 - 解碼器 Transformer 模型可以通過一系列可學習的掩碼嵌入將三個分割子任務統一為一個掩碼預測問題[29], [84], [137]。這種無框（box-free）方法在多個基準上實現了最新的 SOTA[137]。此外，基于 box 的 Transformer 的特定混合任務級聯模型被證明在實例分割任務中達到了更高的性能。

關于視覺 Transformer 的幾個關鍵問題

Transformer 是如何打通語言和視覺的？

Transformer 最初是為機器翻譯任務而設計的。在語言模型中，句子中的每一個詞都被看作表示高級、高維語義信息的一個基本單元。這些詞可以被嵌入到低維向量空間表示中，叫做詞嵌入。在視覺任務中，圖像的每個像素都是低級、低維語義信息，與嵌入特征不匹配。因此，將 Transformer 用到視覺任務中的關鍵是建立圖像到向量的轉換，并保持圖像的特點。例如，ViT[27]借助強松弛條件將圖像轉換為包含多個低水平信息的 patch 嵌入，Early Conv. [50] 和 CoAtNet [37] 利用卷積提取高級信息，同時降低 patch 的冗余特征。

Transformer、自注意力和 CNN 之間的關系

從卷積的角度來看，其歸納偏置主要表現為局部性、平移不變性、權重共享和稀疏連接。這類簡單的卷積核可以有效地執行模板匹配，但由于歸納偏置強，其上界要低于 Transformer。

從自注意力機制的角度來看，理論上，當給定足夠數量的頭時，它可以表示任何卷積層。這種 fully-attentional 操作可以交替地結合局部和全局層面的注意力，并根據特征之間的關系動態地生成注意力權重。盡管如此，它的實用性還是不如 SOTA CNN，因為其精度較低，計算復雜度較高。

從 Transformer 的角度來看，Dong 等人證明，當在沒有短連接或 FFN 的深層上訓練時，自注意力層表現出強大的「token uniformity」歸納偏置。結果表明，Transformer 由兩個關鍵部分組成：一個聚合 token 之間關系的自注意力層；一個提取輸入特征的 position-wise FFN。雖然 Transformer 具有強大的全局建模能力，卷積可以有效地處理低級特征[37]，[50]，增強 Transformer 的局部性[45]，[70]，并通過填充（padding）來附加位置特征[48]，[49]，[102]。

不同視覺任務中的可學習嵌入

Transformer 模型利用可學習嵌入來執行不同的視覺任務。從監督任務的視角來看，這些嵌入可以被分為類 token、對象、查詢和掩碼嵌入。從結構的角度來看，它們之間存在著內在的聯系。最近的 Transformer 方法主要采用兩種不同的模式：僅編碼器和編碼器 - 解碼器結構。每個結構由三個層次的嵌入應用組成，如下圖 16 所示。

從位置層面來看，在僅編碼器 Transformer 中學習的嵌入的應用被分解為初始 token 和后期 token，而學習的位置編碼和學習的解碼器輸入嵌入被用于編碼器 - 解碼器結構。從數量層面來看，僅編碼器的設計應用了不同數量的 token。例如，ViT [27]，[38]系列和 YOLOS [73]在初始層中添加了不同的數字 token，而 CaiT [40]和 Segmenter [84]則利用這些 token 來表示不同任務中最后幾層的特征。在編碼器 - 解碼器結構中，所學習的解碼器的位置編碼 (對象查詢[28]，[70] 或掩碼嵌入 [137]) 被顯式地 [28]，[137] 或隱式地 [69]，[70] 附加到解碼器輸入中。與恒定輸入不同，可變形 DETR [67]采用學到的嵌入作為輸入，并關注編碼器輸出。

受多頭注意力設計的啟發，多初始 token 策略被認為可以進一步提高分類性能。然而，DeiT [38]表明，這些額外的 token 將會向相同的結果收斂，這對 ViT 沒有好處。從另一個角度來看，YOLOS [73]提供了一個使用多個初始 token 來統一分類和檢測的范例，但這種僅編碼器的設計會導致計算復雜性很高。根據 CaiT [40]的觀察，后面的類 token 可以稍稍降低 Transformer 的 FLOPs，并略微提升性能（從 79.9% 到 80.5%）。Segmenter[84]也顯示了這種策略在分割任務中的效率。

與僅使用編碼器的 Transformer 的多個后期 token 相比，編碼器 - 解碼器結構節省了更多的計算。它通過使用一小組對象查詢（掩碼嵌入）來標準化檢測 [28] 和分割 [137] 領域中的 Transformer 方法。通過組合多個后期 token 和對象查詢（掩碼嵌入）的形式，像可變形 DETR [67]這樣的結構（以對象查詢和可學習解碼器嵌入為輸入），可以將基于不同任務的可學習嵌入統一到 Transformer 編碼器 - 解碼器中。

未來的研究方向

視覺 Transformer 方法取得了巨大的進展，并顯示出了有希望的結果，在多個基準上接近或超過了 SOTA CNN 方法的記錄。但該技術尚不成熟，無法撼動卷積在 CV 領域的主導地位。基于論文中的一些分析，作者指出了視覺 Transformer 的一些具有潛力的發展方向：

集合預測

正如論文中所提到的，由于損失函數的梯度相同，附加的類 token 將始終收斂 [38]。具有二分損失函數的集合預測策略已經在許多密集預測任務中廣泛應用于視覺 Transformer[28]，[137]。如上所述，考慮分類任務的集合預測設計是很自然的，例如多類 token Transformer 借助集合預測來預測混合 patch 圖像，這類似于 LVViT [41] 的數據增強策略。此外，集合預測策略中的一對一標簽分配導致早期過程中的訓練不穩定，這可能會降低最終結果的準確性。利用其他標簽分配和損失改進集合預測可能對新的檢測框架有所幫助。

自監督學習

自監督 Transformer 預訓練已經成為了 NLP 領域的標準，并在各種應用中取得了巨大成功[2]，[5]。卷積孿生網絡作為 CV 中的自監督范例，采用對比學習進行自監督預訓練，不同于 NLP 中的掩蔽自編碼器。最近，一些研究試圖設計一個自監督的視覺 Transformer 來彌補視覺和語言之間預處理方法的差距。它們大多繼承了 NLP 中的掩蔽自編碼器或 CV 中的對比學習方案。但是，目前還沒有用于視覺 Transformer 的監督方法能實現 NLP 中 GPT-3 那樣的革命性。如論文所述，編碼器 - 解碼器結構可能通過學習解碼器嵌入和位置編碼來統一視覺任務。自監督學習的編碼器 - 解碼器 Transformer 值得進一步研究。