在 Transformer 大一統的時代，計算機視覺的 CNN 方向還有研究的必要嗎？

今年年初，OpenAI 視頻大模型 Sora 帶火了 Vision Transformer（ViT）架構。此后，關于 ViT 與傳統卷積神經網絡（CNN）誰更厲害的爭論就沒有斷過。

近日，一直在社交媒體上活躍的圖靈獎得主、Meta 首席科學家 Yann LeCun 也加入了 ViT 與 CNN 之爭的討論。

這件事的起因是 Comma.ai 的 CTO Harald Sch?fer 在展示自家最新研究。他（像最近很多 AI 學者一樣）cue 了 Yann LeCun 表示，雖然圖靈獎大佬認為純 ViT 并不實用，但我們最近把自己的壓縮器改成了純 ViT，沒有卷積，需要更長時間的訓練，但是效果非常不錯。

比如左圖，被壓縮到了只有 224 字節，右邊是原始圖像。

只有 14×128，這對自動駕駛用的世界模型來說作用很大，意味著可以輸入大量數據用于訓練。在虛擬環境中訓練相比真實環境成本更低，在這里 Agent 需要根據策略進行訓練才能正常工作。雖然訓練更高的分辨率效果會更好，但模擬器就會變得速度很慢，因此目前壓縮是必須的。

他的展示引發了 AI 圈的討論，1X 人工智能副總裁 Eric Jang 回復道，是驚人的結果。

Harald 繼續夸贊 ViT：這是非常美麗的架構。

此處有人就開始拱火了：大師如 LeCun，有時也無法趕上創新的步伐。

不過，Yann LeCun 很快回復辯駁稱，他并不是說 ViT 不實用，現在大家都在使用它。他想表達的是，ViT 太慢、效率太低，導致不適合實時處理高分辨率圖像和視頻任務。

Yann LeCun 還 Cue 了紐約大學助理教授謝賽寧，后者參與的工作 ConvNext 證明了如果方法得當，CNN 也能和 ViT 一樣好。

他接下來表示，在堅持自注意力循環之前，你至少需要幾個具有池化和步幅的卷積層。

如果自注意力等同于排列（permutation），則完全對低級別圖像或視頻處理沒有意義，在前端使用單個步幅進行修補（patchify）也沒有意義。此外由于圖像或視頻中的相關性高度集中在局部，因而全局注意力也沒有意義且不可擴展。

在更高級別上，一旦特征表征了對象，那么使用自注意力循環就有意義了：重要的是對象之間的關系和交互，而非它們的位置。這種混合架構是由 Meta 研究科學家 Nicolas Carion 及合著者完成的 DETR 系統開創的。

自 DETR 工作出現以后，Yann LeCun 表示自己最喜歡的架構是低級別的卷積 / 步幅 / 池化，以及高級別的自注意力循環。

Yann LeCun 在第二個帖子里總結到：在低級別使用帶有步幅或池化的卷積，在高級別使用自注意力循環，并使用特征向量來表征對象。

他還打賭到，特斯拉全自動駕駛（FSD）在低級別使用卷積（或者更復雜的局部運算符），并在更高級別結合更多全局循環（可能使用自注意力）。因此，低級別 patch 嵌入上使用 Transformer 完全一種浪費。

我猜死對頭馬斯克還是用的卷積路線。

謝賽寧也發表了自己的看法，他認為 ViT 非常適合 224x224 的低分辨率圖像，但如果圖像分辨率達到了 100 萬 x100 萬，該怎么辦呢？這時要么使用卷積，要么使用共享權重對 ViT 進行修補和處理，這在本質上還是卷積。

因此，謝賽寧表示，有那么一刻自己意識到卷積網絡不是一種架構，而是一種思維方式。

這一觀點得到了 Yann LeCun 的認可。

谷歌 DeepMind 研究者 Lucas Beyer 也表示，得益于常規卷積網絡的零填充，自己很確定「卷積 ViT」（而不是 ViT + 卷積）會工作得很好。

可以預見，這場 ViT 與 CNN 之間的爭論還將繼續下去，直到未來另一種更強大架構的出現。