遙感成像技術在過去幾十年取得顯著進步。現代機載傳感器在空間、光譜和分辨率上的不斷提升，已經能覆蓋地球表面大部分范圍，因此遙感技術在生態學、環境科學、土壤科學、水污染、冰川學、土地測量和分析等眾多研究領域發揮著至關重要的作用。由于遙感數據通常是多模態的、位于地理空間（地理定位）中，并且尺度通常是全球范圍、數據規模也在不斷增長等等，這些特性都為遙感成像的自動分析帶來獨特的挑戰。

計算機視覺的許多領域中，如對象識別、檢測和分割等等，深度學習尤其是卷積神經網絡 (CNN) 已經是主流。卷積神經網絡通常將 RGB 圖像作為輸入并執行一系列卷積、局部歸一化和池化操作。CNN 通常依賴于大量的訓練數據，然后將生成的預訓練模型用作各種下游應用的通用特征提取器。基于深度學習的計算機視覺技術的成功也啟發了遙感界，并且在許多遙感任務中取得重大進展，如高光譜圖像分類、變化檢測。

CNN 主要基礎之一是卷積運算，它捕捉輸入圖像中元素（如輪廓和邊緣信息）之間的局部交互。CNN 對空間連通性和平移等效性等偏差進行編碼，這些特征有助于構建通用高效的架構。CNN 中的局部感受野限制了對圖像中的遠距離依賴關系（如遠距離部分間的關系）的建模。卷積是與內容無關的，因為卷積濾波器的權重是固定的，無論其性質如何，都將相同的權重應用于所有輸入。視覺 transfomer (ViTs) 在計算機視覺的各種任務中展示了令人印象深刻的性能。ViT 基于 self-attention 機制，通過學習序列元素之間的關系有效地捕捉全局交互。最近的研究表明，ViT 具有依賴于內容的遠程交互建模能力，并且可以靈活地調整其感受野以對抗數據中的干擾并學習有效的特征表示。因此，ViT 及其變體已成功用于許多計算機視覺任務，包括分類、檢測和分割。

ViT 在計算機視覺領域的成功，遙感分析中使用基于 transformer 框架的的任務顯著增長（見圖 1），像超高分辨率圖像分類、變化檢測、全色銳化 ，建筑物檢測和圖像字幕都有 transformer 的身影。這開啟遙感分析的新紀元，研究者采用各種不同的方法，如利用 ImageNet 預訓練或使用視覺 transformer 執行遙感預訓練。

類似地，相關文獻中也有基于純 transformer 設計或利用基于 transformer 和 CNN 的混合方法的方法。由于針對不同遙感問題的基于 transformer 的方法的迅速涌現，跟上最新的進展變得越來越具有挑戰性。

在文章中，作者回顧遙感分析領域取得的進展，并介紹在遙感領域中流行的基于 transformer 的方法，文章主要貢獻如下：

對基于 transformer 的模型在遙感成像中的應用進行整體概述，并且作者是第一個對遙感分析中使用 transformer 進行調研的，彌合了計算機視覺和遙感在這個快速發展和受歡迎的領域的最新進展之間的差距。

• 對 CNN 和 Transformer 進行概述，討論它們各自的優缺點。
• 回顧文獻中 60 多種基于 transformer 的研究工作，討論遙感領域的最新進展。
• 探討遙感分析中 transformer 的不同挑戰和研究方向。

文章的其余部分安排：第 2 節討論有關遙感成像的其他相關調研；第 3 節概述遙感中不同的成像模式；第 4 節簡要概述 CNN 和視覺 transformer；第 5 節回顧超高分辨率 (VHR) 成像；第 6 節介紹高光譜圖像分析；第 7 節介紹合成孔徑雷達（SAR）中基于 transformer 的方法進展；第 8 節討論未來研究方向。

更多細節請參考原論文。

• 論文鏈接：https://arxiv.org/pdf/2209.01206.pdf
• GitHub 地址：https://github.com/VIROBO-15/Transformer-in-Remote-Sensing