近年來，NLP 和 CV 領域在方法上突破不斷。不只是單模態模型有所進展，而大規模多模態方法也已經成為非常熱門的研究領域。

• 論文地址：https://arxiv.org/pdf/2301.04856v1.pdf
• 項目地址：https://github.com/slds-lmu/seminar_multimodal_dl

在最近的一篇論文中，研究者Matthias A?enmacher回顧梳理了深度學習這兩個子領域當前最先進的研究方法，并嘗試進行全面的概述。此外，還討論了將一種模態轉換為另一種模態的建模框架（第 3.1 章和第 3.2 章），以及利用一種模態增強另一種模態的表征學習模型（第 3.3 章和第 3.4 章）。研究者引入了側重同時處理兩種模態的架構（第 3.5 章）作為第二部分的尾聲。最后，論文還涵蓋了其他模態（第 4.1 章和第 4.2 章）以及通用多模態模型（第 4.3 章），這些模型能夠在一個統一架構中處理不同模態上的不同任務。一個有趣的應用（「生成藝術」，第 4.4 章）最終成為這篇綜述的錦上添花之筆。

論文章節目錄如下：

多模態深度學習簡介

人類有五種基本感官：聽覺、觸覺、嗅覺、味覺和視覺。借由這五種模式，我們得以感知和理解周圍的世界。「多模態」則意味著同時利用多種信息渠道的結合來理解周圍環境。例如，當蹣跚學步的孩子學習「貓」這個詞時，他們會用不同的方式大聲說出這個詞，指著貓，發出類似「喵喵」的聲音。AI 研究人員以人類學習過程為范式，結合不同模態來訓練深度學習模型。

從表面上看，深度學習算法通過訓練神經網絡以優化損失函數來優化定義的目標函數。優化，即將損失最小化，通過稱為梯度下降的數值優化程序完成。因此，深度學習模型只能處理數字輸入，也只能產生數字輸出。然而，在多模態任務中，我們經常遇到圖片或文本等非結構化數據。所以，關于多模態任務的首要問題是如何用數字表征輸入；其次則是如何恰當地組合不同模態。

例如，訓練深度學習模型來生成一張貓的圖片可能就是一個典型的任務。首先，計算機需要理解文本輸入「貓」，然后以某種方式將這些信息轉換成特定圖像。因此，確定輸入文本中單詞間的上下文關系和輸出圖像中像素點間的空間關系很有必要。對幼兒來說可能很容易這件事，對于計算機卻可能是巨大挑戰。二者都必須對「貓」這個詞有一定理解，包括這個動物的內涵和外觀。

當前深度學習領域一種常見方法是生成嵌入，用數字形式將貓表征為某個潛在空間中的向量。為了實現這一點，近年來已經開發出各種方法和算法架構。本文概述了最先進（SOTA）多模態深度學習中使用的各類方法，以克服非結構化數據和不同模態輸入組合帶來的挑戰。

章節介紹?

因為多模態模型通常以文本和圖像作為輸入或輸出，所以第2章著重介紹了自然語言處理（NLP）和計算機視覺（CV）方法。NLP 領域的方法主要在于文本數據處理，而 CV 多進行圖像處理。

關于 NLP（第 2.1 小節）的一個非常重要的概念叫做詞嵌入，幾乎是現在所有多模態深度學習架構的重要組成部分。這一概念也為基于Transformer的模型奠定了基礎，比如 BERT ，該模型在幾個 NLP 任務中都取得了重大進展。特別是Transformer的自注意力機制徹底改變了 NLP 模型，這也是為什么大多數 NLP 模型將Transformer作為核心。

在計算機視覺（第 2.2 小節）中，作者介紹里不同的網絡架構，即 ResNet、EfficientNet、SimCLR和BYOL。在這兩個領域，比較不同方法及其在富有挑戰性的基準上表現如何是非常有意義的。因此，第 2 章末 2.3 小節對 CV 和 NLP 的不同數據集、預訓練任務和基準進行了全面概括。

第3章側重于不同的多模態架構，涵蓋文本和圖像的多種組合方式，提出的模型相組合并推進了 NLP 和 CV 不同方法的研究。首先介紹了 Img2Text 任務（第 3.1 小節）、用于目標識別的 Microsoft COCO 數據集和用于圖像捕獲的Meshed-Memory Transformer。

另外，研究人員開發了基于短文本 prompt 生成圖片的方法（第 3.2 小節）。完成這項任務的第一個模型是生成對抗網絡（GAN）和變分自編碼器（VAE）。近年來，這些方法不斷改進，今天的 SOTA Transformer架構和文本引導的擴散模型如 DALL-E和 GLIDE都取得了顯著成果。另一個有趣的問題是，如何利用圖像來支持語言模型（第 3.3 小節）。可通過順序嵌入、更高級的實際嵌入或直接在Transformer內部實現。

也可以看一下支持文本的 CV 模型，如 CLIP、ALIGN和 Florence（第 3.4 小節）。基礎模型的使用意味著模型重用（例如 DALL-E 2 中的 CLIP），以及文本與圖像連接的對比損失。此外，zero-shot 使得通過微調就可毫不費力對新的和不可見的數據進行分類。特別是用于圖像分類和生成的開源架構 CLIP去年頗受關注。第3章末介紹了同時處理文本和圖像的一些其他架構（第 3.5 小節）。

例如，Data2Sec 用相同的學習方法處理語音、視覺和語言，并嘗試以此找到一種通用方法，能在一個架構中處理不同模態。此外，VilBert擴展了流行的 BERT 架構，通過實現共同注意力來處理圖像和文本輸入。這種方法也用于谷歌的 Deepmind Flamingo。此外，Flamingo 的目標是通過少樣本學習和凍結預訓練的視覺和語言模型，用單個視覺語言模型處理多個任務。

最后一章（第 4 章）介紹了能夠處理文本和圖像以外模態的方法，例如視頻、語音或表格數據。總體目標是探索通用的多模態架構，并非為模態而模態，而是為從容應對挑戰。因此還需處理多模態融合和對齊的問題，決定要使用聯合表征還是協調表征（第 4.1 小節）。此外，還將更詳細地介紹如何精準組合結構化數據和非結構化數據（第 4.2 小節）。

作者還提出了近年來形成的不同融合策略，本文通過生存分析和經濟學中的兩個用例加以說明。除此之外，另一個有趣的研究問題是，如何在一個所謂的多用途模型（第 4.3 小節）中處理不同任務，就像谷歌研究人員在其「Pathway」模型中創建的那樣。最后，文章會展示多模態深度學習在藝術場景中的一個典型應用，使用 DALL-E等圖像生成模型來創建生成藝術領域的藝術作品（第 4.4 小節）。

了解更多內容，請參考原論文。