隨著各種語(yǔ)言、視覺(jué)、視頻、音頻等大模型的性能不斷提升，多模態(tài)機(jī)器學(xué)習(xí)也開(kāi)始興起，通過(guò)整合多種模態(tài)的數(shù)據(jù)，研究人員們開(kāi)始設(shè)計(jì)更復(fù)雜的計(jì)算機(jī)智能體，能夠更好地理解、推理和學(xué)習(xí)現(xiàn)實(shí)世界。

在發(fā)展過(guò)程中，多模態(tài)機(jī)器學(xué)習(xí)的研究也帶來(lái)了計(jì)算、理論上的挑戰(zhàn)，在融合多模態(tài)、智能體自主性，以及多傳感器融合等應(yīng)用場(chǎng)景下，還存在異構(gòu)數(shù)據(jù)源等新興的數(shù)據(jù)模式發(fā)現(xiàn)方法。

最近，來(lái)自卡內(nèi)基梅隆大學(xué)的研究人員發(fā)表了一篇關(guān)于多模態(tài)機(jī)器學(xué)習(xí)的全面總結(jié)，并在ICML 2023會(huì)議上舉辦了Tutorial，通過(guò)對(duì)應(yīng)用領(lǐng)域和理論框架進(jìn)行綜述，對(duì)多模態(tài)機(jī)器學(xué)習(xí)的計(jì)算和理論基礎(chǔ)進(jìn)行概述。

論文鏈接：https://arxiv.org/pdf/2209.03430.pdf

演示文稿：https://drive.google.com/file/d/1qIYBuYrSW2-e95DL7LndfLFqGkIWFG21

研究人員首先定義了驅(qū)動(dòng)后續(xù)創(chuàng)新的模態(tài)異質(zhì)性、連接和交互的三個(gè)關(guān)鍵原則，并提出了六個(gè)核心技術(shù)挑戰(zhàn)的分類：表征、對(duì)齊、推理、生成、遷移和量化，文中涵蓋多模態(tài)機(jī)器學(xué)習(xí)的研究歷史以及近期趨勢(shì)。

論文作者Paul Pu Liang是卡耐基梅隆大學(xué)機(jī)器學(xué)習(xí)系的博士生，導(dǎo)師為L(zhǎng)ouis-Philippe Morency和Ruslan Salakhutdinov，主要研究方向?yàn)槎嗄B(tài)機(jī)器學(xué)習(xí)的基礎(chǔ)，及其在社交智能AI、自然語(yǔ)言處理、醫(yī)療保健和教育上的應(yīng)用。

挑戰(zhàn)1：表征 Representation

如何學(xué)習(xí)能反映不同模態(tài)中單個(gè)元素之間跨模態(tài)交互的表征是一個(gè)問(wèn)題，可以把這個(gè)挑戰(zhàn)視為學(xué)習(xí)元素之間的局部表征，或使用整體特征的表征。

論文中主要介紹了三個(gè)子問(wèn)題：

1. 表征融合（Representation Fusion）

表征融合的目的是學(xué)習(xí)到一種聯(lián)合表征，可以模擬不同模態(tài)中各個(gè)元素之間的跨模態(tài)交互，從而有效減少獨(dú)立表征的數(shù)量。

研究人員將這些方法分為兩類：

（1）抽象模態(tài)融合，先應(yīng)用合適的單模態(tài)編碼器來(lái)捕捉每個(gè)元素（或全部模態(tài)）的整體表征，然后使用表征融合的幾個(gè)構(gòu)件來(lái)學(xué)習(xí)聯(lián)合表征，即融合發(fā)生在抽象表征層面。

（2）原始模態(tài)融合，在早期階段進(jìn)行表征融合，只需要進(jìn)行簡(jiǎn)單的預(yù)處理，甚至可以直接輸入原始模態(tài)數(shù)據(jù)本身。

2. 表征協(xié)調(diào)（Representation Coordination）

其目的是學(xué)習(xí)多模態(tài)語(yǔ)境化表征，這些表征通過(guò)相互關(guān)聯(lián)而相互協(xié)調(diào)；與表征融合不同的是，協(xié)調(diào)保持了表征的數(shù)量不變，但改進(jìn)了多模態(tài)語(yǔ)境化。

文中首先討論了強(qiáng)制模態(tài)元素之間強(qiáng)等價(jià)性的強(qiáng)協(xié)調(diào)，然后再討論部分協(xié)調(diào)，部分協(xié)調(diào)可以捕捉到更普遍的聯(lián)系，如相關(guān)性、順序、層次或超越相似性的關(guān)系。

3. 表征裂變（Representation Fission）

其目的是創(chuàng)建一套新的解耦表征（通常比輸入表征集的數(shù)量要多），以反映內(nèi)部多模態(tài)結(jié)構(gòu)的知識(shí)，如數(shù)據(jù)聚類、獨(dú)立的變化因素或特定模態(tài)信息。

與聯(lián)合表征和協(xié)調(diào)表征相比，表征裂變可實(shí)現(xiàn)細(xì)致的解釋和細(xì)粒度的可控性，根據(jù)解耦因素的粒度，可將方法分為模態(tài)級(jí)裂變和細(xì)粒度裂變。

挑戰(zhàn)2：對(duì)齊（Alignment）

對(duì)齊的作用是識(shí)別多種模態(tài)元素之間的跨模態(tài)連接和互動(dòng)，例如在分析人類主體的語(yǔ)音和手勢(shì)時(shí)，應(yīng)該如何才能將特定手勢(shì)與口語(yǔ)單詞或語(yǔ)句對(duì)齊？

模態(tài)之間的對(duì)齊可能存在長(zhǎng)距離的依賴關(guān)系，或是涉及模糊的分割（如單詞或語(yǔ)句），而且可能是一對(duì)一、多對(duì)多或根本不存在對(duì)齊關(guān)系，所以非常具有挑戰(zhàn)性。

1. 離散對(duì)齊（Discrete Alignment）

其目標(biāo)為識(shí)別多種模態(tài)離散元素之間的聯(lián)系，最近的工作主要包括兩種方法：局部對(duì)齊發(fā)現(xiàn)給定匹配的一對(duì)模態(tài)元素之間的連接；全局對(duì)齊，必須在全局范圍內(nèi)進(jìn)行對(duì)齊，以學(xué)習(xí)連接和匹配。

2. 連續(xù)對(duì)齊（Continuous Alignment）

之前的方法基于一個(gè)重要假設(shè)，即模態(tài)元素已經(jīng)被分割和離散化。

雖然某些模態(tài)存在清晰的分割（如句子中的單詞/短語(yǔ)或圖像中的對(duì)象區(qū)域），但在許多情況下，分割邊界并不容易找到，如連續(xù)信號(hào)（如金融或醫(yī)療時(shí)間序列）、時(shí)空數(shù)據(jù)或沒(méi)有清晰語(yǔ)義邊界的數(shù)據(jù)（如核磁共振圖像）。

在最近的一些工作中提出了基于連續(xù)扭曲（Continuous warping）和以適當(dāng)?shù)牧６葘⑦B續(xù)信號(hào)分割為離散元素的模態(tài)分割（Modality segmentation）的方法。

3. 上下文表征（Contextualized Representations）

其目的是為所有模態(tài)連接和交互建模，以學(xué)習(xí)更好的表征，可以當(dāng)作是中間步驟（潛在步驟），能夠在語(yǔ)音識(shí)別、機(jī)器翻譯、媒體描述和視覺(jué)問(wèn)題解答等一系列下游任務(wù)中取得更好的性能。

文中將上下文表征方面的工作分為：

（1）聯(lián)合無(wú)向?qū)R（Joint undirected alignment），可以捕捉跨模態(tài)對(duì)的無(wú)向連接，這些連接在任一方向上都是對(duì)稱的；

（2）跨模態(tài)有向?qū)R（Cross-modal directed alignment），以有向方式將源模態(tài)中的元素與目標(biāo)模態(tài)聯(lián)系起來(lái)，可建立非對(duì)稱連接模型；

（3）圖網(wǎng)絡(luò)對(duì)齊（Graphical alignment），將無(wú)向或有向?qū)R中的順序模式推廣到元素之間的任意圖結(jié)構(gòu)中。

挑戰(zhàn)3：推理

推理的定義為結(jié)合知識(shí)，通常通過(guò)多個(gè)推理步驟，利用多模態(tài)排列和問(wèn)題結(jié)構(gòu)。

1. 結(jié)構(gòu)建模（Structure Modeling）

這一步的目的在于捕捉組合的層次關(guān)系，通常是通過(guò)參數(shù)化原子、關(guān)系和推理過(guò)程的數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)。

常用的數(shù)據(jù)結(jié)構(gòu)包括樹(shù)、圖或神經(jīng)模塊，文中介紹了最近在潛在層次結(jié)構(gòu)、時(shí)間結(jié)構(gòu)和交互結(jié)構(gòu)建模方面的工作，以及在潛在結(jié)構(gòu)未知的情況下發(fā)現(xiàn)結(jié)構(gòu)的工作。

2. 中間概念（Intermediate Concepts）

這個(gè)問(wèn)題研究了如何在推理過(guò)程中對(duì)單個(gè)多模態(tài)概念進(jìn)行參數(shù)化。

雖然在標(biāo)準(zhǔn)神經(jīng)架構(gòu)中，中間概念通常是密集的向量表征，但在可解釋的注意力圖（attention map）、離散符號(hào)和語(yǔ)言作為推理的中間媒介方面，也有大量相關(guān)工作。

3. 推理范式（ Inference Paradigms）

這一部分主要解決如何從單個(gè)多模態(tài)證據(jù)中推斷出越來(lái)越抽象的概念。

雖然局部表征融合（如加法、乘法、基于張量、基于注意力和順序融合）方面的進(jìn)展在此也普遍適用，但推理的目標(biāo)是通過(guò)有關(guān)多模態(tài)問(wèn)題的領(lǐng)域知識(shí)，在推理過(guò)程中提高可解釋性，文中主要舉例說(shuō)明通過(guò)邏輯和因果運(yùn)算符對(duì)推理過(guò)程進(jìn)行顯式建模的最新方向。

4. 外部知識(shí)

從定義組成和結(jié)構(gòu)的研究中推導(dǎo)知識(shí)，其中知識(shí)通常來(lái)自特定任務(wù)數(shù)據(jù)集上的領(lǐng)域知識(shí)。

作為使用領(lǐng)域知識(shí)預(yù)先定義組成結(jié)構(gòu)的替代方法，近期的研究工作還探索了使用數(shù)據(jù)驅(qū)動(dòng)方法自動(dòng)推理的方法，例如在直接任務(wù)領(lǐng)域之外廣泛獲取但監(jiān)督較弱的數(shù)據(jù)。

挑戰(zhàn)4：生成

模型需要學(xué)習(xí)生成過(guò)程，通過(guò)摘要、翻譯和創(chuàng)造，生成反映跨模態(tài)交互、結(jié)構(gòu)和連貫性的原始模態(tài)，這三個(gè)類別沿用了文本生成的分類方法，根據(jù)從輸入模態(tài)到輸出模態(tài)的信息變化來(lái)進(jìn)行區(qū)分。

1. 摘要（Summarization）

摘要的目的是壓縮數(shù)據(jù)，創(chuàng)建一個(gè)能代表原始內(nèi)容中最重要或最相關(guān)信息的摘要，除了文本格式外，還包括圖像、視頻、音頻等模態(tài)的摘要。

雖然大多數(shù)方法只關(guān)注從多模態(tài)數(shù)據(jù)中生成文本摘要，但也有幾個(gè)方向探索了生成摘要圖像以補(bǔ)充生成的文本摘要。

2. 翻譯（Translation）

翻譯的目的是將一種模態(tài)映射到另一種模態(tài)，同時(shí)尊重語(yǔ)義聯(lián)系和信息內(nèi)容，例如為圖像生成描述性標(biāo)題有助于提高視覺(jué)內(nèi)容對(duì)盲人的可及性。

多模態(tài)翻譯也帶來(lái)了新的難題，例如高維結(jié)構(gòu)化數(shù)據(jù)的生成及其評(píng)估，主流方法可分為基于范例的方法和生成模型的方法，前者僅限于從訓(xùn)練實(shí)例中檢索以在不同模態(tài)之間進(jìn)行翻譯，但能保證翻譯的保真度；后者可翻譯成數(shù)據(jù)之外的任意插值實(shí)例，但在質(zhì)量、多樣性和評(píng)估方面面臨挑戰(zhàn)。

盡管存在這些挑戰(zhàn)，最近在大規(guī)模翻譯模型方面取得的進(jìn)展已經(jīng)在文本到圖像、文本到視頻、音頻到圖像、文本到語(yǔ)音、語(yǔ)音到姿態(tài)、說(shuō)話者到聽(tīng)眾、語(yǔ)言到姿態(tài)以及語(yǔ)音和音樂(lè)生成等方面產(chǎn)生了令人印象深刻的高質(zhì)量生成內(nèi)容。

3. 創(chuàng)造（Creation）

創(chuàng)造的目的是從小規(guī)模的初始示例或潛在的條件變量生成新穎的高維數(shù)據(jù)（可涵蓋文本、圖像、音頻、視頻和其他模態(tài)），該條件解碼過(guò)程極具挑戰(zhàn)性，需要模型具有：

（1）有條件：保留從初始種子到一系列遠(yuǎn)距離并行模態(tài)的語(yǔ)義映射；

（2）同步：跨模態(tài)的語(yǔ)義一致性；

（3）隨機(jī)：在特定狀態(tài)下捕捉許多可能的后代；

（4）在可能的遠(yuǎn)距離范圍內(nèi)自動(dòng)回歸。

挑戰(zhàn)5：遷移（Transference）

其目的是在模態(tài)及其表征之間遷移知識(shí)，主要它探索從第二種模態(tài)中學(xué)到的知識(shí)（如預(yù)測(cè)標(biāo)簽或表征）如何幫助在第一模態(tài)上訓(xùn)練的模型？

當(dāng)主模態(tài)的資源有限（如缺乏標(biāo)注數(shù)據(jù)、輸入噪聲大或標(biāo)簽不可靠）時(shí)，解決這一問(wèn)題尤為重要，因?yàn)榇文B(tài)信息的遷移會(huì)產(chǎn)生主模態(tài)從未見(jiàn)過(guò)的新行為。

1. 跨模態(tài)遷移（Cross-modal Transfer）

在大多數(shù)情況下，收集第二模態(tài)的標(biāo)注或非標(biāo)注數(shù)據(jù)并訓(xùn)練強(qiáng)大的監(jiān)督或預(yù)訓(xùn)練模型可能更容易，然后可以針對(duì)涉及主模態(tài)的下游任務(wù)對(duì)這些模型進(jìn)行調(diào)節(jié)或微調(diào)，從而將單模態(tài)遷移和微調(diào)擴(kuò)展到了跨模態(tài)環(huán)境中。

2. 多模態(tài)協(xié)同學(xué)習(xí)（Multimodal Co-learning）

多模態(tài)協(xié)同學(xué)習(xí)旨在通過(guò)共享兩種模態(tài)之間的中間表征空間，將通過(guò)次模態(tài)學(xué)習(xí)到的信息遷移到包含主模態(tài)的目標(biāo)任務(wù)中，這些方法的本質(zhì)是在所有模態(tài)中建立一個(gè)單一的聯(lián)合模型。

3. 模型歸納（Model Induction）

與協(xié)同學(xué)習(xí)不同，模型歸納方法將主模態(tài)和次模態(tài)的單模態(tài)模型分開(kāi)，但目的是歸納兩個(gè)模型的行為。

聯(lián)合訓(xùn)練就是模型歸納的一個(gè)例子：在聯(lián)合訓(xùn)練中，兩種學(xué)習(xí)算法分別在數(shù)據(jù)的每個(gè)視圖上進(jìn)行訓(xùn)練，然后使用每種算法的預(yù)測(cè)對(duì)未標(biāo)記的新示例進(jìn)行偽標(biāo)記，以擴(kuò)大另一個(gè)視圖的訓(xùn)練集，也就是說(shuō)，信息是通過(guò)模型預(yù)測(cè)而不是共享表示空間在多個(gè)視圖之間傳遞的。

挑戰(zhàn)6：量化

量化的目的是對(duì)多模態(tài)模型進(jìn)行更深入的實(shí)證和理論研究，以獲得洞察力并提高其在實(shí)際應(yīng)用中的穩(wěn)健性、可解釋性和可靠性。

1. 異質(zhì)性的維度（Dimensions of Heterogeneity）

這部分主要了解多模態(tài)研究中常見(jiàn)的異質(zhì)性維度，以及后續(xù)如何影響建模和學(xué)習(xí)。

2. 模態(tài)互聯(lián)（Modality Interconnections）

模態(tài)之間的連接和交互是多模態(tài)模型的重要組成部分，激發(fā)了可視化和理解數(shù)據(jù)集和訓(xùn)練模型中模態(tài)互連性質(zhì)的相關(guān)工作。

研究人員將近期的工作分為以下兩個(gè)方面的量化：

（1）連接：模態(tài)之間如何關(guān)聯(lián)并共享共性；

（2）交互：推理過(guò)程中模態(tài)元素如何交互。

3. 多模態(tài)學(xué)習(xí)過(guò)程（Multimodal Learning Process）

最后一個(gè)問(wèn)題主要解決模型從異構(gòu)數(shù)據(jù)中學(xué)習(xí)時(shí)所面臨的學(xué)習(xí)和優(yōu)化挑戰(zhàn)，文中主要從三方面介紹了相關(guān)工作：

(1) 跨模態(tài)和跨任務(wù)的泛化；

(2) 更好地優(yōu)化以實(shí)現(xiàn)均衡高效的訓(xùn)練；

(3) 在實(shí)際部署中性能、魯棒性和復(fù)雜性之間的權(quán)衡。