[[399343]]

神經網絡實際上就是在學習一種表示，在CV領域，良好的視覺和視覺語言（vision and vision-language）表征對于解決計算機視覺問題(圖像檢索、圖像分類、視頻理解)至關重要，并且可以幫助人們解決日常生活中的難題。

例如，一個好的視覺語言匹配模型可以幫助用戶通過文本描述或圖像輸入找到最相關的圖像，還可以幫助像 Google Lens 這樣的設備找到更細粒度的圖像信息。

為了學習這樣的表示，當前最先進的視覺和視覺語言模型嚴重依賴于需要專家知識和廣泛標簽的訓練數據集。

對于視覺相關的應用場景來說，視覺表示主要是在具有顯式類標簽的大規模數據集上學習的，如 ImageNet、 OpenImages 和 JFT-300M等。

對于視覺語言的應用來說，常用的預訓練數據集，如Conceptual Captions和Visual Genome Dense Captions，都需要大量的數據收集和清理工作，這限制了數據集的大小，從而阻礙了訓練模型的規模。

相比之下，自然語言處理的模型在 GLUE 和 SuperGLUE 基準測試中，他們達到sota性能是通過對原始文本進行大規模的預訓練而不使用人工標簽。

在 ICML 2021會議上，Google Research發表了Scaling up visual and vision-language representation learning with noisy text supervision一文，建議利用公開的圖像替代文本數據(如果圖像未能在用戶屏幕上顯示，則在網頁上顯示替代圖像的書面文本)來彌補這一差距，以訓練更大、最先進的視覺和視覺-語言模型。

為了達到這個目的，我們利用了一個超過10億個圖像和文本對的噪聲數據集，在概念標題數據集中沒有昂貴的過濾或后處理步驟就獲得了這個數據集。實驗結果表明，我們的語料庫規模可以彌補噪聲數據的不足，從而實現了 SotA 表示，并且在轉換到 ImageNet 和 VTAB 等分類任務時表現出了很好的性能。對齊的視覺和語言表示還在 Flickr30K 和 MS-COCO 基準上設置新的 SotA 結果，即使與更復雜的交叉關注模型相比也是如此，并支持零鏡頭圖像分類和復雜文本和文本 + 圖像查詢的交叉模式搜索。

圖文數據集中的 alt-text 通常是關于圖像的描述，但數據集可能包括噪音，例如一些描述文本可能部分或全部與其配對圖像無關。

例如第二張圖中就包括部分與圖像無關的描述，如日期、縮略圖等等。

Google的研究工作主要遵循構建Conceptual Captions數據集的方法來獲得原始的英語描述文本數據，即圖像和alt-text的pairs。

雖然Conceptual Captions數據集被大量的過濾和后處理清理過了，但是論文中的工作通過放寬數據清洗的措施來擴大數據集，這種方法來擴展視覺和視覺語言表征學習。

最后獲得了一個更大但噪音也更大的數據集，共包含 18億個 圖像-文本對。

ALIGN: A Large-scale ImaGe and Noisy-Text Embedding

為了便于建立更大的模型，模型框架采用了一個簡單的雙編碼器結構用來學習圖像和文本對的視覺和語言表示的align表示。

圖像和文本編碼器是通過對比學習來訓練，即歸一化的softmax。

這種對比損失將匹配的圖像-文本對的embedding盡可能貼近，同時將那些不匹配的圖像-文本對(在同一batch中)盡可能分開。

大規模數據集使我們能夠訓練擁有更多參數的模型，甚至可以從零開始訓練和EffecientNet-L2和BERT-large那么大的模型。學到的視覺表征可以用于下游的視覺和視覺語言任務。

所得到的表示可以用于純視覺或視覺語言任務上的遷移學習，無需任何微調，ALIGN 就能夠跨模態搜索圖像到文本、文本到圖像，甚至聯合搜索圖像 + 文本的query。

上述例子就展示了ALIGN的這種能力。

Evaluating Retrieval and Representation

評估檢索和表示學習的時候， ALIGN 模型與 BERT-Large 和 EfficientNet-L2共同作為文本和圖像編碼器，能夠在多個圖像文本檢索任務(Flickr30K 和 MS-COCO) ZeroShot任務和微調中都取得了sota性能。

ALIGN 也是一個強大的圖像表示模型。在固定住特征以后，ALIGN 略優于 CLIP，并在 ImageNet 上獲得85.5% 的 SotA 結果。通過微調，ALIGN 比大多數通用模型(如 BiT 和 ViT)獲得了更高的準確性，只比 Meta Pseudo Labels 差，但后者需要 ImageNet 訓練和大規模未標記數據之間進行更深入的交互。

在Zero-Shot圖像分類上，圖像分類問題將每個類別視為獨立的 id，人們必須通過每個類別至少拍攝幾張標記數據來訓練分類層次。但類名實際上也是自然語言短語，因此可以很自然而然地擴展 ALIGN 圖像分類的圖文檢索能力，而不需要任何訓練數據。

在 ImageNet 驗證數據集上，ALIGN 實現了76.4% 的 top-1 Zero-shot 準確率，并且在不同的 ImageNet 變體中表現出很強的魯棒性，這與同時期的工作 CLIP 很像，都使用了文本提示來訓練。

為了能夠說明圖像檢索的實際效果，論文中還構建了一個簡單的圖像檢索系統，該系統使用 ALIGN 訓練的embedding，并展示了一億6000萬張圖像池中少數文本查詢的top1個文本到圖像的檢索結果。

ALIGN 可以檢索給出場景詳細描述的精確圖像，或者細粒度或實例級的概念，如地標和藝術品。

這些示例表明，ALIGN 模型可以使圖像和文本具有相似的語義，并且 ALIGN 可以概括為新的復雜概念。

多模態(圖像 + 文本)圖像搜索查詢單詞向量的一個令人驚訝的特性是，單詞類比通常可以用向量算法解決。一個常見的例子，“ king-man + woman = queen”。圖像和文本嵌入之間的這種線性關系也出現在 ALIGN 中。

具體來說，給定一個查詢圖像和一個文本字符串，將它們的 ALIGN embedding相加到一起，并使用余弦距離檢索相關圖像。

這些例子不僅說明了 ALIGN 嵌入跨視覺域和語言域的組合性，而且表明了使用多模態查詢進行搜索的可行性。例如，人們現在可以尋找“澳大利亞”或“馬達加斯加”大熊貓的等價物，或者把一雙黑鞋變成看起來一模一樣的米色鞋子。此外，還可以通過在嵌入空間中執行減法來刪除場景中的對象/屬性。

在社會影響方面，雖然這項工作從方法論的角度來看，以簡單的數據收集方法顯示了令人滿意的結果，但在實踐中負責任地使用該模型之前，還需要對數據和由此產生的模型進行進一步分析。例如，應當考慮是否有可能利用備選案文中的有害文本數據來加強這種危害。關于公平性，可能需要努力平衡數據，以防止從網絡數據加強定型觀念。應該對敏感的宗教或文化物品進行額外的測試和訓練，以了解并減輕可能貼錯標簽的數據帶來的影響。

還應該進一步分析，以確保人類的人口分布和相關的文化物品，如衣服、食物和藝術品，不會造成曲解的模型性能。如果這些模型將在生產環境中使用，則需要進行分析和平衡。

綜上所述，Google Research提出了一種利用大規模圖文數據進行視覺和視覺語言表征學習的簡單方法，模型 ALIGN 能夠進行跨模態檢索，并且明顯優于 SotA 模型。在純視覺的下游任務中，ALIGN 也可以與使用大規模標記數據進行訓練的 SotA 模型相比，或者優于 SotA 模型。

本文的一二作者分別是Chao Jia和Yinfei Yang兩位華人，而他們分別的研究方向分別為CV和NLP，可見 神經網絡讓NLP和CV的界限也更加模糊了，萬物皆可embedding。