?近年來，隨著問答技術和多模態理解技術的蓬勃發展，視覺問答任務（Visual Question Answering）變得越來越受關注。諸如 VQA、CLEVER、Visual-7W 等大規模視覺問答數據集陸續發布，極大地推動了視覺問答任務的迭代發展。然而，當前大部分視覺問答數據都是人工合成問題，如 “她的眼睛是什么顏色” 這種標注者在看到圖片后虛構設計出的。人工產生的數據會相對簡單、低質甚至有偏。因此，在這項工作中，我們基于 QQ 瀏覽器中用戶真實的問題，提出了一個基于中文的大規模圖片問答數據集：ChiQA。

ChiQA 包含有超過 4 萬個真實用戶 query 和超過 20 萬個問題 - 圖像對。數據和一些 baseline 模型已經公布在GitHub。相關研究已經被 CIKM2022 長文錄用。

論文地址：https://arxiv.org/abs/2208.03030

Github地址：https://github.com/benywon/ChiQA

對比單模態問答任務

ChiQA的三個顯著特性

問答系統（Question Answering) 是人工智能和智能語言處理中非常重要的任務之一。近年來，隨著大規模數據集（如 SQuAD、NaturalQuestions)的發布以及大規模預訓練語言模型（如 BERT、GPT）的提出，問答任務得到了飛速的發展。然而，當前大部分問答任務都是單模態的，即問題、資源以及答案都是基于文本的。然而，從認知智能以及實際應用的角度來說，多模態資源如圖像在很多時候往往能提供更為豐富的信息和答案。例如，對于一個問題：iPhone13 的尺寸是多少？一個針對 iPhone13 不同型號的尺寸對比圖會更加清楚和直觀。還有一些例子如下圖所示：

圖一：一些適合用圖片回答用戶問題的例子

最近幾年，針對多模態理解的問答數據和任務被相繼提出。如 VQA1.0 和 2.0、CLEVR、GQA 等等。在大部分圖像問答數據集中，系統提供一些人工生成或者真實的圖像給標注者，標注者需要人工寫出一些針對特定屬性或者實體的問題。然而，這種數據收集過程不可避免的有很多缺陷：

1）所有的問題都是圖像相關的（image-dependent），即標注者看到圖片之后提出問題。在大規模數據構建過程中，人工生成的問題往往會缺乏多樣性，而且往往由于標注者的主觀因素會產生偏置。在這種先看資源，再提問的數據上訓練的模型往往可以不用看背景資源只看問題而輕易達到非常好的效果；

2）其次，在傳統的 VQA 數據中，答案往往是一個簡單的實體、關系或者簡單對特定區域的描述。然而對于實際的圖像問答任務中，很多文本性答案是不必要的，例如對于問題：“羊駝長什么樣”，提供一個冗長的答案描述羊駝的外表顯得非常冗余。其次，這種簡短的實體描述往往會讓標注者只關注到局部關系，而很少注意真正整體結構上的一些信息；

3）最后，大部分之前的資源往往是專注于英文，在中文領域的圖像問答數據很少。

在這個工作中，針對以上幾個問題，我們提出了一個大規模的中文圖像問答數據集 - ChiQA（Chinese Image Question Answering）。我們通過手機 QQ 瀏覽器中用戶真實的搜索詞出發，通過特定 API 檢索到相關的若干張圖片，然后將圖片交由經過專業培訓的標注人員進行三級標注，以表示該圖片是否能完美回答（2 分）、部分回答（1 分）以及不能回答（0 分）用戶的問題。對于 ChiQA 來說，有三個顯著的特點：

• 真實問題，真實圖片：ChiQA 中的圖片來源于隨機用戶的查詢。這些查詢是開放域中隨機的用戶 query，這些 query 非常多樣，而且 query 的領域分布非常廣泛。這樣隨機的多樣性 query 保證了我們的數據中的問題不會有偏；
• 可回答性：對于問答任務來說，可回答性是一個非常重要的方面。在 ChiQA 中我們不要求標注人員給出最終的答案：因為這樣往往會引入一些額外的偏置，比如標注人員的常識。相反的，我們著重于可回答性，即圖片對于問題是否可以回答。這種可回答性可以讓 ChiQA 的標注人員既需要理解 query，也需要理解圖片；
• 無偏的：因為隨機 query 中也會存在 28 定律，即一些高頻或者單一的問題往往會出現很多次，數據中這種簡單模式的問題會占據大多數，造成數據中真正跨模態理解的偏置。因此，我們在數據收集過程中引入了兩階段的主動學習過程，在第一階段隨機 query 標注完成后，我們訓練了一個簡單的模型，然后用這個模型挑選出 "更難" 的一些模型，從而讓二階段的標注數據中數據的豐富度和難度相對更高。

圖二：ChiQA 和業界其他一些圖像問答數據的對比

最終我們收集了超過 40000 個問題，每個問題都有大約 5 個相關的圖片，即總量超過 20 萬的問題 - 圖片對。每個問題都有若干張圖片，我們對每個圖片以2-1-0進行三擋打分。

一些 ChiQA 中的例子如下圖所示：

圖三：ChiQA 中一些樣本的示例。

數據收集：所有問題均來源于用戶真實查詢

整個數據的收集過程可以分為四步，整體流程圖如下：

圖四：數據收集過程

對于 ChiQA 來說，其一大特色是所有的問題都來源于用戶真實的查詢。然而，如果我們隨機從搜索引擎用戶的搜索日志中采樣用戶的查詢，那么大部分查詢都是沒有問答意圖的。

因此我們首先需要過濾出有問答意圖的 query。在這個工作中，我們采用了一種內部構造的弱監督方法訓練了一個二分類器，來判定一個 query 是不是有問答意圖。人工評測這個意圖模型能夠達到 90% 的精度以及 80% 的召回。我們通過這個模型對用戶的 query 進行采樣，得到了大約 7.5 萬個經過模型判定具有問答意圖的用戶 query 進入下一輪。

圖像收集&標注過程和經驗

得到了問題之后，我們將這些問題發送給谷歌提供的開放 API（Google Images API - SerpApi）進行相關圖像檢索。谷歌 API 對每個 query 會返回最相關的 100 個圖像。為了保證最后數據的質量，我們去掉了那些長度或者寬度小于 200 像素的 query以及那些過長或者過寬的圖像。

得到了原始圖像之后，我們取經過過濾后的前 5 個圖片，并讓標注人員標注這個 query 和對應的 5 個圖片。我們內部專門為本任務設計了一個標注界面，如下圖所示。

圖五：ChiQA 的標注界面

在標注過程中，我們讓標注人員標注三個方面：

1） 問題標注

由于本工作主要著眼于圖片問答，而事實上在普通的用戶問題中很多都和圖片問答無關（或者很難用圖片來回答）。因此我們首先讓標注人員標注這個問題是不是可以算作一個圖片問答的問題。例如：

如果一個問題是“xxx 和 xxx 的差別”，那么這個問題就會被認為是一個具有圖像問答意圖的問題；

如果一個問題是模糊的、具有歧義的或者包含有沒有事實根據推論的觀點，那么這個問題就會被歸類于無圖像問答意圖，并且不會參與到后續圖片標注的過程中。

一些 query 標注的例子如圖 6 所示：

圖 6：query 標注的示例

2） 圖片標注

對于上一步中有效的 query，我們對其 5 個候選 query 進行標注。標注的標準是三級 0-1-2 標注，其中：

0 分表示這個圖片完全不能用來回答這個問題，2 分表示這個圖片質量過關并且可以完全獨立的回答這個問題。而 1 分的圖片則介于這兩者之間，表示這個圖片和這個 query 相關，但是卻無法直接回答，用戶可能需要更多的查詢或者推理才能得到最終的答案。一些 0 分、1 分、2 分的例子如下圖所示：

圖七：對于問題“如何使用不同介詞”，圖片標注打分的示例

3） 質量控制

我們在整個標注過程中采用了嚴格的質量控制方案。具體來說，我們首先會邀請 3 個質量團隊進行試標注，選擇標注質量最好的那個團隊來標注余下所有的數據。其次，在標注過程中，我們會將標注數據分批，每一批次的數據我們會采樣其中五分之一的數據進行人工校驗，如果數據的合格率小于 90%，那么這一批次的數據將會被打回重新進行標注，直到數據精度達到 90%。

主動學習的數據標注

讓結果更無偏

經過數據收集的工作，我們發現如果隨機對數據進行采樣和標注，那么數據中往往會存在一些簡單的模式，這種簡單的模式大量存在于數據中可能會對最終的模型造成偏置影響。因此，我們設計了一個主動學習的標注過程。具體來說，我們首先將讓標注人員標注一批數據，這一批數據標注完成之后，我們就用這一批數據訓練一個跨膜態的文本圖像匹配模型。模型訓練完畢之后，我們開始用這個模型來 “選擇” 新的樣本：如果模型對這個新的樣本預測非常不確定（即最后分類預測的熵特別大），那么我們認為這個樣本相對模型較難，因此有較大概率保留到下一輪中間，反之說明模型對這個數據已經很置信了，那么這個模型以較小的概率保留到下一輪中。

我們發現主動學習數據選擇過程確實使數據集更無偏。我們發現第一階段的標記數據包含一些難以察覺的偏置。例如，包含 “的技巧” 字的問題標記為有效問題，但幾乎所有相應的圖像被標記為無法回答（即 0 分），因此模型很可能不看圖片直接根據 query 中的問題就預測出最終的結果。而這種主動學習的過程降低了這種可能性，這種高置信度且有偏的竅門（shortcut）在下一輪中很難被選擇上，從而降低了這種模式的影響面。

測試集標注

我們隨機從標注數據中篩選出來 2500 條數據，并且讓不同的標注者重新標注。如果標注的結果和之前的結果一樣，則這個數據被保留為測試集，要是不一樣，我們讓一個對任務非常了解的“專家”重新標注這個數據，最終得到了 2362 條測試數據以及超過 4 萬條訓練數據。訓練集和測試集的統計信息如下圖所示：

圖八：ChiQA 中訓練集和測試集的統計信息

數據的推理和分析

在標注完數據之后，我們對 ChiQA 中的數據進行統計和分析。

1）query 常用詞分析：

我們用結巴分詞對 query 進行切分，并且將 query 中的詞按照頻率展示在下面的云圖上：

?

可以看到 ChiQA 中最常見的 query 是區別、圖解、位置等。這和我們的直覺一樣，因為這些詞確實是很適合圖片來回答的問題。

2）領域分析

我們使用內部的一個領域分類的分類器來對所有的 query 進行分類，最終的結果如下圖所示：

可以看到我們的數據包含有很多種領域的數據，并且沒有某一種領域的數據是占絕對多數的。這保證了我們的數據分布是均勻的。其次，我們對問題里面的疑問詞也進行統計，結果如下圖所示：

可以看到 ChiQA 中 what 類和 how to 類問題占了大多數，而其他的一些問題也有相當大的比例。

3）圖像分析

除了問題之外，我們也對 ChiQA 中的圖像進行了分析。由于圖像大部分是語言無關的，因此我們采用了一個在業界公認性能比較優良的目標檢測模型 DETR 來挖掘出圖像中的實體。DETR 可以將圖像中的實體映射到標準 MS-COCO 定義的實體中，如 “人物”、“狗” 等。我們對 ChiQA 中的每個圖像挖掘出實體，并將最高頻次的實體分布展示在下圖中：

可以看到在 ChiQA 中有超過 30 個實體出現了至少 1000 次，這顯示出 ChiQA 是一個分布非常均勻并且覆蓋了大部分領域的圖像數據，其中出現次數最多的實體是 “人物”、“手機”、“汽車” 等。這個和問題的分布類似。

4）推理技能?

為了更好地分析數據，我們還對 ChiQA 數據中所需要的推理技能進行了分析。著重分析了 5 中需要推理的技能：

• Grouding: 需要模型和系統將問題中提到的實體進行理解和定位
• 閱讀：需要模型理解圖片中出現的文字部分
• 對比：需要模型對比一些不同的屬性和內容，例如身高、大小等等
• 因果推理：模型需要深層次理解問題和圖片中存在的因果部分（即事物發生的原因或者造成的結果）
• 邏輯推理：需要模型理解問題或者圖片中的一些邏輯比較因素，例如否定、條件等等

我們隨機采樣了 200 條數 ChiQA 據并且根據上述 5 個標準進行標注，其中某些數據可能需要不止一種推理技能。其結果如下圖所示。

可以看到除了 Grouding 之外，超過 80% 的 ChiQA 數據需要深度理解圖片中的文字和對比關系。這和之前大部分的 VQA 數據很不一樣。其次，有相當多的問題需要邏輯和對比，說明 ChiQA 中的數據具有相當的難度。我們認為對 ChiQA 中推理技能的分析可以幫助我們更好地理解這個數據，并且為后續的模型設計提供一些先驗的指導。

實驗評估指標

在 ChiQA 數據集中，標注打分有三擋：0，1，2，所以在實驗中我們測試模型排序的指標和普通分類的指標。分為三類：

• NDCG@N：Normalized Discounted Cumulative Gain
• Mean Average Precision（MAP@N）：平均精度 (MAP@N)
• Accuray / Precision / Recall / F1

基線模型

我們在 ChiQA 數據集上實驗了多個常用的模型。仿照之前圖片 - 文本匹配的工作，我們先把圖片和文本分別用編碼器進行編碼，然后將它們的表示進行跨模態融合，最后用一個預測層來獲取匹配得分。在下面所列模型中，加?代表模型經過了預訓練，加?則表示沒有。

• Random?：對測試集中的每條數據，在 0、1、2 中隨機選擇一個預測分數，random 模型是作為 ChiQA 上的一個基線模型。
• Majority?：選擇訓練集中出現最多的標簽作為測試集上所有數據的預測分數。
• LSTM+ResNet?：在文本和視覺的大規模預訓練模型出現前，LSTM 和 ResNet 分別是文本和視覺領域最常用的模型之一。
• Bert+ViT?：我們使用 Bert 模型編碼查詢文本，使用 ViT 模型編碼圖片，其中，Bert 和 ViT 模型都是在大規模無監督數據上預訓練過的。最后使用 < CLS > 的表示向量進行匹配分數預測。
• ALBEF?：ALBEF 是一種大規模的視覺和語言表示學習，已經在各種視覺語言任務上展示出較大的改進。
• +Pretrain?：對于中文的跨模態預訓練，我們在悟空數據集上對Bert-ViT和ALBEF進行跨膜態預訓練，預訓練方式和ALBEF類似。悟空數據集是一個包含1億個圖片-文本對的開源跨模態數據。
• Wenlan?：Wenlan 是一個大規模的多模態預訓練模型，在 3000 萬文本-圖像對上進行了訓練，模型包含近十億個參數。我們使用他們公開的api服務獲取文本和圖片的表示向量，并使用兩個向量的Cos相似度作為預測的匹配分數。
• Human：除了上述這些模型，我們還評估了人類在測試集上的預測水平。由于測試集數據較多，我們人工隨機抽樣了 100 條數據進行預測和評估預測指標。

以下是結果顯示：

?

上述模型在測試集上的指標如圖所示。我們可以看到，直接應用之前最先進的跨模態方法的效果很差，指標僅比隨機打分模型好一點。這意味著 ChiQA 數據較難，僅使用大規模的弱監督對比學習的模型，如 ALBEF*、Wenlan，可能無法區分視覺問答所需的細粒度信息。此外，這些模型的糟糕表現說明，ChiQA 數據集不同于之前弱監督的圖像 - 文本匹配數據，因為弱監督的圖像 - 文本匹配側重于相關性，而 ChiQA 數據同時要求圖片的可回答性。

最后，在 ChiQA 上微調的模型在基線上取得了很大的進步，但與人類的表現仍然相差較遠，所以模型在 ChiQA 數據集還有很大的提升空間。

ChiQA在產品里的應用

隨著互聯網的發展，用戶對問答的需求更高，需要系統提供更為直觀、便捷的答案。特別是最近幾年，多媒體內容愈加的豐富，以圖片、視頻為載體的問答內容越來越多的出現在公眾面前。QQ 瀏覽器實驗室立知團隊在今年 4 月份率先在業界推出圖片問答項目，如用戶搜獼猴桃和奇異果的區別，結果會以圖片的形式直觀的展現在用戶面前。如下圖所示：

當前這種可以直接由圖片滿足的問題上線后取得了良好的效果。我們觀察到其用戶行為（如 CTR、換詞率等）相較于傳統的結果有著明顯的改善，說明當前以圖片等為載體的 “新問答” 是一個更能滿足用戶需求的產品業務。

作者團隊介紹

QQ 瀏覽器搜索技術中心團隊是騰訊 PCG 信息平臺與服務線負責搜索技術研發的團隊，依托騰訊內容生態，通過用戶研究驅動產品創新，為用戶提供圖文、資訊、小說、長短視頻、服務等多方位的信息需求滿足。在算法方面，以自然語言處理、深度學習、多模態理解與生成、知識計算與應用等技術為基礎，建設內容理解、相關性和排序、多模態搜索、智能問答、多語言翻譯、搜索推薦等技術方向，探索和應用業界先進技術、打造更優秀的用戶搜索體驗；在工程方面，建設搜索技術中臺工業化系統，打磨高性能、高可用、低成本的百億級檢索系統，為騰訊 PCG 各個內容業務的搜索場景提供基礎的搜索引擎服務，當前已支持 QQ 瀏覽器、騰訊視頻、騰訊新聞、騰訊微視等 PCG 多條產品線。