近期，中山大學(xué)發(fā)布了基于常識的無偏視覺問答數(shù)據(jù)集 (Knowledge-Routed Visual Question Reasoning，KRVQA)。由于自然語言與標(biāo)注者中自然存在的偏差，現(xiàn)有的算法能夠通過擬合數(shù)據(jù)集內(nèi)的這些偏差達(dá)到很好的效果，而不需要理解對應(yīng)的文字和圖像信息。相關(guān)論文發(fā)表在國際知名頂級期刊 TNNLS 上。

在自然語言處理和計算機(jī)視覺領(lǐng)域，已經(jīng)有工作開始探索基于常識的閱讀理解和視覺問答問題。這類問題要求算法需要額外的常識才能給出答案。但現(xiàn)有的常識視覺問答數(shù)據(jù)集大多是人工標(biāo)注的，并沒有基于合適的知識或情感表達(dá)進(jìn)行構(gòu)建。這不僅導(dǎo)致常識的分布相當(dāng)稀疏，容易產(chǎn)生解釋的二義性，同時還容易引入標(biāo)注者偏差，使得相關(guān)算法仍在關(guān)注于增加神經(jīng)網(wǎng)絡(luò)的表達(dá)能力以擬合問題和答案之間的表面聯(lián)系。

針對此問題，研究者提出了新的基于知識路由的視覺推理數(shù)據(jù)集 (Knowledge-Routed Visual Question Reasoning，KRVQA)，該數(shù)據(jù)集基于現(xiàn)有的多個公開知識 / 常識圖譜中與現(xiàn)有圖像場景圖 (scene graph) 相關(guān)的部分，通過預(yù)先定義的規(guī)則搜索圖譜中的推理路徑，并生成大規(guī)模無偏差的問答和推理標(biāo)注。如圖 1 所示，該數(shù)據(jù)集避免現(xiàn)有數(shù)據(jù)驅(qū)動的深度模型通過過擬合得到高準(zhǔn)確率，推動視覺問答模型正確感知圖像中的視覺對象，理解問題并整合對象之間的關(guān)系和相應(yīng)常識回答問題。

圖 1：KRVQA 測試基準(zhǔn)的樣例示意。

具體而言，基于通過生成推理路徑，從圖像場景圖或知識庫中選擇一個或兩個三元組進(jìn)行多步推理，并通過約束使用的三元組，將知識從其他偏差中分離出來，并平衡答案的分布，避免答案歧義。兩個主要的約束為：

1. 一個問題必須與知識庫中的多個三元組相關(guān)，但僅有一個三元組與圖像相關(guān)。

2. 所有的問題都基于不同的知識庫三元組，但訓(xùn)練集和測試集擁有相同的候選答案集合。

約束 1 能強(qiáng)制視覺問答模型正確地感知圖像，而不能僅僅根據(jù)給定的問題猜測知識。約束 2 則能避免現(xiàn)有方法通過訓(xùn)練集中的樣本來擬合知識庫，強(qiáng)制模型通過外部知識來處理未見過的問題，促進(jìn)模型在泛化性上的研究。

研究者對各種知識庫編碼方法和最新視覺問答模型進(jìn)行了大量實驗，結(jié)果表明，在給定知識庫的情況下，是否給定問題相關(guān)的三元組的兩張情況間仍然會存在較大的差距。這說明提出的 KRVQA 數(shù)據(jù)集能很好體現(xiàn)現(xiàn)有深度模型在知識推理問題上的不足。

KRVQA 數(shù)據(jù)集

該數(shù)據(jù)集基于從自然圖像場景圖和外部知識庫中提取的一個或兩個三元組，組成推理結(jié)構(gòu)，并以該結(jié)構(gòu)為基礎(chǔ)通過模板構(gòu)建問題答案對。

給定一個圖像，研究者首先合并其場景圖和外部知識庫以形成和圖像相關(guān)的知識圖。該數(shù)據(jù)集利用現(xiàn)有的公開標(biāo)注數(shù)據(jù)構(gòu)建數(shù)據(jù)集，包括使用 Visual Genome 數(shù)據(jù)集中圖像場景圖標(biāo)注以獲得圖像中的所有對象 / 關(guān)系三元組, 使用 WebChild、ConceptNet、DBpedia 等一般常識知識庫獲取圖像信息以外的常識三元組。場景圖和知識庫中的三元組都包含一個主語、一個關(guān)系和一個賓語共三個項。如果圖像場景圖中的物體和知識庫某個三元組中一項的名稱相同，這兩項就將合并。在合并所有名稱相同的項之后，可以得到一個與圖像相關(guān)的知識圖。研究者利用其中包含的三元組來生成復(fù)雜的問題——答案對。

然后從圖中提取一條路徑并根據(jù)路徑提出一階或二階問題。推理路徑的提取由一組層級化的基本查詢的構(gòu)建。一個基本查詢將告知模型在已知主語 A，賓語 B 和關(guān)系 R 中的其中兩個時，需要去哪個信息源取出第三個信息。例如，表示需要模型從知識庫中找到包括主語 A 和賓語 B 的三元組，并將三元組的關(guān)系 R 取出作為輸出。有如下 6 個基本查詢:

：給定主語 A 和賓語 B，從圖像中獲得它們的關(guān)系 R。

：給定主語 A 和關(guān)系 R，從圖像中獲得賓語 B。

：給定賓語 B 和關(guān)系 R，從圖像中獲得主語 A。

：給定主語 A 和賓語 B，從知識庫中獲得它們的關(guān)系 R。

：給定主語 A 和關(guān)系 R，從知識庫中獲得賓語 B。

：給定賓語 B 和關(guān)系 R，從知識庫中獲得主語 A。

通過將每個基本查詢的輸出作為下個基本查詢的輸入，便可以組成問題的層次化推理結(jié)構(gòu)，并作為標(biāo)注信息。例如，“What is the object that is on the desk used for?”的需要從圖像中查詢得知是什么在桌子上，并在給定前一步查詢得到的物體 A 和關(guān)系 “UsedFor” 的情況下，從知識庫中得到桌子上的物體的用處。

最終，根據(jù)提取的三元組和模板，例如 “(man, holds, umbrella)” 和模板 “what is <A> <R>? <B>” 生成問題答案對“what is the man holding？Umbrella”。

表 2 不同問題類型及對應(yīng)模板實例

數(shù)據(jù)集的統(tǒng)計特性

數(shù)據(jù)集總共包括 32910 個圖像，193449 個知識三元組和 157201 個問題答案對。其中包括 68448 個一步推理問題和 88753 個二步推理問題，以及 87193 個外部知識相關(guān)問題和 70008 個外部知識無關(guān)問題。

知識庫無關(guān)的問題中，候選答案的數(shù)量為 2378。候選答案出現(xiàn)的頻次在數(shù)據(jù)集中表現(xiàn)出了長尾分布。這使得模型必須準(zhǔn)確解析圖像，找出物體和它們的關(guān)系以正確處理圖像中顯著性不高的物體。知識庫相關(guān)的問題中，候選答案的數(shù)量為 6536，研究者通過限制每個答案的最大出現(xiàn)次數(shù)，使得知識庫相關(guān)的問題的答案分布均勻，避免模型擬合知識庫。驗證和測試集中 97% 的答案存在于訓(xùn)練集中，使得之前基于分類的視覺問答方法也能應(yīng)用在該數(shù)據(jù)集上。

圖 2 知識相關(guān)問題的答案分布

圖 3 知識無關(guān)問題的答案分布

實驗

研究者通過評估多個最新視覺問答模型的性能以及包括知識圖嵌入和問題編碼器預(yù)訓(xùn)練等各種知識嵌入方法，以檢驗提出的 KRVQA 數(shù)據(jù)集的性質(zhì)。其中視覺問答模型包括：

• Q-type。對于每個問題，使用其問題類型中最頻繁的訓(xùn)練答案作為輸出答案。
• LSTM。使用雙向 LSTM 對問題進(jìn)行編碼。并僅用問題編碼預(yù)測最終答案。
• 推理路徑預(yù)測。使用雙向 LSTM 對問題進(jìn)行編碼，并以全監(jiān)督方式訓(xùn)練和預(yù)測推理路徑和問題類型，以此從場景圖和知識庫中檢索正確答案。
• Bottom-up attention。該方法取得了 2017 年視覺問答挑戰(zhàn)賽的第一名方法。具有視覺問答模型的經(jīng)典架構(gòu)。
• MCAN。模塊化共同注意網(wǎng)絡(luò)（MCAN）為目前在 VQAv2 數(shù)據(jù)集上不使用額外數(shù)據(jù)得到最高的性能的方法，同時具有與在各種視覺語言任務(wù)上預(yù)訓(xùn)練的最新模型相似的網(wǎng)絡(luò)架構(gòu)結(jié)構(gòu)。

表 2 不同視覺問答方法在 KRVQA 上的準(zhǔn)確率

如表 2 所示，基線方法 「Q-type」和「LSTM」僅根據(jù)問題預(yù)測答案，準(zhǔn)確率大幅低于其他方。所有的方法在兩步問題上的表現(xiàn)都與一步問題有較大差距，在知識相關(guān)問題上的準(zhǔn)確率也更低。這些結(jié)果表明，KRVQA 數(shù)據(jù)集中的問題需要結(jié)合圖像上下文和知識進(jìn)行推理回答，多跳推理對現(xiàn)有方法仍具有挑戰(zhàn)性。

知識編碼與預(yù)訓(xùn)練

通過在整個知識庫上訓(xùn)練，RotatE 可以對知識庫中所有的實體和關(guān)系進(jìn)行編碼，使得針對三元組有。研究者使用 RotatE 對知識庫三元組編碼，并與 VQAv2 數(shù)據(jù)集上的效果最好之一的 MCAN 基線模型融合，如圖 4 所示。

圖 4 嵌入知識庫編碼的 MCAN 模型

最近的研究表明，通過對大量文本的訓(xùn)練，語言模型可以在一定程度上對知識進(jìn)行編碼。受此啟發(fā)，研究者同樣在知識文本上預(yù)訓(xùn)練問題編碼器，對知識進(jìn)行隱式編碼。具體地說，MCAN 的自注意問題編碼器將知識三元組的對應(yīng)文本作為輸入，然后如圖 5 所示預(yù)測被掩蓋的文本字符或相應(yīng)的知識三元組。

圖 5 用以隱式編碼知識庫的預(yù)訓(xùn)練任務(wù)示意

在表三上所示的 KRVQA 結(jié)果顯示，在給定標(biāo)定的三元組或查詢實體時，模型能大幅提高在知識相關(guān)問題上的結(jié)果。而在給定除查詢實體外的標(biāo)定三元組 “+knowledge inference” 時，由于一副圖像可能對應(yīng)多個知識三元組，模型在推理圖像答案時僅僅取得了少量提高。兩個預(yù)訓(xùn)練任務(wù)則僅僅相對基線方法有稍微的提高。這顯示了 KRVQA 中知識庫的重要性，同時說明當(dāng)前模型在正確感知圖像內(nèi)容以及編碼知識庫上的不足。

表 3 不同知識庫編碼方法與 MCAN 基線方法的準(zhǔn)確率