該文章的作者團(tuán)隊(duì)來(lái)與哈工大社會(huì)計(jì)算與信息檢索研究中心，作者團(tuán)隊(duì)構(gòu)成：鄭子豪、張梓涵、王澤鑫、付瑞吉、劉銘、王仲遠(yuǎn)、秦兵。

多模態(tài)表示

多模態(tài)命名實(shí)體識(shí)別，作為構(gòu)建多模態(tài)知識(shí)圖譜的一項(xiàng)基礎(chǔ)而關(guān)鍵任務(wù)，要求研究者整合多種模態(tài)信息以精準(zhǔn)地從文本中提取命名實(shí)體。盡管以往的研究已經(jīng)在不同層次上探索了多模態(tài)表示的整合方法，但在將這些多模態(tài)表示融合以提供豐富上下文信息、進(jìn)而提升多模態(tài)命名實(shí)體識(shí)別的性能方面，它們?nèi)燥@不足。

本文，研究團(tuán)隊(duì)提出了DPE-MNER，一個(gè)創(chuàng)新的迭代推理框架，它遵循“分解、優(yōu)先、消除”的策略，動(dòng)態(tài)地整合了多樣化的多模態(tài)表示。該框架巧妙地將多模態(tài)表示的融合分解為層次化且相互連接的融合層，極大地簡(jiǎn)化了處理過(guò)程。在整合多模態(tài)信息時(shí)，該團(tuán)隊(duì)特別強(qiáng)調(diào)了從“簡(jiǎn)單到復(fù)雜”和“宏觀到微觀”的漸進(jìn)式過(guò)渡。此外，通過(guò)顯式地建模跨模態(tài)的相關(guān)性，研究團(tuán)隊(duì)有效地排除了那些可能對(duì)MNER預(yù)測(cè)造成誤導(dǎo)的不相關(guān)信息。通過(guò)在兩個(gè)公共數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)，研究團(tuán)隊(duì)的方法已被證實(shí)在提升多模態(tài)命名實(shí)體識(shí)別的準(zhǔn)確性和效率方面具有顯著效果。本文為LREC-COLING 2024 1558篇錄用論文中的十篇最佳論文候選之一。

動(dòng)機(jī)

多模態(tài)命名實(shí)體識(shí)別的一個(gè)實(shí)例。研究團(tuán)隊(duì)展示了對(duì)于命名實(shí)體識(shí)別決策可能有用的多種多模態(tài)表示。人類通常在心中以迭代的方式處理這些信息。

為解決這一問(wèn)題，研究團(tuán)隊(duì)從復(fù)雜問(wèn)題解決（Sternberg 和 Frensch，1992）這一領(lǐng)域中獲得靈感。該領(lǐng)域?qū)Ｗ⒂谘芯咳祟惡陀?jì)算機(jī)在解決包含多個(gè)變量、不確定性和高復(fù)雜性的問(wèn)題時(shí)所采用的方法和策略。首先他們認(rèn)為，當(dāng)面對(duì)復(fù)雜問(wèn)題時(shí)，人類一般會(huì)采用迭代的處理方式，如圖所示，研究團(tuán)隊(duì)在處理MNER時(shí)其實(shí)也是個(gè)迭代的過(guò)程。其次，人類會(huì)運(yùn)用特定策略來(lái)簡(jiǎn)化這些問(wèn)題，比如分解、優(yōu)先排序和排除不相關(guān)因素。

該研究團(tuán)隊(duì)認(rèn)為，將多模態(tài)命名實(shí)體識(shí)別（MNER）視為一個(gè)整合多模態(tài)信息的迭代過(guò)程，并運(yùn)用這些策略，非常適合于MNER任務(wù)。與單一步驟的方法相比，多步驟的方法能夠在迭代優(yōu)化命名實(shí)體識(shí)別（NER）結(jié)果的過(guò)程中，更全面地利用多樣化的多模態(tài)表示。

此外，這三種策略非常適合于多模態(tài)NER中多種表示的整合：

• 分解策略鼓勵(lì)我們將多模態(tài)表示的融合拆分為更小、更易于處理的單元，這些單元能夠在不同的粒度級(jí)別上探索多模態(tài)交互。
• 優(yōu)先排序策略建議根據(jù)“由易到難”和“由粗到細(xì)”的順序來(lái)整合多模態(tài)信息；這種漸進(jìn)式的整合有助于MNER預(yù)測(cè)的逐步優(yōu)化。這使得模型能夠逐步將注意力從簡(jiǎn)單但粗糙的信息轉(zhuǎn)移到復(fù)雜但精確的細(xì)節(jié)上。
• 不相關(guān)性消除策略啟發(fā)我們顯式地篩選并排除不同多模態(tài)表示中的無(wú)關(guān)信息；這可以消除那些可能影響MNER性能的無(wú)關(guān)信息。

方法

研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)迭代的動(dòng)態(tài)融合多種多模態(tài)特征的多模態(tài)實(shí)體抽取框架，其包含一個(gè)迭代過(guò)程以及預(yù)測(cè)網(wǎng)絡(luò)。 

迭代建模MNER

研究團(tuán)隊(duì)沿用擴(kuò)散模型將物體識(shí)別，視覺(jué)對(duì)齊以及文本實(shí)體抽取建模為迭代的去噪過(guò)程的方式，同樣使用了擴(kuò)散模型將多模態(tài)實(shí)體抽取建模為迭代過(guò)程。模型首先隨機(jī)初始化一系列的實(shí)體區(qū)間，基于一個(gè)預(yù)測(cè)網(wǎng)絡(luò)編碼多模態(tài)特征來(lái)在去噪過(guò)程中迭代地去噪得到文本中的正確實(shí)體區(qū)間。

預(yù)測(cè)網(wǎng)絡(luò)

如圖所示，研究團(tuán)隊(duì)共獲取了文本中的三種粒度的表示，圖片中的兩種粒度兩種難度(他們認(rèn)為對(duì)齊的表示是簡(jiǎn)單的表示，不對(duì)齊的是困難的表示)的表示。該團(tuán)隊(duì)的預(yù)測(cè)網(wǎng)絡(luò)AMRN包含一個(gè)編碼網(wǎng)絡(luò)(DMMF)以及解碼網(wǎng)絡(luò)(MER)。預(yù)測(cè)網(wǎng)絡(luò)的設(shè)計(jì)是基于前面所提到的三種策略。

如圖所示，編碼網(wǎng)絡(luò)是一個(gè)層次化的融合網(wǎng)絡(luò)，將多種多模態(tài)特征融合分解為了一個(gè)層次化的過(guò)程。自底向上是首先將相同粒度不同難度的圖片特征融合到每個(gè)粒度的文本特征中$x_i$, 將不同粒度的圖片特征$Y$融合到每個(gè)粒度的文本特征，最后將不同粒度的圖片特征Y和文本特征X融合，得到最終的多模態(tài)表示。輸入到解碼網(wǎng)絡(luò)中進(jìn)行解碼，解碼網(wǎng)絡(luò)得到新的區(qū)間，以及每個(gè)區(qū)間的實(shí)體類型。

底層融合。這一層研究團(tuán)隊(duì)將某一個(gè)粒度的圖片特征融合到某一個(gè)粒度的文本特征中。根據(jù)擴(kuò)散過(guò)程，研究團(tuán)隊(duì)可以得到一個(gè)調(diào)度器，該調(diào)度器可以反映當(dāng)前的迭代的狀態(tài)，也是引入優(yōu)先級(jí)的關(guān)鍵。研究團(tuán)隊(duì)基于該調(diào)度器將不同難度的圖片特征融合在一起得到與相關(guān)性rel，用于消除其中的無(wú)關(guān)信息。最后結(jié)合該相關(guān)性使用了一個(gè)bottleneck transformer來(lái)進(jìn)行與的融合，得到了某一粒度的多模態(tài)圖像文本融合表示。

中層融合。這一層研究團(tuán)隊(duì)將不同粒度的圖片特征融合到某一個(gè)粒度的文本特征中，即融合。這一層我們使用了調(diào)度器來(lái)對(duì)不同粒度的圖片特征進(jìn)行動(dòng)態(tài)融合，得到了某一粒度的多模態(tài)文本表示。

頂層融合。這一層研究團(tuán)隊(duì)將不同粒度的多模態(tài)文本表示融合到區(qū)間的表示中，得到總的多模態(tài)的文本表示，輸入到解碼網(wǎng)絡(luò)中進(jìn)行預(yù)測(cè)。

實(shí)驗(yàn)結(jié)果

主實(shí)驗(yàn)

作者團(tuán)隊(duì)對(duì)比了MNER的一些典型的方法。實(shí)驗(yàn)結(jié)果表明該方法在兩個(gè)常用的數(shù)據(jù)集上取得了最佳的性能。

消融實(shí)驗(yàn)

研究者分別去除了我們論文中關(guān)于優(yōu)先級(jí)、層次化、以及消除的設(shè)計(jì)，來(lái)觀察模型性能，結(jié)果表明移除各個(gè)設(shè)計(jì)均帶來(lái)了性能的下降。

與靜態(tài)特征融合方法的對(duì)比

他們對(duì)比了一些典型的靜態(tài)多模態(tài)融合方法，例如最大池化，平均池化，基于MLP以及MoE的方法，結(jié)果表明他們所提出的動(dòng)態(tài)融合框架能達(dá)到最好的性能。

典型樣例分析

研究團(tuán)隊(duì)選取了兩個(gè)有代表性的樣例來(lái)表明迭代過(guò)程。可以看到最開(kāi)始的迭代步驟里，time square和cubs的類型被錯(cuò)誤地預(yù)測(cè)了；然而根據(jù)圖片中的重要特征線索，迭代地修正為了正確的實(shí)體類型。

結(jié)論

本文旨在多模態(tài)命名實(shí)體識(shí)別（MNER）領(lǐng)域內(nèi)，充分地發(fā)揮各種多模態(tài)表示的潛力，以期獲得卓越的識(shí)別效果。為此，作者們?cè)O(shè)計(jì)并提出了一種創(chuàng)新的迭代推理框架——DPE-MNER。DPE-MNER通過(guò)將MNER任務(wù)分解為多個(gè)階段，巧妙地簡(jiǎn)化了對(duì)這些豐富多樣的多模態(tài)表示的整合過(guò)程。在這一迭代過(guò)程中，多模態(tài)表示依據(jù)“分解、優(yōu)先排序和消除”的策略，實(shí)現(xiàn)了動(dòng)態(tài)的融合與整合。通過(guò)一系列嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)驗(yàn)證，研究團(tuán)隊(duì)充分展示了DPE-MNER框架的顯著效果和優(yōu)越性能。