本文介紹了如何基于 SQuAD 數(shù)據(jù)集搭建問(wèn)答系統(tǒng)及其重要組件。

我最近很愉快地完成了斯坦福深度學(xué)習(xí)自然語(yǔ)言處理課程(CS224N)，學(xué)到了很多新的東西。在結(jié)課項(xiàng)目中我基于斯坦福問(wèn)答數(shù)據(jù)集(SQuAD)實(shí)現(xiàn)了一個(gè)問(wèn)答系統(tǒng)。在這篇博客中，我將為大家介紹搭建問(wèn)答系統(tǒng)所需要的主要模塊。

完整代碼 GitHub 地址：https://github.com/priya-dwivedi/cs224n-Squad-Project

一、SQuAD 數(shù)據(jù)集

斯坦福問(wèn)答數(shù)據(jù)集(SQuAD)是一個(gè)全新的閱讀理解數(shù)據(jù)集，由眾包人員基于一系列維基百科文章的提問(wèn)和對(duì)應(yīng)的答案構(gòu)成，其中每個(gè)問(wèn)題的答案是相關(guān)文章中的文本片段或區(qū)間。SQuAD 包含關(guān)于 500 多篇文章的超過(guò) 100000 個(gè)問(wèn)答對(duì)，規(guī)模遠(yuǎn)遠(yuǎn)超過(guò)其他閱讀理解數(shù)據(jù)集。

最近一段時(shí)間，各種類(lèi)型的模型在 SQuAD 數(shù)據(jù)集上的效果獲得了快速的發(fā)展，其中最新的一些模型在問(wèn)答任務(wù)中甚至取得了和人類(lèi)相當(dāng)?shù)臏?zhǔn)確率。

1. SQuAD 數(shù)據(jù)集中的語(yǔ)境、問(wèn)題和答案的示例

語(yǔ)境：阿波羅計(jì)劃于 1962 至 1972 年間進(jìn)行，期間得到了同期的雙子座計(jì)劃(1962 年 - 1966 年)的支持。雙子座計(jì)劃為阿波羅計(jì)劃成功必需的一些太空旅行技術(shù)做了鋪墊。阿波羅計(jì)劃使用土星系列火箭作為運(yùn)載工具來(lái)發(fā)射飛船。這些火箭還被用于阿波羅應(yīng)用計(jì)劃，包括 1973 年到 1974 年間支持了三個(gè)載人飛行任務(wù)的空間站 Skylab，以及 1975 年和前蘇聯(lián)合作的聯(lián)合地球軌道任務(wù)阿波羅聯(lián)盟測(cè)試計(jì)劃。

問(wèn)題：哪一個(gè)空間站于 1973 到 1974 年間承載了三項(xiàng)載人飛行任務(wù)?

答案：Skylab 空間站

2. SQuAD 的主要特點(diǎn)：

• SQuAD 是一個(gè)封閉的數(shù)據(jù)集，這意味著問(wèn)題的答案通常位于文章的某一個(gè)區(qū)間中。
• 因此，尋找答案的過(guò)程可以簡(jiǎn)化為在文中找到與答案相對(duì)應(yīng)部分的起始索引和結(jié)束索引。
• 75% 的答案長(zhǎng)度小于四個(gè)單詞。

二、機(jī)器理解模型關(guān)鍵組件

1. 嵌入層

該模型的訓(xùn)練集包括語(yǔ)境以及相關(guān)的問(wèn)題。二者都可以分解成單獨(dú)的單詞，這些單詞會(huì)被轉(zhuǎn)換成使用預(yù)訓(xùn)練向量(如 GloVe)的詞嵌入。想了解更多關(guān)于詞嵌入的信息，參考《教程 | 用數(shù)據(jù)玩點(diǎn)花樣!如何構(gòu)建 skim-gram 模型來(lái)訓(xùn)練和可視化詞向量》。同 one hot 向量相比，用詞嵌入方式對(duì)單詞進(jìn)行表示可以更好地捕捉語(yǔ)境信息。考慮到?jīng)]有足夠的數(shù)據(jù)，我使用了 100 維的 GloVe 詞嵌入并且在訓(xùn)練過(guò)程中沒(méi)有對(duì)它們進(jìn)行修改。

2. 編碼器層

RNN 編碼器

我們將基于 RNN 的編碼器加入到了模型的下一層當(dāng)中。我們希望語(yǔ)境中的每一個(gè)單詞能和它前后的單詞產(chǎn)生聯(lián)系。雙向 GRU/LSTM 可以幫助我們達(dá)到這一目標(biāo)。RNN 的輸出是一系列向前、向后的隱藏向量，然后我們會(huì)將它們級(jí)聯(lián)起來(lái)。類(lèi)似地，我們可以使用相同的 RNN 編碼器創(chuàng)建問(wèn)題隱藏向量。

3. 注意力層

現(xiàn)在我們有了一個(gè)語(yǔ)境隱藏向量和問(wèn)題隱藏向量。我們需要將這兩個(gè)向量結(jié)合起來(lái)，以找到問(wèn)題的答案。這時(shí)就需要用到注意力層。注意力層是問(wèn)答系統(tǒng)的關(guān)鍵組成部分，因?yàn)樗軒椭_定對(duì)于給定的問(wèn)題我們應(yīng)該「注意」文中的哪些單詞。讓我們從最簡(jiǎn)單的注意力模型開(kāi)始：

(1) 點(diǎn)積注意力

CS224N 中基本注意力的可視化分析

點(diǎn)積注意力等于每個(gè)語(yǔ)境向量 c_i 乘每個(gè)問(wèn)題向量 q_j 的結(jié)果向量 e^i(上圖中的注意力分?jǐn)?shù))。之后，我們對(duì) e^i 調(diào)用 softmax 函數(shù)來(lái)得到 α^i(上圖中的注意力分布)。softmax 保證了所有 e^i 的和是 1。最終，我們計(jì)算出 a_i：注意力分布 α^i 與對(duì)應(yīng)問(wèn)題向量(上圖中的注意力輸出)的積。點(diǎn)積注意力也可以用下面的式子來(lái)描述：

上面提到的注意力已作為基線注意力機(jī)制在 GitHub 代碼中實(shí)現(xiàn)。

(2) 更復(fù)雜的注意力——BiDAF 注意力

你可以用上述基本注意力層來(lái)運(yùn)行 SQuAD 模型，但恐怕結(jié)果不盡人意。更復(fù)雜的注意力才能產(chǎn)出更好的性能。

我們來(lái)了解一下 BiDAF 論文(https://arxiv.org/abs/1611.01603)。該論文的主要觀點(diǎn)是注意力應(yīng)該是雙向的——從語(yǔ)境到問(wèn)題和從問(wèn)題到語(yǔ)境。

我們首先計(jì)算相似度矩陣 S ∈ R^N×M，它包含每對(duì)語(yǔ)境和問(wèn)題隱藏狀態(tài) (c_i , q_j) 的相似度分?jǐn)?shù)。這里

c_i ◦ q_j 代表數(shù)組元素對(duì)應(yīng)相乘，w_sim ∈ R 6h 是權(quán)重向量。S_ij 用下面的式子來(lái)表述：

之后，我們將展示 C2Q 注意力(與上面提到的點(diǎn)積注意力類(lèi)似)。我們對(duì) S 逐行調(diào)用 softmax 函數(shù)來(lái)獲得注意力分布 α^i，用它得到問(wèn)題隱藏狀態(tài) q_j 的加權(quán)和，最后得出 C2Q 注意力的輸出 a_i。

現(xiàn)在，我們來(lái)執(zhí)行 Q2C 注意力。對(duì)于每一個(gè)語(yǔ)境位置 i ∈ {1, . . . , N}，我們?nèi)∠嗨贫染仃噷?duì)應(yīng)行的最大值：

之后我們對(duì)結(jié)果向量 m ∈ R^N 調(diào)用 softmax 函數(shù)，而這將給出關(guān)于語(yǔ)境位置的注意力分布 β ∈ R^N。之后，我們使用 β 得到語(yǔ)境隱藏狀態(tài)的加權(quán)和 c_i，這也是 Q2C 注意力的輸出結(jié)果 c'。以下是相關(guān)公式：

最終對(duì)于每一個(gè)語(yǔ)境位置 c_i，我們結(jié)合 C2Q 注意力和 Q2C 注意力的輸出，下面是相關(guān)公式：

如果你覺(jué)得這一段令人費(fèi)解，不用擔(dān)心，注意力確實(shí)是一個(gè)復(fù)雜的話題。你可以試著一邊喝茶，一邊閱讀這篇 BiDAF 論文。

4. 輸出層

我們就快成功了。模型的最后一層是一個(gè) softmax 輸出層，它幫助我們找出答案區(qū)間的開(kāi)始和結(jié)束索引。我們通過(guò)結(jié)合語(yǔ)境隱藏狀態(tài)和之前層的注意力向量來(lái)得到混合的結(jié)果。這些混合的結(jié)果最終會(huì)成為全連接層的輸入，該層使用 softmax 來(lái)得到 p_start 向量(具備開(kāi)始索引的概率)以及 p_end 結(jié)束(具備結(jié)束索引的概率)。我們知道大部分答案從開(kāi)始索引到結(jié)束索引最多 15 個(gè)單詞，由此我們可以尋找使 p_start 與 p_end 乘積最大的開(kāi)始和結(jié)束索引。

損失函數(shù)是開(kāi)始和結(jié)束位置的交叉熵?fù)p失之和。它使用 Adam Optimizer 來(lái)獲得最小值。

我構(gòu)建的最終模型比上面描述的要復(fù)雜一點(diǎn)，在利用測(cè)試集測(cè)試時(shí)獲得了 75 分的 F1 分?jǐn)?shù)。還行!

三、下一步

關(guān)于未來(lái)探索的一些想法：

• 由于 CNN 運(yùn)行起來(lái)比 RNN 快得多，并且更容易在 GPU 上并行計(jì)算，因此我最近一直都在用基于 CNN 的編碼器而非上述 RNN 編碼器進(jìn)行實(shí)驗(yàn)。
• 其他的注意力機(jī)制，如 Dynamic Co-attention(https://arxiv.org/abs/1611.01604)

原文鏈接：

https://towardsdatascience.com/nlp-building-a-question-answering-model-ed0529a68c54

【本文是51CTO專(zhuān)欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文