自 BERT 打破 11 項 NLP 的記錄后，可應用于廣泛任務的 NLP 預訓練模型就已經得到大量關注。最近微軟推出了一個綜合性模型，它在這 11 項 NLP 任務中超過了 BERT。目前名為「Microsoft D36***I & MSR AI」的模型還沒有提供對應的論文與項目地址，因此它到底是不是一種新的預訓練方法也不得而知。

　　BERT 和微軟新模型都采用了通用語言理解評估（GLUE）基準中的 11 項任務，并希望借助 GLUE 展示模型在廣泛自然語言理解任務中的魯棒性。其中 GLUE 基準并不需要知道具體的模型，因此原則上任何能處理句子和句子對，并能產生相應預測的系統都能參加評估。這 11 項基準任務重點衡量了模型在跨任務上的能力，尤其是參數共享或遷移學習的性能。

　　從微軟新模型在 GLUE 基準的表現上來看，至少它在 11 項 NLP 任務中比 BERT-Large 更高效。這種高效不僅體現在 81.9 的總體任務評分，同時還體現在參數效率上。微軟的新模型只有 1.1 億的參數量，遠比 BERT-Large 模型的 3.35 億參數量少，和 BERT-Base 的參數量一樣多。下圖展示了 GLUE 基準排名前 5 的模型：

　　在「Microsoft D36***I & MSR AI」模型的描述頁中，新模型采用的是一種多任務聯合學習。因此所有任務都共享相同的結構，并通過多任務訓練方法聯合學習。此外，這 11 項任務可以分為 4 類，即句子對分類 MNLI、QQP、QNLI、STS-B、MRPC、RTE 和 SWAG；單句子分類任務 SST-2、CoLA；問答任務 SQuAD v1.1；單句子標注任務（命名實體識別）CoNLL-2003 NER。

　　其中在句子對分類任務中，有判斷問答對是不是包含正確回答的 QNLI、判斷兩句話有多少相似性的 STS-B 等，它們都用于處理句子之間的關系。而單句子分類任務中有判斷語句中情感趨向的 SST-2 和判斷語法正確性的 CoLA 任務，它們都在處理句子內部的關系。

　　在 SQuAD v1.1 問答數據集中，模型將通過問題檢索段落中正確回答的位置與長度。***在命名實體識別數據集 CoNLL 中，每一個時間步都會預測它的標注是什么，例如人物或地點等。

　　如下所示為微軟新模型在不同任務中的得分：

　　目前微軟新模型的性能還非常少，如果經過多任務預訓練，它也能像 BERT 那樣用于更廣泛的 NLP 任務，那么這樣的高效模型無疑會有很大的優勢。