[[318598]]

Google最新推出24個精簡的BERT模型供下載，趕在白色情人節之前為廣大NLP研究者送上一份厚禮。

BERT勝在模型大，也敗在模型大！
BERT一出世就帶著「狂破11項記錄」的光環，用壓倒性的參數量暴力突圍。可以說，BERT的成功，成就成在模型大。但大，一方面成就了BERT，另一方面也成了它無法被更廣泛應用的障礙，這體現在三個方面。

障礙一：占資源

巨大的體積使得它必須占用巨大的存儲資源，而維護大量存儲資源的同時也在不斷消耗大量的能源。

障礙二：太耗時

BERT作者Jacob曾提到「BERT-Large模型有24層、2014個隱藏單元，在33億詞量的數據集上需要訓練40個Epoch，在8塊P100上可能需要1年」。

障礙三：費用高

有人曾經計算過，三大主流模型的訓練成本大概是：

• BERT：1.2 萬美元
• GPT-2：4.3 萬美元
• XLNet：6.1 萬美元

為了解決上述問題，人們不斷推出精簡版BERT

Size matters。其實上述3個問題，源頭就在于Size，因此大家開始不斷的研究精簡版BERT。在資源有限的情況下，小體積的模型有著不言而喻的優勢。

DistillBERT：Hugging Face團隊在BERT的基礎上用知識蒸餾技術訓練出來的小型化BERT。模型大小減小了40%（66M），推斷速度提升了60%，但性能只降低了約3%。

ALBERT：通過改變模型架構，極大的降低了體積。最小的ALBERT只有12M，最大ALBERT-XXLarge有233M，而BERT-Base就有110M。不過雖然體積下去了，推理速度沒有太明顯的提升。

TinyBERT：用知識蒸餾的方法來壓縮模型。這個模型由華中科大和華為共同出品。

Google親自推出更小型BERT模型

就在昨天，Google更新了BERT的GitHub倉庫，發布了24個較小的BERT模型，僅限英語詞匯且不分大小寫。

該24個模型使用WordPiece masking進行訓練，直接通過MLM損失進行預訓練，可以通過標準訓練或最終任務提煉針對下游任務進行微調，在MLM蒸餾的更精細的預訓練策略方面極具優勢。

理論指導來自論文《Well-Read Students Learn Better: On the Importance of Pre-training Compact Models》。論文地址：https://arxiv.org/abs/1908.08962

小的BERT模型只需要按照原有BERT微調方式進行微調即可，只不過在由更大、更精準的teacher制作的知識蒸餾情況下最有效。

需要注意的是，本發行版中的BERT-Base模型僅是出于完整性考慮，在和原始模型相同的條件下進行了重新訓練。

GLUE分數：

24個小型BERT下載地址：https://storage.googleapis.com/bert_models/2020_02_20/all_bert_models.zip