從BERT到ChatGPT，百頁綜述梳理預訓練大模型演變史
所有的成功都有跡可循，ChatGPT 也不例外。
前不久，因為對 ChatGPT 的評價過于苛刻，圖靈獎得主 Yann LeCun 被送上了熱搜。
在他看來，「就底層技術而言，ChatGPT 并沒有什么特別的創新，」也不是「什么革命性的東西」。許多研究實驗室正在使用同樣的技術，開展同樣的工作。更重要的是，ChatGPT 及其背后的 GPT-3 在很多方面都是由多方多年來開發的多種技術組成的，是不同的人數十年貢獻的結果。因此，LeCun 認為，與其說 ChatGPT 是一個科學突破，不如說它是一個像樣的工程實例。
「ChatGPT 是否具有革命性」是個充滿爭議的話題。但毋庸置疑，它確實是在此前積累的多項技術的基礎上構建起來的，比如核心的 Transformer 是谷歌在幾年前提出來的，而 Transformer 又受到了 Bengio 關于注意力概念的工作的啟發。如果再往前追溯，我們還能鏈接到更古早的幾十年前的研究。
當然，公眾可能體會不到這種循序漸進的感覺，畢竟不是誰都會一篇一篇去看論文。但對于技術人員來說，了解這些技術的演進過程還是非常有幫助的。
在最近的一篇綜述文章中，來自密歇根州立大學、北京航空航天大學、理海大學等機構的研究者仔細梳理了該領域的幾百篇論文，主要聚焦文本、圖像和圖學習領域的預訓練基礎模型，非常值得一讀。杜克大學教授、加拿大工程院院士裴健，伊利諾大學芝加哥分校計算機科學系特聘教授俞士綸（Philip S. Yu），Salesforce AI Research 副總裁熊蔡明都是該論文作者之一。
論文鏈接：https://arxiv.org/pdf/2302.09419.pdf
論文目錄如下：?
在海外社交平臺上，DAIR.AI 聯合創始人Elvis S.推薦了這篇綜述并獲得了一千多的點贊量。
引言
預訓練基礎模型（PFM）是大數據時代人工智能的重要組成部分。「基礎模型」的名字來源于 Percy Liang、李飛飛等人發布的一篇綜述 ——《On the Opportunities and Risks of Foundation Models》，是一類模型及其功能的總稱。在 NLP、CV 和圖學習領域，PFM 已經得到了廣泛研究。在各種學習任務中，它們表現出了強大的特征表示學習潛力，如文本分類、文本生成、圖像分類、目標檢測和圖分類等任務。無論是用大型數據集在多個任務上訓練，還是在小規模任務上進行微調，PFM 都表現出了優越的性能，這使其快速啟動數據處理成為可能。
PFM 和預訓練
PFM 基于預訓練技術，其目的是利用大量的數據和任務來訓練一個通用模型，該模型可以在不同的下游應用中很容易地進行微調。
預訓練的想法起源于 CV 任務中的遷移學習。但看到該技術在 CV 領域的有效性后，人們也開始利用該技術提高其他領域的模型性能。
當預訓練技術應用于 NLP 領域時，經過良好訓練的語言模型可以捕捉到對下游任務有益的豐富知識，如長期依賴關系、層次關系等。此外，預訓練在 NLP 領域的顯著優勢是，訓練數據可以來自任何未標記的文本語料庫，也就是說，幾乎存在著無限量的訓練數據可以用于預訓練過程。早期的預訓練是一種靜態技術，如 NNLM 和 Word2vec，但靜態方法很難適應不同的語義環境。因此，人們提出了動態預訓練技術，如 BERT、XLNet 等。圖 1 描述了 PFM 在 NLP、CV 和 GL 領域的歷史和演變。基于預訓練技術的 PFM 使用大型語料庫來學習通用語義表征。隨著這些開創性工作的引入，各種 PFM 已經出現，并被應用于下游的任務和應用。
最近走紅的 ChatGPT 是 PFM 應用的典型案例。它是從生成性預訓練 transformer 模型 GPT-3.5 中微調出來的，該模型利用了大量本文和代碼進行訓練。此外，ChatGPT 還應用了來自人類反饋的強化學習（RLHF），這已經成為讓大型 LM 與人類意圖保持一致的一種有希望的方式。ChatGPT 卓越的性能表現可能會給每種類型的 PFM 的訓練范式帶來轉變，比如指令對齊技術、強化學習、prompt tuning 和思維鏈的應用，從而走向通用人工智能。
本文將重點放在文本、圖像和圖領域的 PFM，這是一個相對成熟的研究分類方法。對于文本來說，它是一個多用途的 LM，用于預測序列中的下一個單詞或字符。例如，PFM 可用于機器翻譯、問答系統、主題建模、情感分析等。對于圖像，它類似于文本上的 PFM，使用巨大的數據集來訓練一個適合許多 CV 任務的大模型。對于圖來說，類似的預訓練思路也被用于獲得 PFM，這些 PFM 被用于許多下游任務。除了針對特定數據域的 PFM，本文還回顧并闡述了其他一些先進的 PFM，如針對語音、視頻和跨域數據的 PFM，以及多模態 PFM。此外，一場能夠處理多模態任務的的 PFM 的大融合正在出現，這就是所謂的 unified PFM。作者首先定義了 unified PFM 的概念，然后回顧了最近研究中達到 SOTA 的 unified PFM（如 OFA、UNIFIED-IO、FLAVA、BEiT-3 等）。
根據上述三個領域現有的 PFM 的特點，作者得出結論，PFM 有以下兩大優勢。首先，要想提高在下游任務中的性能，模型只需要進行很小的微調。其次，PFM 已經在質量方面得到了審查。我們可以將 PFM 應用于任務相關的數據集，而不是從頭開始構建模型來解決類似的問題。PFM 的廣闊前景激發了大量的相關工作來關注模型的效率、安全性和壓縮等問題。
論文貢獻與結構
在這篇文章發布之前，已經有幾篇綜述回顧了一些特定領域的預訓練模型，如文本生成、視覺 transformer、目標檢測。
《On the Opportunities and Risks of Foundation Models》總結了基礎模型的機會和風險。然而，現有的工作并沒有實現對不同領域（如 CV、NLP、GL、Speech、Video）PFM 在不同方面的全面回顧，如預訓練任務、效率、效力和隱私。在這篇綜述中，作者詳細闡述了 PFM 在 NLP 領域的演變，以及預訓練如何遷移到 CV 和 GL 領域并被采用。
與其他綜述相比，本文沒有對所有三個領域的現有 PFM 進行全面的介紹和分析。與對先前預訓練模型的回顧不同，作者總結了現有的模型，從傳統模型到 PFM，以及三個領域的最新工作。傳統模型強調的是靜態特征學習。動態 PFM 對結構進行了介紹，這是主流的研究。
作者進一步介紹了 PFM 的一些其他研究，包括其他先進和統一的 PFM、模型的效率和壓縮、安全以及隱私。最后，作者總結了未來的研究挑戰和不同領域的開放問題。他們還在附錄 F 和 G 中全面介紹了相關的評價指標和數據集。
總之，本文的主要貢獻如下：?
- 對 PFM 在 NLP、CV 和 GL 中的發展進行了詳實和最新的回顧。在回顧中，作者討論并提供了關于這三個主要應用領域中通用 PFM 的設計和預訓練方法的見解；
- 總結了 PFM 在其他多媒體領域的發展，如語音和視頻。此外，作者還討論了關于 PFM 的前沿話題，包括統一的 PFM、模型效率和壓縮，以及安全和隱私。
- 通過對各種模式的 PFM 在不同任務中的回顧，作者討論了大數據時代超大型模型未來研究的主要挑戰和機遇，這指導了新一代基于 PFM 的協作和互動智能。
各個章節的主要內容如下：
論文第 2 章介紹了 PFM 的一般概念架構。
第 3、4、5 章分別總結了 NLP、CV 和 GL 領域中現有的 PFM。
第 6、7 章介紹了 PFM 的其他前沿研究，包括前沿和統一的 PFM、模型效率和壓縮，以及安全和隱私。
第 8 章總結了 PFM 的主要挑戰。第 9 章對全文進行了總結。
