ChatGPT 是最先進(jìn)的 AI，也是最熱門(mén)的應(yīng)用 —— 自去年 11 月底發(fā)布以來(lái)，它的月活躍用戶兩個(gè)月超過(guò)一億，輕松拿到了全球互聯(lián)網(wǎng)史上用戶增長(zhǎng)速度的第一。

它也是一種門(mén)檻很高的技術(shù)。由于 ChatGPT 的訓(xùn)練過(guò)程所需算力資源大、標(biāo)注成本高，目前國(guó)內(nèi)暫未出現(xiàn)對(duì)大眾開(kāi)放的同類產(chǎn)品。百度、阿里、京東等互聯(lián)網(wǎng)大廠都放出消息，表示正在打造「國(guó)產(chǎn) ChatGPT」，并將在近期發(fā)布。

在各大廠產(chǎn)品到位之前，學(xué)界先有了消息。2 月 20 日晚，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室發(fā)布了具備 ChatGPT 能力的語(yǔ)言模型 ——MOSS，并面向大眾公開(kāi)邀請(qǐng)內(nèi)測(cè)。

• MOSS 體驗(yàn)鏈接：https://moss.fastnlp.top/
• MOSS 項(xiàng)目主頁(yè)：https://txsun1997.github.io/blogs/moss.html

MOSS 的名稱來(lái)自電影《流浪地球》，和電影一樣火的是，MOSS 發(fā)布的消息很快沖上了知乎等平臺(tái)熱搜榜的第一位。

不過(guò)與科幻不同的是，現(xiàn)實(shí)世界的 AI 還沒(méi)有量子計(jì)算機(jī)加持，距離開(kāi)放還沒(méi)有過(guò) 24 個(gè)小時(shí)，由于瞬時(shí)訪問(wèn)壓力過(guò)大，MOSS 服務(wù)器昨晚已被擠爆，可見(jiàn)大家對(duì)于生成語(yǔ)言模型的期待程度有多高。

據(jù)復(fù)旦大學(xué)研究人員介紹，目前在內(nèi)測(cè)，與用戶交互迭代優(yōu)化，不適合公測(cè)。

我們知道，自然語(yǔ)言處理是 AI 領(lǐng)域的最大挑戰(zhàn)之一，雖然突破已經(jīng)出現(xiàn)，但這個(gè)月上線的新必應(yīng)搜索，以及谷歌發(fā)布的競(jìng)品 BARD 在測(cè)試中不時(shí)會(huì)出現(xiàn)問(wèn)題，復(fù)旦大學(xué)的 MOSS 水平如何呢？

對(duì)話 MOSS，水平如何？

MOSS 的基礎(chǔ)功能與 ChatGPT 類似，可以按照用戶輸入的指令完成各類自然語(yǔ)言處理任務(wù)，包括文本生成、文本摘要、翻譯、代碼生成、閑聊等等。在預(yù)覽期間，MOSS 的使用是免費(fèi)的。

MOSS 和 ChatGPT 一樣，構(gòu)建的過(guò)程包括自然語(yǔ)言基礎(chǔ)模型訓(xùn)練，以及理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。

據(jù)項(xiàng)目主頁(yè)介紹，MOSS 和 ChatGPT 的主要區(qū)別在于：

• MOSS 的參數(shù)數(shù)量比 ChatGPT 少得多。
• MOSS 通過(guò)與人類和其他人工智能模型交談來(lái)學(xué)習(xí)，而 ChatGPT 則通過(guò)人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練。
• MOSS 將是開(kāi)源的，以促進(jìn)未來(lái)的研究，但 ChatGPT 可能不會(huì)。

MOSS 的對(duì)話水平如何，讓我們看幾個(gè)示例。以下是 MOSS 生成的一些交互記錄：

在這個(gè)例子中，用戶首先要求 MOSS 推薦五部科幻電影，接著要求 MOSS 生成了一個(gè)表格來(lái)展示這些電影以及它們的導(dǎo)演，最后要求 MOSS 在表格中新插入一列來(lái)展示這些電影的上映年份。完成這一任務(wù)需要語(yǔ)言模型具備強(qiáng)大的多輪交互能力和指令理解能力，MOSS 顯然在這兩方面表現(xiàn)優(yōu)異。

與 ChatGPT 類似，MOSS 有時(shí)也會(huì)輸出一些事實(shí)性錯(cuò)誤的例子。

除了多輪對(duì)話，MOSS 生成代碼也不在話下。在下面的例子中，MOSS 不僅可以為用戶提供實(shí)現(xiàn)快速排序的 Python 代碼，還能在用戶的要求下對(duì)這段代碼提供解釋和使用示例，可謂是手把手教學(xué)的程序員了。

除了讓 MOSS 幫忙寫(xiě)代碼之外，還可以向 MOSS 詢問(wèn)有關(guān)代碼細(xì)節(jié)的問(wèn)題，讓其更好地幫助理解代碼。在下面的例子中，用戶向 MOSS 詢問(wèn)了一段代碼的編程語(yǔ)言和功能，并進(jìn)一步提問(wèn)了其中一個(gè)函數(shù)的作用，MOSS 均給出了滿意的回復(fù)。

此外，MOSS 還具備人類的價(jià)值觀，當(dāng)被要求回答不合理的問(wèn)題時(shí)，MOSS 會(huì)拒絕回答并給出正確的勸導(dǎo)。

據(jù)了解，MOSS 采用參數(shù)量為百億級(jí)的自研模型進(jìn)行訓(xùn)練。在對(duì)話能力訓(xùn)練階段，OpenAI 收集了至少幾十萬(wàn)條人類指令 —— 讓各行各業(yè)的專業(yè)標(biāo)注員寫(xiě)出指令回復(fù)，再將它們輸入模型基座，以幫助 ChatGPT 逐步理解各種指令。復(fù)旦團(tuán)隊(duì)則采用不同的技術(shù)路線，通過(guò)讓 MOSS 和人類以及其它 AI 模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)高效完成了對(duì)話能力訓(xùn)練。

研發(fā)團(tuán)隊(duì)表示，雖然 MOSS 已經(jīng)實(shí)現(xiàn)了 ChatGPT 的一些功能，但仍然存在許多限制，由于缺乏高質(zhì)量的數(shù)據(jù)、計(jì)算資源和模型容量，MOSS 仍然遠(yuǎn)遠(yuǎn)落后于 ChatGPT。

• 由于訓(xùn)練數(shù)據(jù)中的多語(yǔ)言語(yǔ)料庫(kù)有限，MOSS 在理解和生成英語(yǔ)以外的語(yǔ)言的文本方面表現(xiàn)不佳。團(tuán)隊(duì)目前正在開(kāi)發(fā)一個(gè)改進(jìn)版本，以提高其中文語(yǔ)言技能。
• 由于模型容量相對(duì)較小，MOSS 不包含足夠的世界知識(shí)。因此，MOSS 生成的一些響應(yīng)可能包含誤導(dǎo)性或虛假信息。
• 有時(shí) MOSS 以迂回的方式執(zhí)行，甚至未能遵循指示。在這種情況下，用戶可能需要重新生成幾次或修改 prompt，以獲得令人滿意的回復(fù)。團(tuán)隊(duì)正在積極提高其遵循指示的能力以及生產(chǎn)力。
• 有時(shí) MOSS 可能會(huì)因 prompt 生成不道德或有害的反應(yīng)。用戶可通過(guò)單擊 “不喜歡” 來(lái)幫助減少此類行為，團(tuán)隊(duì)將在下一個(gè)版本中更新模型。

研究團(tuán)隊(duì)指出，當(dāng)前版本的 MOSS 表現(xiàn)仍不穩(wěn)定，也受到數(shù)據(jù)集問(wèn)題的影響：「MOSS 的英文回答水平比中文高，因?yàn)樗哪Ｐ突鶎W(xué)習(xí)了 3000 多億個(gè)英文單詞，中文詞語(yǔ)只學(xué)了約 300 億個(gè)。」

發(fā)布之后，團(tuán)隊(duì)將持續(xù)通過(guò)提供 MOSS 的可訪問(wèn)界面，根據(jù)寶貴的用戶反饋（在許可下）不斷改進(jìn)模型。

未來(lái)，研究人員還計(jì)劃結(jié)合復(fù)旦在人工智能和相關(guān)交叉學(xué)科的研究成果，賦予 MOSS 繪圖、語(yǔ)音、譜曲等多模態(tài)能力，并加強(qiáng)它輔助科學(xué)家進(jìn)行高效科研的能力等。

期待 MOSS 能為國(guó)內(nèi)對(duì)話大模型的發(fā)展開(kāi)一個(gè)好頭。

團(tuán)隊(duì)介紹

MOSS 的主要作者共有兩位：復(fù)旦大學(xué)教授邱錫鵬和他的博士生孫天祥。此外還有多位成員對(duì)項(xiàng)目有所貢獻(xiàn)。

邱錫鵬，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授，博士生導(dǎo)師。國(guó)家優(yōu)青獲得者，于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。主要從事自然語(yǔ)言處理、深度學(xué)習(xí)等方向的研究，發(fā)表 CCF A/B 類論文 70 余篇，獲得 ACL 2017 杰出論文獎(jiǎng)（CCF A 類）、CCL 2019 最佳論文獎(jiǎng)、《中國(guó)科學(xué)：技術(shù)科學(xué)》2021 年度高影響力論文獎(jiǎng)，有 5 篇論文入選 PaperDigest 發(fā)布的 IJCAI/ACL/EMNLP 的最有影響力論文（被引用數(shù)進(jìn)入前當(dāng)屆會(huì)議的 20 名）。出版開(kāi)源專著《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》，Github 關(guān)注數(shù) 1.5 萬(wàn)，豆瓣評(píng)分 9.4 分。主持開(kāi)發(fā)了開(kāi)源框架 FudanNLP 和 FastNLP，已被國(guó)內(nèi)外數(shù)百家單位使用。2015 年入選首屆中國(guó)科協(xié)青年人才托舉工程項(xiàng)目，2018 年獲錢(qián)偉長(zhǎng)中文信息處理科學(xué)技術(shù)獎(jiǎng)青年創(chuàng)新獎(jiǎng)一等獎(jiǎng)，2020 獲第四屆上海高校青年教師教學(xué)競(jìng)賽優(yōu)等獎(jiǎng)，2021 年獲首屆上海市計(jì)算機(jī)學(xué)會(huì)教學(xué)成果獎(jiǎng)一等獎(jiǎng)（第一完成人）等。培養(yǎng)學(xué)生多次獲得一級(jí)學(xué)會(huì)優(yōu)博、微軟學(xué)者、百度獎(jiǎng)學(xué)金等。

孫天祥，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)學(xué)院博士生，導(dǎo)師為邱錫鵬教授和黃萱菁教授。2019 年畢業(yè)于西安電子科技大學(xué)。研究興趣集中于機(jī)器學(xué)習(xí)及其在自然語(yǔ)言處理中的應(yīng)用，特別是預(yù)訓(xùn)練語(yǔ)言模型的高效微調(diào)及推理、多任務(wù)學(xué)習(xí)、知識(shí)表示學(xué)習(xí)等。以第一作者在 ICML, ACL, NAACL, AAAI, COLING 等會(huì)議發(fā)表多篇論文。