?作者 | 徐杰承
2月7日，百度官方公眾號發(fā)布了一條極為簡短的通告——《官宣：文心一言》。據(jù)了解，文心一言正是百度內(nèi)部所研發(fā)的類ChatGPT聊天機(jī)器人，其英文名稱則為ERNIE Bot。
據(jù)百度內(nèi)部人員表示：文心一言由基于百度提出的知識(shí)增強(qiáng)大模型（Ernie）擴(kuò)展而成的一系列高級大模型構(gòu)成，可以執(zhí)行廣泛的任務(wù)，包括語言理解、語言生成(ERNIE 3.0 Titan)以及根據(jù)文本生成圖像(ERNIE-ViLG)等。與其他語言模型相比，文心一言能夠?qū)V泛的知識(shí)與海量數(shù)據(jù)相結(jié)合，從而產(chǎn)生非凡的理解與生成能力。公司計(jì)劃在3月完成文心一言的內(nèi)部測試，然后向公眾正式開放使用。
雖然對于文心一言的實(shí)際表現(xiàn)我們暫且不得而知，但通過百度此前所發(fā)布的名為《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》的論文，目前我們可以大致了解到一些有關(guān)其所應(yīng)用的語言模型ERNIE 3.0 Titan的相關(guān)信息。
據(jù)論文顯示：ERNIE 3.0 Titan是百度于PaddlePaddle平臺(tái)上所訓(xùn)練的千億參數(shù)模型，其中包含多達(dá)2600億個(gè)參數(shù)（ChatGPT使用1750億參數(shù)的GPT3.5模型）。此外，百度還設(shè)計(jì)了一個(gè)自我監(jiān)督的對抗性損失和一個(gè)可控的語言建模損失，使ERNIE 3.0 Titan生成可信和可控的文本。
為了減少計(jì)算開銷和碳排放，百度還為ERNIE 3.0 Titan提出了一個(gè)在線蒸餾框架，其中教師模型將同時(shí)教授學(xué)生和訓(xùn)練自己。ERNIE 3.0Titan是迄今為止最大的中國密集預(yù)訓(xùn)模型。相關(guān)實(shí)驗(yàn)結(jié)果表明，ERNIE 3.0 Titan在68個(gè)NLP數(shù)據(jù)集上的性能已優(yōu)于現(xiàn)階段最先進(jìn)的語言模型，包括ChatGPT所應(yīng)用的GPT3.5模型。
ERNIE 3.0 Titan模型架構(gòu)圖
據(jù)悉，目前文心一言已進(jìn)入上線前的最接沖刺階段，而相關(guān)消息的曝出，也使百度港股一度暴漲超17%，市值增長約700億港元。據(jù)部分業(yè)內(nèi)人士推測，百度文心一言項(xiàng)目或早在2022年9月便已啟動(dòng)研發(fā)，彼時(shí)百度CEO李彥宏在世界人工智能大會(huì)上就曾表示：無論在技術(shù)層面還是商業(yè)應(yīng)用層面，人工智能都有了巨大的進(jìn)展，有些甚至是方向性的改變。
考慮到目前由ChatGPT所帶來的生成式AI的火爆，未來覬覦這一領(lǐng)域市場的國內(nèi)企業(yè)，勢必不止百度一家。就市場角度而言，目前類ChatGPT聊天機(jī)器人最明顯的價(jià)值與落地場景，正是百度主營的搜索業(yè)務(wù)。如此看來，如果下一次科技革命真的爆發(fā)在該領(lǐng)域，那么百度無疑已拔得頭籌。此外，不少業(yè)內(nèi)人士認(rèn)為，考慮到谷歌和微軟的推進(jìn)節(jié)奏，文心一言開放內(nèi)測的進(jìn)度還有可能繼續(xù)提前。
