在生成文本段落、模擬人類對(duì)話及解決數(shù)學(xué)問題表現(xiàn)驚人的大型語(yǔ)言模型，顯然是這幾年AI發(fā)展最熱門的領(lǐng)域之一。但這樣的大型語(yǔ)言模型不僅能夠自行生成有害內(nèi)容，還可以將這樣的內(nèi)容通過在其上構(gòu)建的下游應(yīng)用程序傳播開來。

理論上，更多人的參與對(duì)問題的解決應(yīng)該會(huì)有所幫助。然而，由于語(yǔ)言模型的訓(xùn)練需要大量的數(shù)據(jù)和計(jì)算能力，迄今為止，它們?nèi)匀恢皇谴笮涂萍脊镜奶赜许?xiàng)目。而在更廣泛的群體如學(xué)界，以及擔(dān)心人工智能濫用的倫理學(xué)家和社會(huì)科學(xué)家中，只有旁觀的選項(xiàng)。

“我相信建立信任的唯一方法是極度透明。”Meta AI 的常務(wù)董事喬爾·皮諾(Joelle Pineau)說。當(dāng)?shù)貢r(shí)間5月3日，Meta AI開放了擁有1750億參數(shù)的大語(yǔ)言模型OPT-175B(Open Pretrained Transformer，OPT)。

對(duì)于大型科技公司來說，這是一個(gè)前所未有的舉動(dòng)。即使是在大語(yǔ)言模型歷史上，這也是第一次毫無保留，把預(yù)訓(xùn)練模型、訓(xùn)練代碼以及使用代碼全部公開。

“我們中的很多人都是大學(xué)的研究人員，”皮諾說，“我們知道大學(xué)和行業(yè)在建立這些模式的能力方面存在明顯的差距。讓研究人員共同討論這一技術(shù)的好處是顯而易見的。”她希望其他人能仔細(xì)研究他們的工作，對(duì)其進(jìn)行拆解分析，或者在此基礎(chǔ)上構(gòu)建。她認(rèn)為，當(dāng)更多的人參與進(jìn)來時(shí)，突破就會(huì)更快實(shí)現(xiàn)。

OPT語(yǔ)言模型中約有1750億個(gè)參數(shù)(這些參數(shù)是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中可以被調(diào)整的參數(shù))，與OpenAI開創(chuàng)性的神經(jīng)網(wǎng)絡(luò)GPT-3規(guī)模基本相同，同時(shí)具有付費(fèi)服務(wù)GPT-3的非凡能力和不可避免的缺陷。

皮諾不諱言，“這是經(jīng)過精心設(shè)計(jì)的”，該團(tuán)隊(duì)在建立OPT時(shí)就考慮在語(yǔ)言任務(wù)的準(zhǔn)確性和有害性方面與GPT-3相匹配。OPT是為了給研究人員提供一個(gè)類似的語(yǔ)言模型來進(jìn)行研究。

OpenAI拒絕了對(duì)Meta的聲明發(fā)表評(píng)論。

OpenAI的母公司谷歌正在探索在其搜索產(chǎn)品中使用大型語(yǔ)言模型，但也因?yàn)槿狈ν该鞫榷艿脚u(píng)。谷歌在這方面受到諸多爭(zhēng)議，其曾在人工智能倫理研究員Timnit Gebru想要發(fā)表一篇有關(guān)谷歌在當(dāng)時(shí)的語(yǔ)言系統(tǒng)可能會(huì)從網(wǎng)站上學(xué)習(xí)包含偏見和仇恨言論的論文后辭退他，最近又解雇一位對(duì)已發(fā)表研究提出異議的員工。

那么，Meta為什么要這樣做呢?畢竟Meta也是一家很少提及臉書和Instagram背后算法工作原理的科技公司，還曾以讓其內(nèi)部研究團(tuán)隊(duì)隱瞞對(duì)其不利的問題而聞名。

《麻省理工科技評(píng)論》認(rèn)為，Meta采取不同方法的一個(gè)重要原因是皮諾本人，她多年來一直在推動(dòng)人工智能研發(fā)過程中的透明度。

在核心學(xué)術(shù)會(huì)議發(fā)表研究的方式上，皮諾要求研究人員必須將包括代碼和有關(guān)如何進(jìn)行實(shí)驗(yàn)的詳細(xì)信息與結(jié)果一起提交。她自2017年加入 Meta(當(dāng)時(shí)的Facebook)以來，一直在其人工智能實(shí)驗(yàn)室倡導(dǎo)這種文化。

“Meta對(duì)開放科學(xué)的承諾是我在這里的原因，”皮諾說，“我不會(huì)因?yàn)槠渌麠l件來到這里工作?！?/p>

除了代碼外，Meta也公布了開發(fā)日志。日志包含團(tuán)隊(duì)成員對(duì)于數(shù)據(jù)訓(xùn)練的每日更新：如何將其添加到模型中，以及何時(shí)、哪些有效、哪些無效。在100 多頁(yè)的筆記中，研究人員記錄了從2021年10月到2022年1月不間斷運(yùn)行的三個(gè)月訓(xùn)練過程中的每個(gè)錯(cuò)誤、崩潰和重啟。

斯坦福大學(xué)基礎(chǔ)模型研究中心主任Percy Liang將大模型的開放程度總結(jié)成4個(gè)層次：

第一層論文開放，證明一些設(shè)想的可行性，并提供構(gòu)建思路;第二層API開放，允許研究人員探索和評(píng)估現(xiàn)有模型的能力(如推理能力)和限制(如偏見);第三層模型權(quán)重開放和訓(xùn)練數(shù)據(jù)開放，允許研究人員逐步改進(jìn)現(xiàn)有模型，開發(fā)更深入的可解釋性技術(shù)和更有效的微調(diào)方法，讓研究人員更好地理解訓(xùn)練數(shù)據(jù)在模型行為中的作用;第四層計(jì)算能力開放，允許研究人員嘗試新的體系結(jié)構(gòu)、訓(xùn)練目標(biāo)和過程、進(jìn)行數(shù)據(jù)融合，并在不同的領(lǐng)域開發(fā)全新的模型。

“更高層次的開放能讓研究者專注于更深的問題，也同時(shí)會(huì)帶來更多風(fēng)險(xiǎn)。”Percy Liang明確指出這一點(diǎn)。

Meta此次以這樣的程度開源其大型語(yǔ)言模型是一個(gè)非常大膽的舉措，可能會(huì)產(chǎn)生當(dāng)下想象不到的風(fēng)險(xiǎn)。這也是OpenAI對(duì)于不發(fā)布GPT-3的前身GPT-2給出的原因。

“我不能告訴你，這種模型不會(huì)產(chǎn)生其他可怕的風(fēng)險(xiǎn)?！逼ぶZ駁斥了“僅僅是因?yàn)樗ｋU(xiǎn)”，所以不應(yīng)該發(fā)布模型的想法。她說道，“我理解這些模型的弱點(diǎn)，但這不是一種研究心態(tài)?！?/p>

據(jù)《麻省理工科技評(píng)論》，曾在被谷歌因“違反了其行為準(zhǔn)則”辭退的人工智能倫理研究員瑪格麗特·米切爾(Margaret Mitchell)認(rèn)為，OPT的發(fā)布是一個(gè)積極的舉措。但她認(rèn)為透明度是有限度的。她提問道，“語(yǔ)言模型是否經(jīng)過了足夠嚴(yán)格的測(cè)試?可預(yù)見的好處是否超過了其可預(yù)見的危害?在這個(gè)過程中如何避免錯(cuò)誤信息的產(chǎn)生，或種族主義和厭惡女性的語(yǔ)言?“

華盛頓大學(xué)的計(jì)算語(yǔ)言學(xué)家艾米麗·M·本德(Emily M. Bender)曾在谷歌中心與米切爾共同合作過相關(guān)研究，她也擔(dān)心著如何處理潛在的危害?！敖档腿魏螜C(jī)器學(xué)習(xí)技術(shù)風(fēng)險(xiǎn)的真正關(guān)鍵是要在特定用例中進(jìn)行評(píng)估和探索，例如這個(gè)系統(tǒng)是用來做什么的?誰(shuí)將使用它?系統(tǒng)輸出將如何呈現(xiàn)給他們?”

對(duì)于皮諾來說，這些擔(dān)憂應(yīng)該通過更多的公開討論來解決，而不是減少溝通?！笆澜绺鞯氐娜藗儗?duì)于什么樣的對(duì)話是合適的有不同的看法，而人工智能是對(duì)話的一部分，”皮諾并不是希望語(yǔ)言模型能說出令每個(gè)人都同意的話，“但我們?cè)撊绾螒?yīng)對(duì)呢?那就是在討論過程中多去聽卻他人的聲音”。