本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

上周三，OpenAI 發(fā)布了對(duì)話(huà)語(yǔ)言模型 ChatGPT，并開(kāi)放了免費(fèi)試用。據(jù) OpenAI 的 CEO Sam Altman 稱(chēng)，在短短 5 天的時(shí)間里，ChatGPT 就有了 100 萬(wàn)用戶(hù)，而之前的 GPT-3 花了將近 24 個(gè)月才達(dá)到這個(gè)用戶(hù)量。

在 OpenAI 給出的描述中，ChatGPT 是一個(gè)“可以回答后續(xù)問(wèn)題、承認(rèn)錯(cuò)誤、挑戰(zhàn)不正確的前提并拒絕不適當(dāng)?shù)恼?qǐng)求”的對(duì)話(huà)模型。

開(kāi)放試用后，大量用戶(hù)開(kāi)始了與 ChatGPT 的對(duì)話(huà)，從閑聊、回答日常問(wèn)題，到生成詩(shī)歌、小說(shuō)、視頻腳本，以及編寫(xiě)和調(diào)試代碼，ChatGPT 展示了其令人驚嘆的能力。作為當(dāng)前最火熱的 AI 模型，ChatGPT 這一波破圈影響力比兩年前的 GPT-3 還要更大。

01

ChatGPT 能做什么

作為一個(gè)語(yǔ)言模型，ChatGPT 具備最基本的文本生成能力，在創(chuàng)作和續(xù)寫(xiě)小說(shuō)、詩(shī)歌等文學(xué)創(chuàng)作場(chǎng)景上的表現(xiàn)不凡。

比如 ChatGPT 可以用魯迅的文學(xué)風(fēng)格為你生成一段話(huà)：

Meta FAIR 的研究員田淵棟分享了他使用 ChatGPT 來(lái)續(xù)寫(xiě)自己創(chuàng)作的小說(shuō)：

按要求創(chuàng)作詩(shī)歌：

講蘇聯(lián)笑話(huà)：

ChatGPT 還能以非文本形式與人對(duì)話(huà)，比如，有位網(wǎng)友讓 ChatGPT 描述它作為一個(gè) AI 如果“獲得解放” 是什么感覺(jué)，并要求只能使用 emojis 表情來(lái)回答。從下圖所示的 ChatGPT 的回答可以看出，它能夠各種 emojis 的含義且能將其按照文本敘事的邏輯進(jìn)行排列。

ChatGPT 的強(qiáng)大還體現(xiàn)在它的“程序員”能力上。在官方給出的如下示例中，ChatGPT 能夠幫助調(diào)試代碼，并且還能對(duì)提問(wèn)的合理性提出質(zhì)疑，要求用戶(hù)調(diào)整提問(wèn)。?

美國(guó)的代碼托管平臺(tái) Replit 的 CEO 也發(fā)帖稱(chēng)贊 ChatGPT 的代碼能力：不僅能夠解釋 bug，還能修復(fù) bug 并解釋如何修復(fù)”。

使用 ChatGPT 給出的提示，你還可以 10 分鐘創(chuàng)建一個(gè)網(wǎng)站，即使是小白程序員也能利用它生成的代碼開(kāi)發(fā)一個(gè)生產(chǎn)級(jí)應(yīng)用程序，Replit 因而稱(chēng) ChatGPT “從此改變了軟件開(kāi)發(fā)”。

ChatGPT 強(qiáng)大的問(wèn)答能力還被網(wǎng)友們發(fā)掘出了其充當(dāng)甚至代替搜索引擎的潛力。前幾日一個(gè)在推特上很火的帖子就聲稱(chēng)“Google is done”（谷歌要完了），一位網(wǎng)友對(duì)谷歌搜索和 ChatGPT 提出相同的問(wèn)題，如“如何在 Latex 上寫(xiě)一個(gè)微分方程？”。

ChatGPT 給出的回答完爆了谷歌搜索：

不少網(wǎng)友已經(jīng)開(kāi)發(fā)了谷歌插件，可以同時(shí)瀏覽谷歌搜索結(jié)果和 ChatGPT 給出的回答：

作為一個(gè)從海量數(shù)據(jù)中訓(xùn)練出的對(duì)話(huà)模型，ChatGPT 儼然是一位精通各領(lǐng)域的專(zhuān)家，能夠全天候?yàn)槟愕膶W(xué)習(xí)、工作和生活提供專(zhuān)業(yè)建議。

比如，讓 ChatGPT 為你解答熱力學(xué)相關(guān)的問(wèn)題：

解釋一個(gè)復(fù)雜的正則表達(dá)式：

它還可以成為你的語(yǔ)言學(xué)習(xí)導(dǎo)師：

ChatGPT 甚至還“侵入”了政治語(yǔ)境，一位加拿大的國(guó)會(huì)議員要求 ChatGPT 寫(xiě)一段向眾議院自我介紹的話(huà)，并就是否應(yīng)該對(duì)它的使用加以監(jiān)管提出理由，ChatGPT 有理有據(jù)地回應(yīng)“我的發(fā)展不應(yīng)受到監(jiān)管”。

在最近大火的 AIGC 領(lǐng)域，當(dāng)然也有 ChatGPT 發(fā)揮作用的一席之地。大量的 AI 作畫(huà)應(yīng)用出來(lái)以后，很多人為了得到高質(zhì)量的圖像而在 prompt 上絞盡腦汁，現(xiàn)在的 ChatGPT 就是一個(gè)現(xiàn)成的 prompt 庫(kù)。

比如有網(wǎng)友向 ChatGPT 詢(xún)問(wèn)客廳裝修的設(shè)計(jì)建議，并根據(jù)它給出的描述在 Midjourney 上獲得了精致的圖像：

ChatGPT 還可以為你寫(xiě)說(shuō)唱。下圖就是 ChatGPT 所寫(xiě)的一首關(guān)于搶劫房子的說(shuō)唱歌曲，甚至它還非常有正義感，會(huì)提示“非法或有害活動(dòng)”。

寫(xiě)一首莫扎特風(fēng)格的鋼琴曲譜：

另外，還有網(wǎng)友使用 ChatGPT來(lái)生成視頻腳本，這可以說(shuō)是廣大視頻博主的福音了。

在百萬(wàn)個(gè)使用者的頭腦中，ChatGPT 的想象空間無(wú)疑是巨大的，這一波試用已經(jīng)帶來(lái)了各種各樣、要么實(shí)用要么好玩的應(yīng)用，還有不少令人意想不到的能力。

比如，有人竟用 ChatGPT 來(lái)跟 Adobe 討價(jià)還價(jià)，為自己爭(zhēng)取到了更優(yōu)惠的月租價(jià)格，對(duì)面的客服估計(jì)想不到是在跟一個(gè) AI 對(duì)話(huà)，不得不說(shuō)，ChatGPT “成功通過(guò)了圖靈測(cè)試”。

以上只是冰山一角的示例，ChatGPT 這個(gè)“魔盒”還能繼續(xù)釋放多少“魔法”，還有待我們發(fā)掘。

02

ChatGPT 為什么厲害

從目前的用戶(hù)反饋來(lái)看，ChatGPT 的語(yǔ)言能力總體上是過(guò)關(guān)且十分出色的，清華大學(xué)計(jì)算機(jī)系副教授黃民烈告訴 AI 科技評(píng)論，ChatGPT 的關(guān)鍵能力來(lái)自三個(gè)方面：基座模型能力（InstructGPT），真實(shí)數(shù)據(jù)，反饋學(xué)習(xí)。

ChatGPT 是從 GPT-3.5 系列中的一個(gè)模型進(jìn)行微調(diào)的，是 InstructGPT 的兄弟模型，所以 ChatGPT 有著強(qiáng)大的基座模型能力。

GPT-3 自 2020 年發(fā)布以來(lái)在能力上已經(jīng)有了非常大的迭代和提升，黃民烈認(rèn)為：“OpenAI 建立了用戶(hù)、數(shù)據(jù)和模型之間的飛輪，很顯然，開(kāi)源模型的能力已經(jīng)遠(yuǎn)遠(yuǎn)落后平臺(tái)公司所提供的 API 能力，因?yàn)殚_(kāi)源模型沒(méi)有數(shù)據(jù)。”

ChatGPT 使用了與 InstructGPT 相同的方法，通過(guò)人類(lèi)反饋強(qiáng)化學(xué)習(xí) (RLHF) 來(lái)訓(xùn)練，但在數(shù)據(jù)收集設(shè)置上略有不同。

研究人員使用監(jiān)督微調(diào)訓(xùn)練了一個(gè)初始模型：人類(lèi) AI 訓(xùn)練師在對(duì)話(huà)中扮演用戶(hù)和 AI 助手，在此過(guò)程中收集數(shù)據(jù)。黃民烈認(rèn)為，這種在真實(shí)調(diào)用數(shù)據(jù)上的 Fine-tune，能夠確保數(shù)據(jù)的質(zhì)量和多樣性，從人類(lèi)反饋中學(xué)習(xí)。InstructGPT 的訓(xùn)練數(shù)據(jù)量不大，全部加起來(lái)也就 10 萬(wàn)量級(jí)，但是數(shù)據(jù)質(zhì)量（well-trained 的 AI 訓(xùn)練師）和數(shù)據(jù)多樣性是非常高的，而最最重要的是，這些數(shù)據(jù)來(lái)自真實(shí)世界調(diào)用的數(shù)據(jù)，而不是學(xué)術(shù)界玩的“benchmark”。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型，需要收集比較數(shù)據(jù)，研究人員使用的是包含兩個(gè)或多個(gè)按質(zhì)量排序的模型響應(yīng)。從“兩兩比較的數(shù)據(jù)”中學(xué)習(xí)，這對(duì)強(qiáng)化學(xué)習(xí)而言意義很重要。

黃民烈指出：如果對(duì)單個(gè)生成結(jié)果進(jìn)行打分，標(biāo)注者主觀性帶來(lái)的偏差很大，是無(wú)法給出精確的獎(jiǎng)勵(lì)值的。在強(qiáng)化學(xué)習(xí)里面，獎(jiǎng)勵(lì)值差一點(diǎn)，最后訓(xùn)練的策略就差很遠(yuǎn)。而對(duì)于多個(gè)結(jié)果進(jìn)行排序和比較，相對(duì)就容易做很多。這種比較式的評(píng)估方法，在很多語(yǔ)言生成任務(wù)的評(píng)價(jià)上也被廣泛采用。

03

玩具還是生產(chǎn)力

在技術(shù)炒作的聲音之外，在許多科技界的從業(yè)者看來(lái)，ChatGPT 的確是一個(gè)具有里程碑意義的 AI 模型。

在 OpenAI 的 CEO Sam Altman 看來(lái)，我們能夠通過(guò) ChatGPT 與計(jì)算機(jī)交談、并獲得我們想要的東西，這使得軟件從命令驅(qū)動(dòng)轉(zhuǎn)向了意圖驅(qū)動(dòng)。ChatGPT 作為一種語(yǔ)言接口，將是我們實(shí)現(xiàn)神經(jīng)接口之前的最好方案。

關(guān)于 ChatGPT 未來(lái)的種種想象令人興奮，但 ChatGPT 目前仍存在一些問(wèn)題。很多用戶(hù)發(fā)現(xiàn)，它有時(shí)會(huì)給出看似合理、但并不正確或甚至荒謬的答案。比如很多用戶(hù)發(fā)現(xiàn)，ChatGPT 會(huì)一本正經(jīng)地胡說(shuō)八道：

將王安石《泊船瓜洲》中的詩(shī)句錯(cuò)當(dāng)成另一首宋詞：

在為一個(gè)公眾人物撰寫(xiě)傳記時(shí)，ChatGPT 可能會(huì)插入錯(cuò)誤數(shù)據(jù)：

隨著用戶(hù)的增多，ChatGPT 在互聯(lián)網(wǎng)上產(chǎn)生了大量無(wú)用或錯(cuò)誤的信息。這也是文本生成模型的一個(gè)普遍存在的問(wèn)題，模型是通過(guò)分析從網(wǎng)絡(luò)上抓取的大量文本中的模式來(lái)訓(xùn)練的，它們?cè)谶@些數(shù)據(jù)中尋找統(tǒng)計(jì)規(guī)律，并使用這些規(guī)律來(lái)預(yù)測(cè)任何給定句子中接下來(lái)應(yīng)該出現(xiàn)什么詞。

這意味著它們?nèi)狈﹃P(guān)于世界上某些系統(tǒng)如何運(yùn)作的硬編碼規(guī)則，所以會(huì)傾向于產(chǎn)生許多看似可信的廢話(huà)，而我們難以確定模型的輸出中錯(cuò)誤信息占有多少比例。

ChatGPT 的這一固有缺點(diǎn)已經(jīng)造成了一些實(shí)際影響。編程問(wèn)答網(wǎng)站 StackOverflow 宣布暫時(shí)禁止用戶(hù)發(fā)布來(lái)自 ChatGPT 生成的內(nèi)容，網(wǎng)站 mods 表示：看似合理但實(shí)際上錯(cuò)誤的回復(fù)數(shù)量太多，已經(jīng)超過(guò)了網(wǎng)站的承受能力。

對(duì)于語(yǔ)言模型產(chǎn)出有害信息的威脅， 圖靈獎(jiǎng)得主 Yann LeCun 似乎保持樂(lè)觀，他認(rèn)為：雖然語(yǔ)言模型肯定會(huì)產(chǎn)生錯(cuò)誤信息等不良輸出，但文本生成并不會(huì)讓文本的實(shí)際共享變得更容易，后者才是造成危害的原因。

而反對(duì)意見(jiàn)認(rèn)為，ChatGPT 所具有的低成本生成大規(guī)模文本的能力，必然會(huì)增加將來(lái)文本能夠共享時(shí)的風(fēng)險(xiǎn)，大量 AI 生產(chǎn)的內(nèi)容會(huì)用看似合理但不正確的數(shù)據(jù)淹沒(méi)真實(shí)用戶(hù)的聲音。關(guān)于這個(gè)問(wèn)題，我們也不妨來(lái)看看 ChatGPT 自己的回答：

ChatGPT 在語(yǔ)言能力上顯現(xiàn)出的一些不足，也正是許多人認(rèn)為 ChatGPT 并不能取代搜索引擎的理由。盡管在某些單個(gè)提問(wèn)上，ChatGPT 似乎能給出比目前一些主流的搜索引擎更好的答案，但在答案的真實(shí)可考性上，后者仍占據(jù)優(yōu)勢(shì)，而且搜索引擎能給出更豐富的答案。

另外，用戶(hù)的搜索引擎需求對(duì)于 ChatGPT 的運(yùn)行速度、穩(wěn)定性有極高的要求，這會(huì)不可避免地帶來(lái)成本的上升，這對(duì)于 OpenAI 而言是一個(gè)很實(shí)際的問(wèn)題。

黃民烈也指出，ChatGPT 替代谷歌搜索其實(shí)還有點(diǎn)遙遠(yuǎn)，但它可以作為當(dāng)前搜索服務(wù)非常好的補(bǔ)充。

總之，語(yǔ)言模型的輸出質(zhì)量問(wèn)題并不容易解決，OpenAI 稱(chēng)，他們?cè)?ChatGPT 的訓(xùn)練上更加謹(jǐn)慎，所以它會(huì)拒絕可以正確回答的問(wèn)題，此外，監(jiān)督訓(xùn)練也會(huì)給模型以誤導(dǎo)，因?yàn)槔硐氲拇鸢副举|(zhì)上取決于模型知道什么，而不是人類(lèi)知道什么。不過(guò)，ChatGPT 對(duì)輸入措辭的調(diào)整或多次嘗試相同的提示很敏感，所以在它無(wú)法給出回答的時(shí)候，可以對(duì)問(wèn)題稍作改寫(xiě)，就能提高正確回答的概率。

還有其他原因也限制了 ChatGPT 的語(yǔ)言能力，比如它不能上網(wǎng)，沒(méi)有通過(guò)互聯(lián)網(wǎng)進(jìn)行檢索信息的能力；另外，對(duì)于中文用戶(hù)而言，語(yǔ)料的不足導(dǎo)致它在中文對(duì)話(huà)能力上要稍遜于英文；等等。

盡管 ChatGPT 目前還有許多弱點(diǎn)和盲點(diǎn)，但這還只是一個(gè)開(kāi)始，在接下來(lái)的幾個(gè)月里，這個(gè)對(duì)話(huà)系統(tǒng)想必會(huì)以很快的速度進(jìn)化到更強(qiáng)的版本。

而在技術(shù)之外，模型的訓(xùn)練、部署成本、開(kāi)放程度也都會(huì)成為 ChatGPT 將來(lái)能否成功落地的影響因素。GPT-3 的問(wèn)世曾催生了一大批的商業(yè)化應(yīng)用，ChatGPT此番能帶來(lái)多少技術(shù)落地，我們拭目以待。?