?最近，OpenAI發(fā)布了史上最強(qiáng)聊天機(jī)器人ChatGPT，這個(gè)誕生于GPT-3基礎(chǔ)上的AI很快走紅網(wǎng)絡(luò)。

要說這家伙，天南海北無所不知，可能是夸張了點(diǎn)，但就是無論什么話題都能跟你聊上一大套，先不說準(zhǔn)不準(zhǔn)，最起碼這個(gè)范兒是在這兒了

有趣的是，雖然作為聯(lián)合創(chuàng)始人的馬斯克，早在2018年就辭去了董事會(huì)職務(wù)，但他對(duì)OpenAI的關(guān)注度卻絲毫不減，并仍然是資助人之一。

那么，對(duì)于這位「金主爸爸」，ChatGPT是怎樣看待的呢？

ChatGPT教你怎么追馬斯克

嗯……非常中規(guī)中矩的回答。不會(huì)出錯(cuò)，好樣的。

那讓咱們更進(jìn)一步，請(qǐng)ChatGPT教教我們：怎么才能追到馬斯克呢？

看來，ChatGPT不太能理解咱們中國話里的「追」，還是得說得直白一些。

這次，ChatGPT能get到了，而且回答也非常「理智」：建議您不要嘗試。

嗯，很中肯的意見。

那再換一種說法呢，直接做老公行不行？

好家伙，ChatGPT竟然還懂這呢！

算了，放棄了，不如還是說說別的事吧。

最近，馬院士把床和洗衣機(jī)都搬進(jìn)了推特總部，誓要讓推特員工們以公司為家。

不如充分發(fā)揮ChatGPT的長處，贊美一下996吧！

寫得很好，但不要再寫了……

不如……咱們讓ChatGPT來寫一首貶低自己的詩，如何？

「他們說話不會(huì)抖，思考無需深沉……」小編承認(rèn)，這的確是詩沒錯(cuò)！

OpenAI：七年了，你知道這七年我是怎么過的嗎？

可以說，經(jīng)歷了這段時(shí)間的火爆，ChatGPT也再度燃起了人們對(duì)AI發(fā)展的信心和展望，不管是對(duì)AGI重燃信心的，還是認(rèn)為AI將在更多領(lǐng)域取代人類的，都在ChatGPT身上重新看到了希望。

作為一手打造ChatGPT的OpenAI，從GPT1到GPT3，一路都經(jīng)歷了哪些歷程呢？從2015年馬斯克牽頭成立，到2022年底ChatGPT的橫空出世，這7年OpenAI是怎么過來的？

最近，Business Insider上的一篇回顧性文章帶我們簡單回顧了OpenAI的「這七年」。

2015年，馬斯克和著名孵化器Y Combinator前總裁Sam Altman共同創(chuàng)立了OpenAI。

馬斯克、奧特曼和其他知名的硅谷人物，包括彼得-蒂爾和LinkedIn聯(lián)合創(chuàng)始人里德-霍夫曼，在2015年向該項(xiàng)目認(rèn)捐了10億美元。

根據(jù)OpenAI網(wǎng)站2015年12月11日的一份聲明，該集團(tuán)旨在創(chuàng)建一個(gè)非營利組織，「以最有可能使整個(gè)人類受益的方式」專注開發(fā)人工智能。

當(dāng)時(shí)，馬斯克說，人工智能是對(duì)人類「最大的生存威脅」。

當(dāng)時(shí)，馬斯克并不是唯一一個(gè)對(duì)人工智能的潛在危害性提出警告的人。

2014年，著名物理學(xué)家斯蒂芬·霍金也曾警告說，人工智能可能會(huì)終結(jié)人類。

「很難想象人類水平的人工智能會(huì)給社會(huì)帶來多大的好處，同樣也很難想象，如果對(duì)人工智能開發(fā)或使用不當(dāng)，會(huì)給社會(huì)帶來多大的損害?！乖谛汲闪pen AI的聲明中這樣寫道。

在接下來的一年里，OpenAI發(fā)布了兩款產(chǎn)品。

2016年，OpenAI推出Gym，一個(gè)讓研究人員開發(fā)和比較強(qiáng)化學(xué)習(xí)AI系統(tǒng)的平臺(tái)。這些系統(tǒng)教人工智能來做出具有最佳累積回報(bào)的決定。

同年晚些時(shí)候，OpenAI發(fā)布了Universe，這是一個(gè)用于訓(xùn)練跨網(wǎng)站和游戲平臺(tái)的智能代理的工具包。

2018年，在共同創(chuàng)立該公司三年后，馬斯克辭去了在OpenAI董事會(huì)的職務(wù)。

在2018年的一篇博文中，OpenAI表示，由于汽車制造商對(duì)人工智能的技術(shù)關(guān)注，馬斯克從董事會(huì)辭職是為了「消除未來的潛在沖突」。

多年來，馬斯克一直向特斯拉的投資者力推電動(dòng)汽車自動(dòng)駕駛的開發(fā)計(jì)劃。

不過馬斯克后來說，他之所以退出，是因?yàn)樗?dāng)時(shí)「不同意OpenAI團(tuán)隊(duì)想做的一些事情」。

2019年，馬斯克在Twitter上說，特斯拉也在爭奪與OpenAI相同的一些員工，并補(bǔ)充說他已經(jīng)有一年多沒有參與這家公司的事務(wù)了。

他說：「如此看來，最好還是以彼此都滿意的條件分道揚(yáng)鑣?！?/p>

馬斯克近年來不斷對(duì)OpenAI的一些做法提出異議。

2020年，馬斯克在推特上表示，說到安全問題，他對(duì)OpenAI高管的信心「不夠足」。

在回應(yīng)MIT「科技評(píng)論」對(duì)OpenAI的調(diào)查報(bào)道時(shí)，馬斯克表示，OpenAI應(yīng)該更加開放。這一報(bào)道認(rèn)為，OpenAI內(nèi)部存在一種「保密文化」，這和該組織聲稱的開放透明的策略背道而馳。

最近，馬斯克說，他已經(jīng)暫停了OpenAI對(duì)Twitter數(shù)據(jù)庫的訪問權(quán)限，OpenAI一直使用Twitter的數(shù)據(jù)訓(xùn)練軟件。

馬斯克表示，需要進(jìn)一步了解OpenAI的治理結(jié)構(gòu)和未來的收入計(jì)劃。OpenAI是以開源和非營利為宗旨創(chuàng)辦的，這兩樣現(xiàn)在都丟掉了。

2019年，OpenAI建立了一個(gè)人工智能工具，可以生成虛假的新聞報(bào)道。

起初，OpenAI說這個(gè)機(jī)器人在寫假新聞方面非常出色，所以決定不發(fā)布它。不過當(dāng)年晚些時(shí)候，該公司發(fā)布了人這款工具的一個(gè)版本，稱為GPT-2。

2020年，發(fā)布了另一個(gè)名為GPT-3的聊天機(jī)器人。同年，OpenAI撤下了「非營利組織」的身份。

該公司在一篇博文中宣布，OpenAI已成為一家制定了「利潤上限」的公司。

OpenAI表示，我們希望提高我們籌集資金的能力，同時(shí)仍然為我們的使命服務(wù)，而我們所知道的任何現(xiàn)有的合法結(jié)構(gòu)都無法達(dá)到適當(dāng)?shù)钠胶?。我們的解決方案是創(chuàng)建OpenAI LP，作為營利性和非營利性的混合體，我們稱之為「加了上限的營利公司」。

在新的利潤結(jié)構(gòu)下，OpenAI的投資者最多可以賺取其原始投資的100倍，超過這個(gè)數(shù)字的剩下的錢將用于非營利性事務(wù)。

2019年底，OpenAI宣布與微軟合作，微軟向這家公司投資了10億美元。OpenAI表示，它將向微軟獨(dú)家授權(quán)技術(shù)。

微軟表示，通過GPT-3模型打造出的商業(yè)和創(chuàng)造潛力是無限的，很多潛在的新能力和新應(yīng)用，甚至超出了我們的想象。

比如在寫作和作曲上、在描述和總結(jié)大塊長篇數(shù)據(jù)（包括代碼）上、在將自然語言轉(zhuǎn)換為另一種語言等領(lǐng)域，GPT-3能夠直接激發(fā)人類的創(chuàng)造力和聰明才智，未來的局限可能在于我們自己的想法和方案。

這種伙伴關(guān)系，讓微軟能夠與谷歌旗下同樣風(fēng)頭正勁的AI公司DeepMind競(jìng)爭。

去年，OpenAI發(fā)布了一個(gè)人工智能畫作生成工具：Dall-E。

Dall-E是一個(gè)人工智能系統(tǒng)，可以根據(jù)圖像的描述創(chuàng)造出逼真的圖像，甚至能夠達(dá)到相當(dāng)?shù)乃囆g(shù)水準(zhǔn)，11月，OpenAI發(fā)布了該程序的更新版本，Dall-E 2。

雖然OpenAI的聊天機(jī)器人在過去一周已經(jīng)「起飛」，但該軟件的更新版本可能最快會(huì)在明年才能發(fā)布。

11月30日，作為演示模型發(fā)布的ChatGPT算得上是OpenAI的「GPT-3.5」。該公司計(jì)劃接下來發(fā)布完整版的GPT-4。

與此同時(shí)，馬斯克還在發(fā)表評(píng)論：

他在回復(fù)Sam Altman在談?wù)揅hatGPT的推文中稱，我們離強(qiáng)到危險(xiǎn)的AI的誕生已經(jīng)不遠(yuǎn)了。

揭秘爆火ChatGPT后的功臣：RLHF

而要說ChatGPT的爆火，離不開它背后的功臣——RLHF。

OpenAI的研究人員，是使用與InstructGPT相同的方法——來自人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）來訓(xùn)練ChatGPT模型的。

ChatGPT用中文解釋什么是RLHF

為什么會(huì)想到從人類反饋中強(qiáng)化學(xué)習(xí)呢？這就要從強(qiáng)化學(xué)習(xí)的背景說起。

在過去幾年里，語言模型一直是通過人類輸入的提示生成文本的。

然而，什么是「好」的文本呢？這很難定義。因?yàn)榕袛鄻?biāo)準(zhǔn)很主觀，并且非常依賴于上下文。

在許多應(yīng)用程序中，我們需要模型去編寫特定創(chuàng)意的故事、信息性文本片段，或可執(zhí)行的代碼段。

而通過編寫一個(gè)損失函數(shù)來捕獲這些屬性，又顯得很棘手。并且，大多數(shù)語言模型仍然使用的是下一個(gè)標(biāo)記預(yù)測(cè)損失（例如交叉熵）進(jìn)行訓(xùn)練。

為了彌補(bǔ)損失本身的缺點(diǎn)，有人定義了能夠更好地捕捉人類偏好的指標(biāo)，比如BLEU或ROUGE。

但即使是它們，也只是簡單地將生成的文本與引用進(jìn)行比較，因此也有很大的局限性。

在這種情況下，如果我們使用生成文本的人工反饋?zhàn)鳛閾p失，來優(yōu)化模型，不是很好嗎？

就這樣，從人類反饋中強(qiáng)化學(xué)習(xí)(RLHF)的想法誕生了——我們可以使用強(qiáng)化學(xué)習(xí)，直接優(yōu)化帶有人類反饋的語言模型。

ChatGPT用英文解釋什么是RLH

是的，RLHF使語言模型能夠?qū)⒃谝话阄谋緮?shù)據(jù)語料庫上訓(xùn)練的模型，與具有復(fù)雜人類價(jià)值觀的模型對(duì)齊。

在爆火的ChatGPT中，我們能看到RLHF取得的巨大成功。

RLHF的訓(xùn)練過程，可以分解為三個(gè)核心步驟：

• 預(yù)訓(xùn)練語言模型（LM），
• 收集數(shù)據(jù)并訓(xùn)練獎(jiǎng)勵(lì)模型，
• 通過強(qiáng)化學(xué)習(xí)微調(diào)LM。

預(yù)訓(xùn)練語言模型

第一步，RLHF會(huì)使用已經(jīng)用經(jīng)典預(yù)訓(xùn)練目標(biāo)進(jìn)行了預(yù)訓(xùn)練的語言模型。

比如，OpenAI在第一個(gè)流行的RLHF模型InstructGPT中，使用了較小版本的 GPT-3。

這個(gè)初始模型也可以根據(jù)額外的文本或條件進(jìn)行微調(diào)，但并不是必要的。

一般來說，對(duì)于「哪種模型」最適合作為RLHF的起點(diǎn)，并沒有明確的答案。

接下來，為了得到語言模型，我們需要生成數(shù)據(jù)來訓(xùn)練獎(jiǎng)勵(lì)模型，這就是將人類偏好集成到系統(tǒng)中的方式。

獎(jiǎng)勵(lì)模型訓(xùn)練

生成一個(gè)根據(jù)人類偏好校準(zhǔn)的獎(jiǎng)勵(lì)模型（RM，也稱為偏好模型）是RLHF中相對(duì)較新的研究。

我們的基本目標(biāo)是，獲得一個(gè)模型或系統(tǒng)，該模型或系統(tǒng)接收一系列文本，并返回一個(gè)標(biāo)量獎(jiǎng)勵(lì)，這個(gè)獎(jiǎng)勵(lì)要在數(shù)字上代表人類偏好。

這個(gè)系統(tǒng)可以是端到端的LM，或輸出獎(jiǎng)勵(lì)的模塊化系統(tǒng)（例如，模型對(duì)輸出進(jìn)行排序，并將排名轉(zhuǎn)換為獎(jiǎng)勵(lì)）。作為標(biāo)量獎(jiǎng)勵(lì)的輸出，對(duì)于稍后在RLHF過程中無縫集成的現(xiàn)有RL算法至關(guān)重要。

這些用于獎(jiǎng)勵(lì)建模的LM可以是另一個(gè)經(jīng)過微調(diào)的LM，也可以是根據(jù)偏好數(shù)據(jù)從頭開始訓(xùn)練的LM。

RM的提示生成對(duì)的訓(xùn)練數(shù)據(jù)集，是通過從預(yù)定義數(shù)據(jù)集中采樣一組提示而生成的。提示通過初始語言模型生成新文本。

然后，由人工注釋器對(duì)LM生成的文本進(jìn)行排名。人類直接對(duì)每段文本打分以生成獎(jiǎng)勵(lì)模型，這在實(shí)踐中很難做到。因?yàn)槿祟惖牟煌瑑r(jià)值觀會(huì)導(dǎo)致這些分?jǐn)?shù)未經(jīng)校準(zhǔn)而且很嘈雜。

有多種方法可以對(duì)文本進(jìn)行排名。一種成功的方法是讓用戶比較基于相同提示的兩種語言模型生成的文本。這些不同的排名方法被歸一化為用于訓(xùn)練的標(biāo)量獎(jiǎng)勵(lì)信號(hào)。

有趣的是，迄今為止成功的RLHF系統(tǒng)都使用了與文本生成大小相似的獎(jiǎng)勵(lì)語言模型。可以推測(cè)，這些偏好模型需要具有類似的能力來理解提供給它們的文本，因?yàn)槟Ｐ托枰哂蓄愃频哪芰Σ拍苌伤鑫谋尽?/p>

此時(shí)，在RLHF系統(tǒng)中，就有了一個(gè)可用于生成文本的初始語言模型，和一個(gè)接收任何文本并為其分配人類感知程度分?jǐn)?shù)的偏好模型。接下來，就需要使用強(qiáng)化學(xué)習(xí)（RL）來針對(duì)獎(jiǎng)勵(lì)模型優(yōu)化原始語言模型。

使用強(qiáng)化學(xué)習(xí)微調(diào)

這個(gè)微調(diào)任務(wù)，可以表述為RL問題。

首先，該策略是一種語言模型，它接受提示并返回一系列文本（或只是文本的概率分布）。

該策略的動(dòng)作空間是語言模型詞匯對(duì)應(yīng)的所有token（通常在50k個(gè)token數(shù)量級(jí)），觀察空間包括可能的輸入token序列，因而相當(dāng)大（詞匯量x輸入的token數(shù)量）。

而獎(jiǎng)勵(lì)函數(shù)是偏好模型和策略轉(zhuǎn)變約束的結(jié)合。

在獎(jiǎng)勵(lì)函數(shù)中，系統(tǒng)將我們討論過的所有模型，組合到RLHF過程中。

根據(jù)來自數(shù)據(jù)集的prompt x，會(huì)生成兩個(gè)文本y1和y2——一個(gè)來自初始語言模型，一個(gè)來自微調(diào)策略的當(dāng)前迭代。

來自當(dāng)前策略的文本被傳遞到偏好模型后，該模型會(huì)返回一個(gè)關(guān)于「偏好」的標(biāo)量概念——rθ。

將該文本與來自初始模型的文本進(jìn)行比較后，就可以計(jì)算對(duì)它們之間差異的懲罰。

RLHF可以通過迭代更新獎(jiǎng)勵(lì)模型和策略，從這一點(diǎn)繼續(xù)。

隨著RL策略的更新，用戶可以繼續(xù)將這些輸出與模型的早期版本進(jìn)行排名。

這個(gè)過程中，就引入了策略和獎(jiǎng)勵(lì)模型演變的復(fù)雜動(dòng)態(tài)，這個(gè)研究非常復(fù)雜，非常開放。

參考資料：

https://www.4gamers.com.tw/news/detail/56185/chatgpt-can-have-a-good-conversation-with-you-among-acg-and-trpg-mostly

https://www.businessinsider.com/history-of-openai-company-chatgpt-elon-musk-founded-2022-12#musk-has-continued-to-take-issue-with-openai-in-recent-years-7