加入Anthropic才剛六個(gè)月的OpenAI聯(lián)創(chuàng)John Schulman，又火速選擇離開了！

此前，Schulman曾在OpenAI工作了9年。

去年8月份，他選擇離開OpenAI，加入Anthropic。

當(dāng)時(shí)，他在給前同事們的信中表示，自己之所以做此選擇，目的是「深化自己對(duì)AI對(duì)齊的關(guān)注，開啟自己職業(yè)生涯的新篇章，回歸到能親自動(dòng)手的技術(shù)工作」。

而如今加入Anthropic才剛半年，他卻又忽然選擇離開。

Anthropic：表示遺憾

Anthropic首席科學(xué)官Jared Kaplan在一份聲明中表示：「我們對(duì)John的離開感到遺憾，但完全支持他追求新機(jī)會(huì)的決定，并祝愿他一切順利。」

有人表示，Schulman的離職對(duì)Anthropic是一種打擊。他不僅是強(qiáng)化學(xué)習(xí)先驅(qū)，更是ChatGPT背后開發(fā)核心架構(gòu)師。

2024年8月，時(shí)任OpenAI「后訓(xùn)練」團(tuán)隊(duì)負(fù)責(zé)人John Schulman，在推特上官宣入職勁敵Anthropic。

當(dāng)時(shí)這個(gè)消息，就曾引起巨大震動(dòng)。

原因不僅僅在于，Schulman是OpenAI最受矚目的技術(shù)領(lǐng)袖之一，帶領(lǐng)團(tuán)隊(duì)為ChatGPT取得突破性成果做出了關(guān)鍵貢獻(xiàn)。

他離開的時(shí)節(jié)也十分敏感。當(dāng)時(shí)，正處于OpenAI的高管離職潮，CTO Mira Murati在內(nèi)的其他高管，也幾乎在同一時(shí)間離職。

對(duì)此，Sam Altman甚至十分鄭重地用了「大寫字母」來發(fā)文回應(yīng)。

ChatGPT架構(gòu)師，PPO一作

Schulman與OpenAI的結(jié)緣，是在研究生學(xué)業(yè)完成后，以創(chuàng)始人身份正式加入OpenAI。

至今，他已在OpenAI供職9年。值得一提的是，這是Schulman除實(shí)習(xí)之外，唯一工作的公司。

之前，他負(fù)責(zé)的是對(duì)齊團(tuán)隊(duì)，隨后他開始主要領(lǐng)導(dǎo)「后訓(xùn)練」團(tuán)隊(duì)，對(duì)部署在ChatGPT和OpenAI API中的模型進(jìn)行微調(diào)。

John Schulman本科在加州理工學(xué)院學(xué)習(xí)物理學(xué)，之后到加州大學(xué)伯克利分校攻讀神經(jīng)科學(xué)方向的博士。

當(dāng)時(shí)，他對(duì)人工智能也有點(diǎn)興趣，但在其中并沒有看到類似神經(jīng)科學(xué)的可遵循的道路。

直到參與伯克利的實(shí)驗(yàn)室輪換項(xiàng)目時(shí)，他與Pieter Abbeel共同進(jìn)行了直升機(jī)和機(jī)器人方面的工作，由此決定轉(zhuǎn)到EECS（電子工程和計(jì)算機(jī)科學(xué)）。

Schulman與OpenAI結(jié)緣已久。作為ChatGPT架構(gòu)師，早在2015年還在讀博士學(xué)位時(shí)，他就加入OpenAI成為聯(lián)合創(chuàng)始人之一。

在一次采訪中，Schulman解釋了自己加入OpenAI的原因：

「我想做人工智能方面的研究，我認(rèn)為OpenAI這家公司的使命雄心勃勃，并且致力打造通用人工智能。」

「盡管，在當(dāng)時(shí)談?wù)揂GI似乎有些瘋狂，但我認(rèn)為開始考慮它是合理的，我希望在一個(gè)地方談?wù)揂GI是可以接受的。」

另外，據(jù)Schulman透露，OpenAI將人類反饋強(qiáng)化學(xué)習(xí)（RLHF）引入ChatGPT的想法可以追溯到2017年，當(dāng)時(shí)Jan Leike和Dario Amodei等人發(fā)表的一篇論文提到了這個(gè)方法。

論文地址：https://arxiv.org/abs/1706.03741

此外，2017年，Schulman在OpenAI任職期間也和團(tuán)隊(duì)首次提出了近端策略優(yōu)化（PPO）算法，其變體PPO-Clip成為了OpenAI使用的主要算法。

論文地址：https://arxiv.org/abs/1707.06347

OpenAI安全團(tuán)隊(duì)之所以致力于這項(xiàng)工作，是因?yàn)橄胱屇Ｐ头先祟惖钠茫嬲齼A聽人類意見，并試圖做人類想做的事情。

在GPT-3完成訓(xùn)練時(shí)，Schulman看到了整個(gè)研究方向的潛力并決定加入這股潮流。

在很多次采訪中，Schulman都表達(dá)了對(duì)于人工智能下一前沿領(lǐng)域的看法：AI在更艱難的任務(wù)上不斷進(jìn)步的同時(shí)，人類應(yīng)該做些什么？在哪些任務(wù)中，人類可以在大模型幫助下有更大影響力，做更多的工作。

此外，指路Schulman在個(gè)人博客上發(fā)布的機(jī)器學(xué)習(xí)研究指南，最初是在2017年為OpenAI 研究員計(jì)劃編寫的。干貨滿滿，值得一觀。

文章地址：http://joschu.net/blog/opinionated-guide-ml-research.html