GPT-4o 17人Omni金牌團隊首揭秘！清北上交中科大六位華人領銜
幾天前的發布會上，OpenAI再次向全世界證明，它永遠走在AI領域的最前沿。
眼看著《Her》中的Samantha在自己眼前成真，那一刻，全世界為之振奮。
就在剛剛，GPT-4o的關鍵團隊信息，也被公布了出來。
就是這個名為「omni」的團隊，發揮出了不可思議的潛力，讓OpenAI的首個原生全多模態模型成為可能。
Sam Altman盛贊，如果沒有團隊負責人Prafulla Dhariwal長期以來的遠見、才智、信念和決心，就沒有GPT-4o。而整個團隊的努力，才使得他所期待的人機交互革命成為現實。
OpenAI聯創Greg Brockman，也表揚了這位肩負著整個團隊使命的負責人。
多虧了Prafulla Dhariwal「建立全能大模型」的信念，并且在過去的18個月中聯合了OpenAI的許多團隊，在多個團隊的通力合作下，GPT-4o才得以誕生。
GPT-4o可以識別不同的聲音
根據負責人的說法，其實OpenAI早就有意打造這樣一個Omni大模型了。
然而一年多之前，團隊曾經做過多次多模態的嘗試，卻沒有一次能讓最大的GPT成功地完成多模態運行。
幸運的是，團隊成員齊心協力，用出色的能力攻克了種種能力，使GPT-4o成為可能。
網友銳評：「你們確實處于創新的前沿，執行水平達到了大型科技巨頭夢寐以求的水平。」
而如此驚艷的演示，竟然是一個不到20人的小團隊打造出來的。
Omni團隊揭秘
接下來，一起看看打造OpenAI首個原生多模態GPT-4o背后團隊成員，都有誰？
負責人Prafulla Dhariwal
領導GPT-4o開發的負責人Prafulla Dhariwal，是一位印度小哥。
他于2017年獲得了麻省理工學院的計算機科學學士學位。
畢業前夕，Dhariwal就加入了OpenAI（那時OpenAI僅成立一年），并在17年正式成為研究科學家。
至今，Dhariwal任職OpenAI 7年，可以說，他見證了這家初創公司的成長全過程。
在此期間，Dhariwal參與了諸多重磅的研究。
根據LinkedIn個人主頁，他將發表論文的領域分類為生成式模型、無監督學習、Scaling Law、定理證明、強化學習、量子復雜性。
其中包括DALL·E 3、DALL·E 2，模型一致性等，還共同提出了著名的「Scaling Law」。
值得一提的是，Dhariwal曾在高中期間參加了幾次國際奧林匹克競賽。
他是2012年IMO競賽的金牌得主，也是IAO（國際天文學奧林匹克競賽）、IPhO（國際物理奧林匹克）的金牌獲得者。
有網友稱，Prafulla Dhariwal從高中起就是我的靈感來源。他當年為印度贏得了IAO、IPhO和IMO的金牌，并在OpenAI大學畢業后從事非常酷的VAE、Gans、DDPM、一致性模型等項目。
6位華人
Li Jing
Li Jing在團隊中發揮的作用是，讓大家擁有令人驚嘆的圖像/3D生成。
此前，他為Dall-E 3、Sora、GPT-4o都做出過貢獻。
他曾在Meta做過2年的博后研究員，隨后進入OpenAI成為全職研究員。
雖然才入職OpenAI不到兩年，但他已參與過多個OpenAI的重磅研究了。
他在北京大學獲得物理學學士學位，在MIT獲得物理學博士學位。
Casey Chu
Casey Chu是團隊的老員工了。
他從2020年4月就入職了OpenAI，如今已經是4年的「元老」了。
他本科在哈維·穆德學院獲得數學學士學位，在斯坦福大學獲得計算數學碩士學位。
Mark Chen
Mark Chen是OpenAI的前沿研究主管，并且還是美國IOI隊的教練。
在團隊漫長的研究中，Mark Chen是大家奮斗的支柱。
他已是OpenAI五年多的老員工。此前曾在微軟、Trading實習，在哈佛做訪問學者，在量化研究工作過5年，并且成為合伙人。
他畢業于MIT數學-計算機專業。
Jiahui Yu（于佳慧）
Jiahui Yu負責帶領OpenAI的感知團隊。
此前，他曾擔任Google Brain和Google DeepMind的高級研究科學家和經理。
他的研究領域包括序列建模（語言、語音、視頻、金融數據）、計算機視覺、生成模型和高性能計算。
在研究生期間，他在微軟亞研院、曠視科技、Adobe Research、Snap Research、Jump Trading、百度研究院、Nvidia Research和Google Brain都有過實習經歷。
他本科畢業于中國科技大學少年班，獲得計算機學士學位。博士畢業于伊利諾伊大學香檳分校。
Huiwen Chang
Huiwen Chang在OpenAI已經工作一年。
此前她曾在谷歌工作過5年，在微軟亞研院、Adobe、Facebook有過實習經歷。
她在清華大學計算機科學實驗班（姚班）取得學士學位，然后在普林斯頓大學取得博士學位。
Yu Zhang
他在OpenAI工作了8個月。他此前曾在谷歌DeepMind工作過6年，還在微軟亞研院、微軟實習過。
他本科在上海交通大學取得計算機學士學位，在MIT取得博士學位。
其他關鍵成員
James Betker
James Betker在這個團隊中負責得非常全面，應有盡有，包括圖像、音頻、數據、集成、后訓練（post-training）。
這是從谷歌跳槽至OpenAI的大咖。
在加入OpenAI之前，Betker曾在谷歌擔任了3年的軟件工程師。
此外，他還在2011年加入了Garmin International，現任職高級軟件工程師。
上下滑動查看
他曾獲得了UCSB的計算機科學學士學位，與此同時，在2005-2009年期間，還是在學校擔任4年的軟件工程師。
Jamie Kiros
Jamie Kiros讓GPT-4獲得當前最佳的視覺感知能力，做出了非凡的成績。
此前，他曾在谷歌工作過3年。
他在多倫多大學取得計算機博士學位。
Rowan Zellers
Rowan Zellers在Omni團隊中的貢獻是，讓OpenAI可以像人一樣自然地看到視頻。
畢業后，他加入了艾倫人工智能研究所（AI2）成為研究實習生。
2022年6月，成為OpenAI的一名技術人員。
Zellers曾獲得了哈維·穆德學院（Harvey Mudd College）的數學和計算機科學的學士學位，以及華盛頓大學計算機科學博士學位。
Alexis Conneau
在加入OpenAI之前，Alexis Conneau就已經提出了「Her」（視覺模型）的理念，并且堅持不懈地執行并實現了它。
目前，Conneau是OpenAI的語音AGI負責人。
進入他的個人主頁，就知道Conneau對Her有多么癡迷了。
Conneau在加入OpenAI之前，曾在Meta、谷歌擔任過研究科學家，有著9年的自然語言深度學習的經驗。
華盛頓郵報曾對Conneau進行了個人專題報道——
Alexis Conneau曾幫助Meta（Facebook）和谷歌打造了以驚人的精確性理解數十種語言的AI系統。
在Meta期間，Conneau團隊推進了機器學識算法，將語言用數字抽象形式表現的能力，最終訓出能夠處理同步語言的AI。
比如XLM-R模型可以處理100+語言，其準確性幾乎與單一語言模型一致。
Conneau在Meta做的最后一項工作是Wave2vec-U。這是一種無人監督的語音識別系統，可以從音頻中讀取單詞。
此外，他還發明了一種算法XLm-Roberta，能夠閱讀各種語言的海量數據。這項研究也成為他被引最高的成果。
他曾獲得了Facebook AI Research的計算機科學博士學位，在巴黎-薩克雷高等師范學校獲得了機器學習碩士學位，以及巴黎綜合理工學院獲得了數學碩士學位。
Gabriel Goh
Gabriel Goh和接下來要介紹的Ishaan Gulrajani，在團隊中主要貢獻是，提出了一系列相關的「Scaling Law」的工作。
這樣當所有這些模態（視覺、語音等）匯集在一起時，模型便可以擅長處理一切事物!
Gabriel Goh也是OpenAI 5年多的老員工，此前曾在蘋果工作1年半。
他在英屬哥倫比亞大學取得碩士學位，在加州大學戴維斯分校取得了數學專業博士學位。
CBC曾報道過Gabriel Goh到OpenAI后，在2021年設計的CLIP系統。
他參與的這項研究，揭示了CLIP無法正確識別圖像，會把放著iPod字樣的蘋果識別為iPod。
Ishaan Gulrajani
Ishaan Gulrajani目前是OpenAI的研究員。
根據OpenReview的介紹，他曾在谷歌和Meta工作過。并在MIT獲得學士學位，以及在斯坦福大學獲得博士學位。
Alex Nichol
Alex Nichol在團隊中主攻3D圖像生成，也是DALL·E 2的共同發明者。
此前，他一直是一位自由職業者。
隨后，在2107年加入了OpenAI任技術研究員，中間還離職有近一年時間，并在2020年5月再次入職。
比如，在GPT-4o官方報博客中的演示，它可以生成一致的試圖，重建復雜3D模型。
這些所展示出的成果，離不開Nichol的貢獻。
Heewoo Jun
與Nichol一樣，Heewoo Jun在團隊中也在負責圖像、3D生成。
根據OpenReview介紹，他曾在2015-2019年間在百度（美國研究院）擔任研究員，2019年從百度離職后加入OpenAI擔任研究員至今。
他曾獲得了斯坦福大學的碩士學位，以及多倫多大學的學士學位。
Christine McLeavey
這位Christine，是一位寶藏研究員。
她在OpenAI已經工作6年。
此前，她曾在Unity從事2D、3D、VR、AR游戲的工作。
還曾做過4年的鋼琴演奏藝術家，創辦了交響樂、芭蕾、歌劇院管弦樂團的音樂家組織。
圖片
圖片
她在普林斯頓取得了藝術、物理、和鋼琴表演的學士學位。
在畢業后，她在世界頂尖音樂學院——茱莉亞學院進修了兩年鋼琴。
三年后，她在斯坦福取得了神經科學的碩士學位。
al jabr
最后這位「al jabr」，并沒有公布自己的真名，因此資料無從查找。
參與GPT-4o的所有成員
網友：下一個方向是什么
在留言區，網友們紛紛表示贊嘆——
「團隊使這種令人難以置信的突破性體驗成真，o將徹底重構人機交互的方式。」
「GPT-4o是創新和協作的證明，你們的奉獻精神，構造了人工智能進步的燈塔。」
所以，Omni團隊的下一步，又會給全世界帶來怎樣驚人的大作？
