在 GPT-4 發(fā)布的第二天，圖靈獎得主 Geoffrey Hinton 貢獻了一個精彩的比喻：「毛毛蟲從食物中提取營養(yǎng)，然后變成蝴蝶。人們已經(jīng)提取了數(shù)十億條理解的線索，GPT-4 是人類的蝴蝶。」

短短兩周，這只蝴蝶似乎已經(jīng)在各個領(lǐng)域掀起颶風。相應地，AI 行業(yè)迎來了新一波創(chuàng)業(yè)潮。其中不乏從谷歌等大廠走出的創(chuàng)業(yè)者。

如果你經(jīng)常讀 AI 大模型方向的論文，Yi Tay 想必是一個熟悉的名字。作為谷歌大腦高級研究科學家，Yi Tay 為許多知名的大型語言模型和多模態(tài)模型做出了貢獻，包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等。

根據(jù) Yi Tay 個人的統(tǒng)計，在谷歌大腦的 3.3 年里，他總共參與撰寫了大約 45 篇論文，是其中 16 篇的一作。一作論文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。

和大多數(shù)離開谷歌自主創(chuàng)業(yè)的 Transformer 作者一樣，Yi Tay 也找到了一個合適的時間點離開，邁向新的人生旅程。

在一篇博客文章里，Yi Tay 官宣了自己離職的消息，并在更新后的個人資料中透露了下一步的動向：參與創(chuàng)辦一家名為 Reka 的公司，并擔任該公司的首席科學家，主攻大型語言模型。

Yi Tay 還透露，Reka 總部位于舊金山灣區(qū)，由強大的前 DeepMind、FAIR、谷歌大腦研究人員和工程師組成的團隊共同創(chuàng)立。

除了 Yi Tay，香港大學計算機系助理教授劉琦也在自己的個人主頁中提到，他正在參與創(chuàng)建一個名為「Reka」的公司，致力于多模態(tài)基礎(chǔ)模型的開發(fā)。讀博期間，劉琦曾在谷歌實習過一段時間，和 Yi Tay 合著過《Quaternion Knowledge Graph Embedding》等論文。

由于「Reka」的官網(wǎng)還沒辦法打開，我們暫時無法獲取關(guān)于該公司的更多信息。

在告別谷歌之際，Yi Tay 心懷感激地寫下了一篇博客，表示離開谷歌確實有一種畢業(yè)的感覺，因為他從谷歌以及他出色的同事、導師、經(jīng)理那里學到了很多。

谷歌對我來說永遠是特別的，因為這是我學會進行真正出色研究的地方。我回想起我第一次加入的時候，當我在如此近的地方看到這么多著名的、有影響力的論文的作者時，我就像一個粉絲遇到了喜歡的明星。這對我來說是一個很大的感官刺激，具有很強的激勵性和啟發(fā)性。直到今天，我依然很感激我能和他們中的許多人一起工作和學習，至少在他們中的大多數(shù)人離開之前。

我學到了很多。

從更廣泛的角度來看，我了解了進行關(guān)鍵研究的重要性以及如何推動研究朝著產(chǎn)生具體影響的目標發(fā)展。在大學里，我們只被告知必須投中 N 篇會議論文（才能畢業(yè)或做其他事情）。在谷歌，事情必須落地，并且必須產(chǎn)生實際影響。

對我來說，這里最大的啟發(fā)是關(guān)于如何以端到端的方式擁有研究創(chuàng)新過程，即從想法到論文 / 專利，再到生產(chǎn)，最后為用戶服務。在很大程度上，我認為這個過程讓我成為了一個更好的研究者。

如果一定要形容我的成長，我覺得我的整個研究歷程可以說是「平滑的」而不是「突然涌現(xiàn)的」。我認為隨著時間的推移，我自己的研究能力逐漸線性提高，因為我變得越來越好，而且我更多地沉浸在谷歌文化中。這就像一個擴散（diffusion）過程。直到今天，我仍然相信研究環(huán)境非常重要。

大家都說「人」是谷歌最大的福利。我完全同意。我永遠感謝我所有親密的合作者和導師，他們在我作為研究人員和個人的成長過程中發(fā)揮了巨大的作用。

從內(nèi)心深處，我感謝我的現(xiàn)任經(jīng)理 (Quoc Le) 和我的前任經(jīng)理 (Don Metzler) 給我機會一起工作，感謝他們一直以來幫助我、照顧我 —— 不僅僅是作為一名下屬，也作為一個人。我還要感謝 Ed Chi、Denny Zhou 和 Slav Petrov 等資深人士在整個旅程中對我的支持。最后，我要感謝 Andrew Tomkins，他看中了我，并聘請了我加入 Google。

我還要感謝我最親密的朋友 / 合作者（Mostafa Dehghani、Vinh Tran、Jason Wei、Hyung Won、Steven Zheng、Siamak Shakeri），感謝他們和我一起度過所有的愉快時光：分享熱門話題，相互學習，一起撰寫論文，以及討論研究。?

值得一提的是，在國外掀起 AI 大模型創(chuàng)業(yè)潮的同時，國內(nèi)創(chuàng)業(yè)公司也展開了激烈的人才搶奪戰(zhàn)。例如有媒體爆出，志在打造中國 OpenAI 的王慧文也在招兵買馬，計劃收購兩家清華 NLP 公司：深言科技、面壁智能。而機器之心 Talent AI 欄目也了解到國內(nèi)頂級 AI 實驗室、多家創(chuàng)業(yè)公司以及一批量化投資機構(gòu)也都在積極尋找大模型人才。