Transformer 五年引用超四萬，六位作者創立五家創業公司，僅一位作者還留在谷歌
時隔五年，Transformer 的八位作者僅有一位還留在谷歌。
如果你在一家大廠做出了一份行業里程碑式的研究，那么接下來的職場生涯你會怎么走?繼續留在這家大廠?換一家待遇更好的大廠?還是創業或加入有前景的創業公司?
Transformer(出自論文《Attention Is All You Need》)幾位作者的選擇或許有一定的代表性：其中六人選擇創業或加入創業公司，只有一人選擇繼續留在谷歌，還有一位去了 OpenAI。
這篇重要論文發表于 2017 年，如今引用量已經突破 41000。論文注釋中寫道，幾位作者對這份研究做出了不同但同等重要的貢獻(排名隨機)。具體來說，他們的分工可以概括為：
- Jakob 提出用自注意力替代 RNN，并開始努力嘗試這一想法;
- Ashish 和 Illia 一起設計并實現了第一批 Transformer 模型，并重度參與了 Transformer 架構的各方面工作;
- Noam 提出了縮放點積注意力、多頭注意力和無參數位置表示，并成為幾乎每一個細節的參與者;
- Niki 在原始代碼庫和 tensor2tensor 中設計、實現、調優和評估了無數的模型變量;
- Llion 還嘗試了新的模型變體，負責初始代碼庫以及高效的推理和可視化;
- Lukasz 和 Aidan 花了無數天的時間來設計和實現 tensor2tensor 的各個部分，替換了早期的代碼庫，極大地改善了結果、加速了研究進度。
可以說，每位作者都有自己擅長的工作，對于行業也都有自己的預判。論文發表五年之后，他們都在做什么呢?以下是我們能夠查到的信息。
Ashish Vaswani、 Niki Parmar：投身通用智能
2022 年 4 月 26 日，一家名為「Adept」的公司官宣成立，共同創始人有 9 位，其中就包括 Ashish Vaswani 和 Niki Parmar。
Ashish Vaswani 在南加州大學拿到博士學位，師從華人學者蔣偉(David Chiang)和黃亮(Liang Huang)，主要研究現代深度學習在語言建模中的早期應用。2016 年，他加入了谷歌大腦并領導了 Transformer 的研究。
Niki Parmar 碩士畢業于南加州大學，2016 年加入谷歌。工作期間，她為谷歌搜索和廣告研發了一些成功的問答和文本相似度模型。她領導了擴展 Transformer 模型的早期工作，將其擴展到了圖像生成、計算機視覺等領域。
Ashish Vaswani、Niki Parmar 等人共同創立的 Adept 是一家致力于用 AI 來增強人類能力并最終實現通用智能的公司。在闡述公司創立初衷時，創始人寫道，「在谷歌，我們訓練出了越來越大的 Transformer，夢想著有朝一日構建一個通用模型來支持所有 ML 用例。但是，這其中有一個明顯的局限：用文本訓練出的模型可以寫出很棒的文章，但它們無法在數字世界中采取行動。你不能要求 GPT-3 給你訂機票，給供應商開支票，或者進行科學實驗。」
因此，他們打算創建一個通用系統，幫助人們在電腦前完成工作，「你可以把它想象成你電腦里的一個 overlay，它和你一起工作，使用和你一樣的工具。使用 Adept，你能專注于你真正喜歡的工作，并要求模型承擔其他任務。例如，你可以要求模型生成月度合規報告，所有這些都使用現有的軟件，如 Airtable、Photoshop、ATS、Tableau、Twilio。」
Noam Shazeer：神秘創業者
Noam Shazeer 是谷歌最重要的早期員工之一。他在 2000 年底加入谷歌，直到 2021 年最終離職。
曾經，Noam Shazeer 和同事 Georges Harik 花了數年時間分析網頁上的數據，理解詞組及其協同工作原理。他們收集的數據最終被谷歌用于其 AdSense 產品，該產品會分析網頁的文字內容并在上面貼廣告。
2021 年，Noam Shazeer 成為了一家隱形初創企業的 CEO，名字叫做「CharacterAI」，關于這家公司的組織架構和業務模式，外界不甚了解。
Jakob Uszkoreit：發明「Transformer」名字的人，轉向分子設計
2021 年，Jakob Uszkoreit 和 Rhiju Das 共同創立了 Inceptive，致力于通過高度可擴展的實驗和深度學習的奇異結合來實現下一代 RNA 分子的設計。
在谷歌工作期間，Jakob Uszkoreit 參與了組建谷歌助理的語言理解團隊，早期還曾從事過谷歌翻譯的工作。
在當時《Attention Is All You Need》這項研究中，Vaswani 曾表示：「注意力網絡聽起來并不吸引人。」
最后，Jakob Uszkoreit 想出了「Transformer」這個名字：「我認為我們正在 transform 某些東西，當然，這只是在玩梗。」
Llion Jones：在谷歌開啟下一個十年?
Llion Jones 是目前 Transformer 作者團隊唯一還留在谷歌工作的人。
他在英國圭內斯郡南部的 Abergynolwyn 長大，來到谷歌山景城園區之后，他曾感慨：「現在我工作地方的人數，幾乎是我長大的村莊里的 100 倍。」
Llion Jones 現年 36 歲，曾在 Abergynolwyn 生活多年，完成在 Coleg Meirion-Dwyfor 的學業之后，他在伯明翰大學獲得了計算機科學碩士學位。
但在畢業后的一段時間內，Llion Jones 沒找到合適的工作。他曾經將簡歷投遞給谷歌在倫敦的辦公室，且經過了兩輪電話面試。由于檔期問題，Llion Jones 在收到谷歌的最終 offer 之前，已經入職了另外一家公司。
不過，18 個月之后，另一位谷歌招聘人員聯系了他，Llion Jones 成為了一名谷歌人。從 2012 年開始，Llion Jones 一直在谷歌工作。這一任職時長差不多超過了谷歌九成員工。
Aidan N. Gomez：創立 NLP 平臺，一年融資 1.7 億美元
2021 年 5 月，Aidan N. Gomez 官宣成立新公司——自然語言處理平臺 Cohere，基于自己訓練的大型 NLP 模型為外界提供 API 服務。
Aidan Gomez 本科就讀于多倫多大學，是牛津大學 Yarin Gal 和 Yee Whye Teh 的博士生，曾在谷歌大腦團隊的 Geoffrey Hinton 和 Lukasz Kaiser 組內工作。
這家公司的投資陣容頗為豪華：早期投資者包括圖靈獎得主 Geoffrey Hinton、GAN 之父 Ian Goodfellow、Uber 首席科學家 Raquel Urtasun、英偉達多倫多研究實驗室主任 Sanja Fidler 以及斯坦福大學教授李飛飛等。
GPT-3 等模型的問世讓人們看到了大規模預訓練語言模型的潛力，也在國內外掀起了一場創業熱潮。Cohere 團隊的創始成員也都是預訓練模型領域的資深研究者。但他們注意到，由于技術門檻過高，大多數人(包括普通開發人員)根本無法使用這項技術，因此他們致力于改變這一現狀。
Aidan Gomez 曾表示，為了達成這一使命，他們訓練了一個數十億(未來可能數千億)參數的語言模型。利用該模型的 API，我們可以完成文本補全、從文本中提取有語義意義的向量、測量段落語義相似性等任務。用戶只需要在自己的系統中載入三行代碼就可以調用該模型的能力。「無論你是前端還是后端的開發人員，無論你是做 web 還是移動，任何人都可以將 NLP 構建到應用程序中。」Aidan Gomez 在采訪中說到。
如今，雖然僅創立一年，這家公司已經拿到了 1.7 億美元的融資。
Lukasz Kaiser：跳槽 OpenAI
2021 年 6 月，Lukasz Kaiser 從谷歌跳槽到了 OpenAI。
在 2013 年加入谷歌之前，Lukasz Kaiser 是巴黎狄德羅大學的終身研究員，從事邏輯和自動機理論研究。他于 2008 年在亞琛工業大學獲得博士學位，在波蘭弗羅茨瓦夫大學獲得碩士學位。
Lukasz Kaiser 的研究領域包括深度學習和自然語言處理，在谷歌擔任研究科學家期間，他參與了機器翻譯、解析及其他算法和生成任務的 SOTA 神經模型設計，是 TensorFlow 系統、Tensor2Tensor 庫的共同作者。
他的研究工作還包括使用可滿足性求解器和其他符號方法來構建游戲系統和解決程序合成問題，證明關于描述復雜性、博弈論和解決長期未解決問題的自動機的定理。
Illia Polosukhin：華麗變身區塊鏈創業大佬
Illia Polosukhin 現在是 NEAR.AI 的聯合創始人及 CTO。
Illia Polosukhin 來自烏克蘭，在哈爾科夫國立技術大學獲得了應用數學和計算機科學碩士學位。移居加利福尼亞之后，他參與了各種機器學習項目，并加入了谷歌研究院，僅用一年就成為了工程主管。
三年后，他決定和 Alexander Skidanov 共同創辦 NEAR.AI：「我們堅信『程序合成』這一從人類規范出發研究自動化編程的領域將改變軟件開發和整個世界。」
但隨著創業過程的深入，他們意識到，即使專注于簡單的問題，任務描述也很復雜。描述中使用的概念和語言種類繁多，模型無法捕捉，一些問題也需要邏輯推理步驟和外部數學知識。他們發現，之前的研究結果在實踐中尚不可用(最佳模型的準確率約為 12%)，機器學習特別是自然語言理解的轉折點，似乎還沒有出現。
后來，NEAR.ai 這家公司開始轉向區塊鏈。Illia 在一篇有關公司轉型的博客中寫道：
- 考慮到我們在程序合成方面所做的工作，顧問建議我們把研究方向改成為以太坊生成智能合約。目前，普通工程師很難編制可證明的合同，程序合成可以有效解決這個問題;
- 在與想要開發應用程序的人談過之后，我們逐漸了解到，他們對于「使用區塊鏈構建應用程序，以提供金錢激勵和更好的隱私和安全」非常關注。
自此，公司正式改名為 NEAR Protocol。他們組建了一支優秀的人才隊伍，包括 3 名 ICPC 金牌得主、3 名 MemSQL 工程師、4 名前谷歌員工，并正在邀請 Web3 領域的專家加入公司。
目前，NEAR Protocol 已經成為一家區塊鏈分布式協議提供商，基于一種名為 Nightshade 的分片方法和共識機制，致力于開發區塊鏈底層架構與 DApp 開發平臺，并為開發人員提供事務、智能合約帳戶和 gas 費用回扣等協議級別工具。前段時間，該公司宣布完成 3.5 億美元的最新一輪融資。
