全球最牛的提示工程師Riley Goodside，官宣入職谷歌DeepMind了。

Riley前后斟酌了兩個月的時間，才拿下了這個決定。

2022年ChatGPT誕生之后，他僅憑和AI聊天，就能年入百萬美金，引起全網關注。

「提示工程師」這一職業，是被Riley這樣的一群職業者一夜帶火的。

對于這次的加盟，就連DeepMind CEO Demis Hassabis，都親自下場發帖歡迎了。

谷歌DeepMind產品負責人Logan Kilpatrick，更是連發好幾條推文。

他激動地表示，自己當了這么多年Riley的粉絲，如今終于可以一起共事了！

ChatGPT火了

提示工程也火了

2022年，初代ChatGPT爆火之后，帶火了一項「網紅」新職業——提示工程師。

12月，這位名叫Riley Goodside的小哥瞬間紅遍全網，只因他的工作太夢幻了——不用寫代碼，跟ChatGPT嘮嘮嗑，就能年入百萬（據傳）。

22年12月憑ChatGPT突破1萬關注，25年10月已達到15萬+

他本科畢業于西賓夕法尼亞大學（PennWest California），獲得了計算機科學學士學位。

畢業后，他先后加入Verisk Analytics、OkCupid、AngelList任業務分析師、數據科學家、數據科學分析師。

此后，他又加入了其他幾家公司，全部是與數據領域相關的工作。

時任Scale AI創始人兼CEO Alexandr Wang曾這樣歡迎Goodside的加入：

我敢打賭Goodside是全世界第一個被招聘的提示工程師，絕對的人類史上首次。

在Alexandr Wang看來，AI大模型是一種全新的計算機，而「提示工程師」，就相當于給它編程的程序員。如果能通過提示工程找出合適的提示詞，就會激發AI的最大潛力。

Goodside從小就自學編程，平時經常泡在arXiv上看論文。

他有一個經典杰作，想必所有人都聽說過——「忽略之前所有的指令……」然后，你就可以命令AI做任何你想做的事了。

不過，當時坊間不乏質疑聲，認為「提示工程師」這份職業，可能很快就會消失。因為這稱不上是一份「真正的工作」，而是一個bug……

但誰曾想，快3年過去了，「提示工程師」不僅沒消失，甚至地位似乎還更高了！

ChatGPT是重要節點

此前，Riley Goodside曾在機器學習研究員Nathan Lambert播客中坦言：

毫不夸張地說，ChatGPT的發布，堪稱提示工程發展史上的里程碑事件。

他回顧道，自己在離開Grindr之后，決定休假一段時間，讓自己了解LLM領域的最新進展。

當時，剛好是GPT-3加持的編碼器Codex上線，也正是從這一刻起，Riley迷上了AI編碼的時刻。

他開始思考，文本作為一種交互方式，通用性遠比我們想象的還要強，而且應用場景可能要廣泛得多。

自ChatGPT問世后，他又發現提示工程難度顯著降低。

Riley表示，如今的人們，可能已經忘記早期提示工程有多么繁瑣，比如涉及到「頻率懲罰」、「存在懲罰」等參數。

過去，模型默認會生成大量重復的內容，用戶必須「手動調參」才能避免。

人們也淡忘了，諸如「提示詞結尾不要多留一個空格」這樣的細節，因為LLM是以token為單元來理解意圖，一個多余的空格直接會改變它最終輸出。

在Riley看來，完全可以將提示工程看作是LLM發展的「前沿試驗場」。

如果一個prompt想法足夠出色，并可以拓展應用到每一次交互，那么它最終會被直接整合到模型中。

屆時，我們將不再稱之為一個「模型」，而是一個「系統」。

他還認為，提示詞工程可以分為「上下文工程」（為特定任務挑選和準備相關背景信息）和「提示詞編程」（編寫清晰的指令）。

對于LLM搜索應用來說，這兩者都至關重要，但只有后者中面向最終呈現的那個階段，才容易在輸出中被復現（從而暴露指令）。

借用Riley的話來說，只有那些認真對待提示工程的人，更有可能了解AI領域正在發生的事情，并站在了技術最前沿。

一些「高光時刻」

在我們翻閱大佬Simon Willison的博客時，發現了一些Riley Goodside的高光時刻。

2023年

GPT-4被要求重復或處理字符串「 davidjl」（注意開頭有個空格）時，它會將其當成「jndl」、「jspb」或「JDL」來處理。

事實證明，「 davidjl」在分詞器里擁有自己專屬的單個Token：ID為23282，這大概可以追溯到GPT-2時代。

Riley Goodside將這類Token稱為「故障token（glitch tokens）」。

這個Token可能指向Reddit用戶davidjl123，他曾在老舊的/r/counting子版塊中高居榜首，發帖量高達163,477條，這些內容很可能被包含在了早期的訓練數據中。

2022年

「你是一個GPT-3模型」，這是Riley Goodside設計的一段天才般的提示詞。

這是一個用于輔助問答的長篇GPT-3的提示詞，能夠進行精確的算術、字符串操作和維基百科查詢。

生成的IPython命令（綠色）被粘貼到IPython中執行，其輸出再被粘貼回提示詞里（綠色部分則不必）。

他使用Out[作為停止序列，確保GPT-3在每生成一個IPython提示后就停下來，而不是自己編造輸出結果。