回歸OpenAI后首次演講！李飛飛高徒Andrej Karpathy：GPT將走向何方？
一年一度的微軟「Build開發(fā)者大會」前兩天剛剛開幕。
微軟CEO Satya Nadella在發(fā)布會上介紹了這次主要的更新，以ChatGPT為代表的生成式AI成為本次大會的重中之重，其中包括自家的重頭戲——Windows Copilot。
演講視頻鏈接：https://youtu.be/6PRiAexITSs
前段時間剛宣布回歸OpenAI的業(yè)界大牛、李飛飛高徒、特斯拉前AI總監(jiān)Andrej Karpathy，也在大會發(fā)表了題為「GPT現(xiàn)狀」（State of GPT）的主題演講。
演講內(nèi)容主要包括了解ChatGPT等GPT助手的訓練途徑，他將其分為標記化（Tokenization）、預訓練（Pretraining）、監(jiān)督微調(diào)（Supervised Finetuning）和人類反饋強化學習 (RLHF)幾步。
另外，他還闡釋了有效使用這些模型的實用技術和心智模型的方法，包括提示策略（Prompting Strategies）、微調(diào)（Finetuning）、快速增長的工具生態(tài)系統(tǒng)及其未來的擴展。
演講的視頻鏈接小編也放在下面啦，干貨滿滿一起來看看~
視頻鏈接：https://build.microsoft.com/en-US/sessions/db3f4859-cd30-4445-a0cd-553c3304f8e2
GPT助手的訓練途徑
在進行預訓練之前，有2個準備步驟。
首先是數(shù)據(jù)收集——從不同來源獲取大量數(shù)據(jù)，下圖展示的是通過Meta LLaMA模型從Github、維基百科等來源收集的混合數(shù)據(jù)。
接下來就是標記化，將文本中的單詞標記并轉(zhuǎn)換為整數(shù)。
然后他用兩個模型做了個對比，相比175B參數(shù)的GPT-3在300B個代幣上訓練，而65B參數(shù)的LLaMA已經(jīng)在1-1.4T個代幣上訓練。
證明了「并不是參數(shù)大的模型性能就強」。
預訓練階段
Andrej Karparthy首先介紹了一下預訓練中Transformer的工作原理。
然后向我們展示了GPT模型如何通過不斷迭代，更準確地預測莎士比亞詩句中的單詞。
順便重點強調(diào)了一下自家LLaMA模型的牛掰之處，從下圖的訓練曲線中可以看出LLaMA在訓練損失方面明顯要比傳統(tǒng)GPT-2要低上不少。
另外圍繞GPT-2，許多學者注意到，如果我們以特定方式構(gòu)建提示，并提供一些示例，那么基礎模型將自動完成我們在提示中提供的指令。
基礎模型不是助手，他們不會「根據(jù)你的提問回答」，他們只會自動完成文本。
比如在下面這篇文本里，對于人類提出的問題，模型通過輸入的「Few-shot提示」讓它誤以為他它自動完成了人工智能和人類之間的聊天。
Andrej接下來畫出了GPT模型的進化樹，可以看到頂端的模型包括谷歌的Bard，Meta的LLaMA。
監(jiān)督微調(diào)
通過使用交換數(shù)據(jù)集訓練模型，我們得到了監(jiān)督微調(diào)后的模型，簡稱SFT模型。
但SFT模型還不是很好，絕對達不到ChatGPT質(zhì)量，于是訓練繼續(xù)。
我們使用SFT模型生成問題輸出，通過用戶對三個版本的比較得出排名最佳的版本，然后根據(jù)用戶的選擇對模型進行重新訓練。
而這些決策是根據(jù)用戶的反饋而得出的，例如當你在ChatGPT中對問題的答案點擊??或??，或選擇重新生成響應，這也是RLHF（人類反饋強化學習）的基礎。
有趣的是，Andrej談到的RLHF并不是對基本模型的嚴格改進，因為RLHF模型的熵較小，因此它的創(chuàng)造性可能較少。
基礎模型在生成答案的多樣性方面可能比微調(diào)模型更優(yōu)秀，例如下圖生成的100個寶可夢的名字，基礎模型能給你更多想要的答案。
最后，Andrej展示了伯克利大學的校友制作的輔助模型的「野榜」，OpenAI的GPT-4似乎是目前最優(yōu)秀的。
Andrej接下來展示了人類和GPT模型在處理一個相同的句子的處理過程。
人腦對「加州的人口是阿拉斯加州的53倍」這句話的處理要經(jīng)歷提取信息、事實核查、計算、再次驗證等過程。
然而對GPT來說他要做的就是自動完成文本，沒有內(nèi)在的思考對話。
而像Chain of thought「思維鏈」這樣的方法可以為模型提供更多標記或更多思考時間。
這將使模型展示它的工作原理，并給它思考時間以獲得更好的答案。
最后還展示了ChatGPT中工具的用法。
演講最后，Andrej再再再次強調(diào)了LLaMA就是迄今最優(yōu)秀的模型，另外@YannLecun希望他能盡快將其推出商用。
