大數據文摘出品

“我們非常缺GPU”

在最近的一次訪談中，OpenAI的掌舵人Sam Altman 如此回應主持人提出關于“不滿的便是API的可靠性和速度 ”。

此次訪談來源于人工智能的初創公司Humanloop 的CEO Raza Habib，他在推特上整理了這次訪談的重點。

推特地址：

https://twitter.com/dr_cintas/status/1664281914948337664

在這次訪談中，Altman還公布了最近兩年的GPT計劃，例如2023年的計劃是降低GPT-4的成本，以及提高響應速度，其他還包括：

1.更長的上下文窗口，可能會支持100w的token；

2.微調API，幫助開發人員更好的開發；

3.支持會話狀態的API，即支持會話狀態的API。

2024年的計劃中提到讓GPT-4支持多模態，之所以推遲到2024年，就是因為太缺GPU了。

在訪談中，Altman 還提到他們一直在考慮是否開源GPT-3，毋容置疑開源是非常重要的。同時，他還表達了現在的AI模型并沒有那么危險，雖然對未來的模型進行監管非常重要，但是禁止開發是一個非常大的錯誤觀點。

Raza Habib原本將這次訪談的更多詳細信息公布到了Humanloop，但文摘菌今早查看，網頁已經404了。據國內微博@寶玉xp翻譯，他還提到了關于大模型未來發展的縮放法則：

OpenAI的內部數據表明，模型性能的縮放法則繼續有效，使模型更大將繼續產生性能。縮放的速度不能維持，因為OpenAI在短短幾年內已經將模型擴大了數百萬倍，未來這樣做將不可持續。這并不意味著OpenAI不會繼續嘗試使模型更大，只是意味著它們可能每年只會增加一倍或兩倍，而不是增加許多個數量級。

縮放繼續有效的事實對AGI開發的時間線有重要的影響?？s放假設是我們可能已經有了構建AGI所需的大部分部件，剩下的大部分工作將是將現有的方法擴展到更大的模型和更大的數據集。如果縮放的時代結束了，那么我們可能應該預期AGI會更遠?？s放法則繼續有效強烈暗示了更短的時間線。

顯然，縮放法則是通往AGI的最快路徑。

什么是縮放法則？

縮放法則，英文名稱Scaling Laws，是一種現象描述，大意是指：語言模型的效果與參數量、數據量、計算量基本呈平滑的冪定律。

換句話說，隨著模型的參數量（Parameters）、參與訓練的數據量（Tokens）以及訓練過程累積的計算量（FLOPS）的指數性增大， 模型在測試集上的 Loss 就線性降低，也就意味著模型的效果越好。

圖注：當沒有被其他兩個因素限制時，實證性能與每個單獨因素都呈現出冪律關系。

在2022 年，DeepMind 在 ScalingLaw 里又做了進一步分析。研究通過定量的實驗驗證，語言模型訓練數據大小，應該和模型參數量大小等比放大。在計算總量不變的情況下，模型訓練的效果在參數量和訓練數據量當中有個最優平衡點，曲線下面的最低點是在參數規模和訓練數據量當中有個非常好的折中點。

OpeaAI的成功和GPT-4

OpenAI最初是一個非盈利性人工智能研究實驗室，2016年獲得了薩姆?奧爾特曼和埃隆?馬斯克10億美元的資助。 

2019年OpenAI轉型為盈利性人工智能研究實驗室，以吸收投資者的資金。

在實驗室支持其研究的資金已所剩無幾的時候，微軟又宣布將在實驗室投資10億美元。 

OpenAI推出的GPT系列，每一個版本都能引起業界狂歡，在微軟Build 2023開發者大會上，OpenAI的創始人Andrej Karpthy做了演講：State of GPT（GPT的現狀），表示他們一直把大模型當做“人腦”來訓練 。

Andrej提到，可以把當前LLM大語言模型比喻為人類思考模式的系統一（快系統），這是相對于反應慢但具有更長線推理的系統二（慢系統）而言。

“系統一是一個快速的自動過程，我認為有點對應于 LLM，只是對標記進行抽樣。

系統二是大腦中較慢的、經過深思熟慮的計劃部分。

而prompt工程，基本上是希望讓LLM恢復一些我們大腦中具有的能力。”

Andrej Karpthy還提到，GPT-4 是一個了不起的人工制品，他非常感謝它的存在。它在很多領域都有大量的知識，它可以做數學、代碼等等，所有這些功能都觸手可及。

而CEO Altman 表示，在早期的時候，GPT-4 非常慢，還有bug，很多事情做得不好。但是，最早期的計算機也是這樣，它們仍然指向了我們生活中將要變得非常重要的東西的道路，盡管需要幾十年的時間才能發展。

如此看來，OpenAI是一家堅持夢想的機構，且想把事情做到極致的公司。

正如微軟亞洲研究院前副院長、瀾舟科技創始人周明在一次采訪中提到的： 

OpenAI最大的功績是把各方面做到極致，是集成創新的典范。 

世界上有幾類人，有人就是要研究底層創新。有的是在底層創新上做應用，一般的應用是解決單項任務。還有的是做集成創新，把所有工作、應用、算法都在一個大平臺上體現，形成里程碑。OpenAI 恰好集成創新做得非常好。 

參考：

https://mp.weixin.qq.com/s/p42pBVyjZws8XsstDoR2Jw https://mp.weixin.qq.com/s/zmEGzm1cdXupNoqZ65h7yg https://weibo.com/1727858283/4907695679472174?wm=3333_2001&from=10D5293010&sourcetype=weixin&s_trans=6289897940_4907695679472174&s_channel=4 https://humanloop.com/blog/openai-plans?cnotallow=bd9e76a5f41a6d847de52fa275480e22