大佬怎么看OpenAI 和Google 本周相繼發(fā)布的模型及未來發(fā)展的？
作為 scale_ai 的 ceo， Alexandr Wang 今天在X上發(fā)布了他對(duì)于最近OpenAI和Google的公告引發(fā)了一些思考，以及這對(duì)未來人工智能發(fā)展的暗示。讓我們一起來看看吧！
提示：后訓(xùn)練真的非常重要...
在許多方面，谷歌宣布的Gemini 1.5 Flash是一顆明珠。具備閃電般性能的100萬上下文小型模型令人難以置信。
OpenAI現(xiàn)在擁有最優(yōu)秀的大型模型GPT-4o，而谷歌則擁有Gemini 1.5 Flash這款最佳小型模型。
競(jìng)爭(zhēng)激烈進(jìn)行中。
無論如何，收斂水平都是令人著迷的——比如4o和Astra、Veo和Sora之間的相似性等等。兩個(gè)實(shí)驗(yàn)室似乎都在遵循相對(duì)相似的技術(shù)發(fā)展軌跡。
在我看來，對(duì)于行業(yè)而言，分歧而非趨同更為有利?？上О ?/p>
GPT-4o的巨大評(píng)估增益令人瞠目，幾乎完全歸功于出色的后訓(xùn)練。
比較發(fā)布時(shí)的GPT-4和GPT-4o，二者之間的差異巨大，展示了出色數(shù)據(jù)與出色后訓(xùn)練的力量。
實(shí)際上，如今頂級(jí)模型（比如Claude 3、Llama3、GPT-4o、Gemini 1.5）之間的大部分差異似乎完全是由后訓(xùn)練而非預(yù)訓(xùn)練所驅(qū)動(dòng)。
這可能是由于預(yù)訓(xùn)練中的供應(yīng)鏈問題——計(jì)算資源的獲取和數(shù)據(jù)稀缺。
不過，這也指向了我們對(duì)未來進(jìn)展可能需要期待的方向：
進(jìn)一步推動(dòng)后訓(xùn)練，這需要充足的前沿?cái)?shù)據(jù)支持。
未來進(jìn)步可能完全取決于后訓(xùn)練數(shù)據(jù)的豐富程度。
一旦開始考慮所有前沿研究領(lǐng)域，情況就會(huì)變得更為明顯：
代理、多模態(tài)、多語言、專家思維鏈、企業(yè)工作流程等。
所有這些都依賴于當(dāng)今根本不存在的數(shù)據(jù)，而我們需要生產(chǎn)這些數(shù)據(jù)的手段。
AI數(shù)據(jù)是一個(gè)非常棘手的問題，沒有簡(jiǎn)單的解決辦法。
純合成數(shù)據(jù)并不能拯救我們——合成數(shù)據(jù)無法將模型的前沿推進(jìn)到超越當(dāng)前能力的水平。它只是一種工具，而不是靈丹妙藥。
這是一個(gè)棘手的人工智能與人類專家共生的問題。
但我們真的需要在這方面邁出一大步。過去二十年里的每一次重大人工智能突破都是由更好、更多的數(shù)據(jù)推動(dòng)的——從AlexNet在ImageNet上的原始深度神經(jīng)網(wǎng)絡(luò)開始。
Scaling laws 清楚地說明了我們的發(fā)展方向——我們需要更多的數(shù)據(jù)！
解決人工智能數(shù)據(jù)問題非常重要。這是我一生的事業(yè)。
我們很高興地宣布，下周將有一些重大消息。
目前先... 敬請(qǐng)關(guān)注！
以下是原文：
本文轉(zhuǎn)自 AI生成未來 ，作者：AI生成未來
