出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

誰更懂AI訓(xùn)練，是人類還是AI自己？

在OpenAI具有強(qiáng)推理功能的o1發(fā)布以后，AI訓(xùn)練自己這件事，又被奧特曼進(jìn)一步提上了日程。

在OpenAI的開發(fā)者日活動(dòng)中，奧特曼透露道："如果我們能制造出一個(gè)在人工智能研究方面比 OpenAI 所有系統(tǒng)都更出色的人工智能系統(tǒng)，那確實(shí)會(huì)讓人覺得這是一個(gè)重要的奇點(diǎn)......模型會(huì)變得如此之好，如此之快......計(jì)劃讓模型迅速變得更聰明"。

好家伙，如果AI能日夜訓(xùn)練AI，那AGI的實(shí)現(xiàn)豈不是瘋狂提速了？

為了驗(yàn)證這個(gè)設(shè)想是否可行，OpenAI需要找個(gè)裁判來看看AI和人類科學(xué)家訓(xùn)練AI的質(zhì)量。

因此，他們在最新論文《MLE-BENCH：評(píng)估機(jī)器學(xué)習(xí)工程中的機(jī)器學(xué)習(xí)代理》中，介紹了新推出的用于衡量AI在機(jī)器學(xué)習(xí)工程領(lǐng)域能力的新工具M(jìn)LE-BENCH。

MLE-bench這一基準(zhǔn)測試，通過來自Kaggle（一個(gè)知名的機(jī)器學(xué)習(xí)競賽平臺(tái)）的75個(gè)真實(shí)世界數(shù)據(jù)科學(xué)競賽來挑戰(zhàn)AI訓(xùn)練。

先說個(gè)結(jié)果，AI訓(xùn)練自己很有可能：OpenAI最先進(jìn)的模型o1-preview與一種名為AIDE的框架（編者注：專為Kaggle競賽設(shè)計(jì)的框架，它允許AI Agent執(zhí)行樹形搜索來找到解決問題的方法）配合，在16.9%的競賽中達(dá)到了獲獎(jiǎng)水平。這一表現(xiàn)相當(dāng)引人注目，這意味著在某些情況下，o1已經(jīng)可以和熟練的人類數(shù)據(jù)科學(xué)家掰掰手腕。

論文地址：

??https://arxiv.org/pdf/2410.07095??

項(xiàng)目開源地址：

??https://github.com/openai/mle-bench/??

1.MLE-bench：評(píng)判AI訓(xùn)練能力的裁判

為了能測試AI Agents 在機(jī)器學(xué)習(xí)方面的潛力，MLE-bench由75個(gè)來自Kaggle的不同領(lǐng)域的競賽組成，涵蓋了自然語言處理、計(jì)算機(jī)視覺和信號(hào)處理等多個(gè)領(lǐng)域，保證了測試的全面性。

該基準(zhǔn)測試的目標(biāo)是衡量AI Agent在機(jī)器學(xué)習(xí)工程方面的表現(xiàn)，包括模型訓(xùn)練、數(shù)據(jù)集準(zhǔn)備以及實(shí)驗(yàn)運(yùn)行等。為了確保測試結(jié)果的可比性，MLE-bench的比賽使用了與原Kaggle比賽不同的訓(xùn)練和測試分割，并重新實(shí)現(xiàn)了評(píng)分代碼。

圖片

上圖為OpenAI 的 MLE-bench 示意圖，展示了AI Agent如何與 Kaggle 類型的競賽互動(dòng)。該系統(tǒng)模仿人類數(shù)據(jù)科學(xué)家的工作流程，要求人工智能執(zhí)行復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)，從模型訓(xùn)練到提交創(chuàng)建。

然后MLE-bench會(huì)根據(jù)人類基準(zhǔn)對(duì)AI agent的訓(xùn)練性能進(jìn)行打分。

2.兩個(gè)發(fā)現(xiàn)：輔助框架與多次嘗試均能提高AI訓(xùn)練表現(xiàn)

有兩個(gè)提高AI訓(xùn)練性能的方法。

首先，就是給AI一些工具，幫助它比賽。

在構(gòu)建AI Agent進(jìn)行AI研發(fā)的過程中，研究者們發(fā)現(xiàn)，當(dāng)將前沿的語言模型與開源的輔助框架結(jié)合起來時(shí)，能夠起到一定的效果。

例如，使用AIDE框架的o1-preview模型能夠在16.9%的比賽項(xiàng)目中獲得至少Kaggle銅牌水平的成績。

圖片

上圖比較了三種AI Agent 在 OpenAI 的 MLE-bench 中解決機(jī)器學(xué)習(xí)任務(wù)的方法。從左到右依次為 MLAB ResearchAgent、OpenHands 和 AIDE 各自展示了應(yīng)對(duì)復(fù)雜數(shù)據(jù)科學(xué)挑戰(zhàn)的不同策略和執(zhí)行時(shí)間。AIDE 框架的運(yùn)行時(shí)間為 24 小時(shí)，展示了一種更全面的問題解決方法。

其次，Agent也會(huì)在嘗試中更加熟練。研究發(fā)現(xiàn)，當(dāng)給Agent提供更多的嘗試機(jī)會(huì)時(shí)，它們的表現(xiàn)會(huì)有顯著提升。例如，o1-preview在單次嘗試時(shí)的成績?yōu)?6.9%，而在8次嘗試后，這一比例增加到了34.1%。這意味著通過不斷嘗試，AI可以在這個(gè)領(lǐng)域獲得巨大提升。

3.寫在最后：樂觀但不盲信AI

就像Cursor等AI編程工具不會(huì)取代程序員，AI也不會(huì)讓我們不再需要科學(xué)家。

值得注意的是，AI訓(xùn)練人工智能的未來也沒有評(píng)分中的如此樂觀。研究存在一個(gè)巨大的局限性：由于數(shù)據(jù)集中包含的是公開的Kaggle競賽。因此，有可能模型已經(jīng)記住了答案或關(guān)于解決方案的直覺，導(dǎo)致MLE-bench可能高估了模型的能力。

雖然論文中提到的研究采取了一些措施來防止代碼或測試標(biāo)簽的剽竊，但是難以檢測到高層次策略的重復(fù)利用。這也意味著，MLE-bench這位裁判必須定期更新，以最新的Kaggle競賽來避免數(shù)據(jù)污染的問題。

不過，AI作為“副駕”參與到模型開發(fā)中，可能在未來成為OpenAI等頂尖AI公司的日常。

MLE-bench為我們提供了這一進(jìn)展的新視角，隨著這些AI系統(tǒng)的進(jìn)步，它們或許很快會(huì)與人類專家協(xié)作，在AGI實(shí)現(xiàn)的路上踩下一腳油門。

參考鏈接：https://venturebeat.com/ai/can-ai-really-compete-with-human-data-scientists-openai-new-benchmark-puts-it-to-the-test/

本文轉(zhuǎn)載自??51CTO技術(shù)棧??