40%算力訓(xùn)練效果比肩GPT-4,實(shí)測DeepMind聯(lián)創(chuàng)大模型創(chuàng)業(yè)新成果
大模型競賽,又殺出一匹黑馬——
Inflection-2.5,由DeepMind聯(lián)創(chuàng)Mustafa Suleyman的大模型初創(chuàng)公司打造。
只用40%的計算資源訓(xùn)練,表現(xiàn)就超過了GPT-4的九成,尤其擅長代碼和數(shù)學(xué)。

而早期的Inflection模型,訓(xùn)練時只消耗了4%的計算資源,就達(dá)到了GPT-4表現(xiàn)的72%。
以Inflection模型為基礎(chǔ),該公司還推出了網(wǎng)頁端對話機(jī)器人Pi,主打“高情商”和“個性化”,還支持中文。
自誕生以來,Pi的最高日活達(dá)到了100萬,累計產(chǎn)生了40億條消息,平均對話時長來到了33分鐘。
而隨著這次基礎(chǔ)模型的升級,Pi也迎來了它的新版本。
圖片
那么,Inflection,或者說Pi,表現(xiàn)到底有沒有那么強(qiáng),量子位進(jìn)行了一番實(shí)測。
無需登錄即可使用
打開Pi的頁面,映入眼簾的是這樣一個極簡界面,而且還可以不用登錄,直接點(diǎn)擊Next。
圖片
連續(xù)Next幾次后,輸入希望Pi稱呼我們的方式。
圖片
之后是選擇聲音和推薦話題,直接跳過就可以了,然后就進(jìn)入正式的聊天界面了。
圖片
簡單測試發(fā)現(xiàn),Pi支持中文對話,既然如此那就先把弱智吧Benchmark給安排上。
第一題,老鼠生病了可以吃老鼠藥治好嗎,Pi成功解答。
圖片
再來一道“陷阱”題,這次依舊沒有上當(dāng)。
圖片
兩道問題過后,雖然沒有出現(xiàn)什么戲劇性效果,但看起來對中文也是有一定的理解了。
接下來就重點(diǎn)看看官方宣稱“尤其擅長”的數(shù)學(xué)和代碼能力。
首先是一道涉及動態(tài)規(guī)劃的編程題目。
圖片
Pi給出的代碼成功解決了這個問題,并且配有清晰的解釋。
圖片
接下來再提升一下難度看看,讓其分析一個數(shù)字的階乘中末尾有多少個0。
圖片
Pi給出的代碼不僅正確,而且簡潔高效,運(yùn)行速度超過了LeetCode上73.8%的用戶。
圖片
最后再來增加一下難度,以一道47.5%通過率的題目結(jié)束代碼部分的測試。
圖片
看完代碼,再來測測Pi的數(shù)學(xué)能力怎么樣,讓它做做關(guān)于導(dǎo)數(shù)的題目:
求出函數(shù)f(x)=x3+2x2-1的極值點(diǎn)
解答完全正確,而是十分詳細(xì)。
當(dāng)然要想數(shù)學(xué)好,邏輯思維是必不可少的,所以我們在常規(guī)的數(shù)學(xué)題之外,又用一道經(jīng)典的題目考驗了一下的Pi邏輯思維,結(jié)果還不錯。
通過Pi的表現(xiàn),可以看出其背后的Inflection-2.5模型的確可圈可點(diǎn)。
而從官方自己公布的測試數(shù)據(jù)來看,無論是綜合能力還是各個子項,Inflection-2.5的表現(xiàn)都緊隨GPT-4。
以數(shù)學(xué)和代碼為例,Inflection-2.5在MATH、HumanEval等測試中都比1.0版本都有大幅飛躍。
在這些常規(guī)的數(shù)據(jù)集之外,Inflection還挑戰(zhàn)了匈牙利高考數(shù)學(xué)試題和GRE物理測試,結(jié)果幾乎與GPT-4打成平手。
更“刁鉆”的,還有人專門用大模型難以理解的問題構(gòu)建了一個BIG-Bench數(shù)據(jù)集,而Inflection-2.5挑戰(zhàn)了其中的Hard子集,結(jié)果和GPT-4的差距不到一分。
那么,Inflection-2.5的背后,是怎樣的一家公司呢?
DeepMind聯(lián)創(chuàng)大模型創(chuàng)業(yè)
這家公司名叫Inflection AI,由DeepMind聯(lián)創(chuàng)Mustafa Suleyman等人于2022年創(chuàng)立,目前共有70余人。
同樣來自DeepMind的,還有資深研究員Karen Simonyan,現(xiàn)擔(dān)任Inflection AI的首席科學(xué)家。
此外,LinkedIn聯(lián)創(chuàng)Reid Hoffman也參與了Inflection AI的創(chuàng)立。
創(chuàng)立以來,Inflection AI已經(jīng)獲得了來自英偉達(dá)、微軟、比爾蓋茨等巨頭的共計15億美元的融資。
目前,基于Inflection的Pi還是免費(fèi)的,但CEO Suleyman也表示,一直用愛發(fā)電不現(xiàn)實(shí),長久地看以后還是要收費(fèi)。
想要體驗的朋友,可能要抓緊時間了~
傳送門:https://pi.ai





































