編輯 | 伊風(fēng)  

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

家人們，微軟Phi-4的數(shù)學(xué)能力太逆天了。誰(shuí)看了不感慨一句：小模型才是未來(lái)！

8個(gè)月前，微軟發(fā)布了Phi-3，性能超過(guò)龐然大物L(fēng)lama-3，狠狠驚艷了我們一把。

8個(gè)月后，Phi-4飛躍式突破，讓所有人知道誰(shuí)才是小模型唯一的王！

圖片

自幾個(gè)月前o1發(fā)布后，模型“搞定”數(shù)理化的能力已經(jīng)飛升到博士級(jí)別，大模型也紛紛在推理能力上進(jìn)行追趕。

而Phi-4祭出了小模型的王炸，14B小小模型，在數(shù)學(xué)推理上竟然反超多模態(tài)大模型Gemini Pro 1.5 兩分之多！

圖片

在「AI撞墻」被熱烈討論的一天，微軟另辟蹊徑，似乎告訴AI公司：別再傻傻地Scaling了！

1.14B小模型，也能懂?dāng)?shù)學(xué)推理！

Phi-4確實(shí)可以進(jìn)行思維推理！

在微軟給的案例中，Phi-4在解題過(guò)程中展現(xiàn)了清晰的推理鏈條，成功解決了蝸牛難題！

圖片

問(wèn)題：在一場(chǎng)由 5 只蝸牛參加的比賽中，最多可能出現(xiàn)一場(chǎng)平局，但平局可以涉及任意數(shù)量的蝸牛。例如，比賽結(jié)果可能是 Dazzler 獲得第一名，Abby、Cyrus 和 Elroy 并列第二，Bruna 獲得第五名。那么，比賽的可能結(jié)果總共有多少種？

Phi-4根據(jù)題干，先計(jì)算了沒(méi)有平局出現(xiàn)的情況，為120種。

然后在有一場(chǎng)平局的情況中，繼續(xù)按照“選擇 k 只蝸牛組成平局組”的思路分解問(wèn)題，最終得出了正確回答。

這一能力表明，Phi-4在科學(xué)研究、工程和金融建模等領(lǐng)域未來(lái)可期！

也讓我們對(duì)端側(cè)模型的未來(lái)更加期待了！對(duì)于許多應(yīng)用來(lái)說(shuō)，這種針對(duì)性的卓越性能比大型模型的廣泛但較低效的能力更有價(jià)值得多。

2.模型訪問(wèn)：azure獨(dú)家首發(fā)，下周登陸抱抱臉

比較可惜的是，Phi-4目前的可用性有限。

獨(dú)家首發(fā)在了微軟自家的Azure AI Foundry上使用，更多的面向科研用途。地址：

??https://ai.azure.com/explore/models?&selectedCollectinotallow=phi??

不過(guò)，按照計(jì)劃下周會(huì)在Hugging Face平臺(tái)上線。

這也算是微軟在用Phi-4這張王牌，給Azure AI Foundry“引流”了。

Azure AI Foundry在去年推出，作為一個(gè)集中管理的中心，旨在幫助企業(yè)級(jí)用戶(hù)管理項(xiàng)目、微調(diào)AI模型，并訪問(wèn)Azure AI服務(wù)。

在Phi-4技術(shù)報(bào)告中，還提到了該平臺(tái)獨(dú)特的內(nèi)容安全功能。主要包括：

• Prompt Shields（提示保護(hù)）：幫助應(yīng)對(duì)潛在的提示攻擊。
• 受保護(hù)內(nèi)容檢測(cè)：識(shí)別敏感或受限制的材料。
• Groundedness Detection（扎實(shí)性檢測(cè)）：確保生成內(nèi)容有據(jù)可依。

3.AI墻絕不是危言聳聽(tīng)：已逼近預(yù)訓(xùn)練數(shù)據(jù)墻！

在Phi-4的報(bào)告中，Phi系列在性能上的“極致一躍”，被歸功于合成數(shù)據(jù)和后期訓(xùn)練的提高和改進(jìn)。

“在數(shù)學(xué)推理方面，Phi-4 的表現(xiàn)優(yōu)于同類(lèi)和更大型的模型，這得益于整個(gè)流程的進(jìn)步，包括高質(zhì)量合成數(shù)據(jù)集的使用、高質(zhì)量有機(jī)數(shù)據(jù)的整理以及后期訓(xùn)練的創(chuàng)新。”

圖片

Phi展現(xiàn)了模型界的一種趨勢(shì)，也反映著預(yù)訓(xùn)練的尷尬之處：大規(guī)模的預(yù)訓(xùn)練，通常需要海量的數(shù)據(jù)和計(jì)算資源。隨著硬件能力的提升和模型規(guī)模的擴(kuò)大，雖然模型性能逐漸增強(qiáng)，但增益的邊際效應(yīng)越來(lái)越小，即每次訓(xùn)練的優(yōu)化效果趨于減弱。

Scale AI 首席執(zhí)行官Alexandr Wang周四在一條推文中說(shuō)："我們已經(jīng)達(dá)到了預(yù)訓(xùn)練數(shù)據(jù)墻。"

圖片

國(guó)內(nèi)則更早展現(xiàn)了這個(gè)趨勢(shì)的“風(fēng)聲”。此前報(bào)道，國(guó)內(nèi)大模型“六小虎”中至少有兩家公司已經(jīng)放棄了預(yù)訓(xùn)練，開(kāi)始專(zhuān)注于AI應(yīng)用層。

AI公司越來(lái)越認(rèn)識(shí)到，預(yù)訓(xùn)練的燒錢(qián)帶來(lái)的價(jià)值在走低，尤其是在硬件資源有限的情況下，開(kāi)發(fā)大規(guī)模預(yù)訓(xùn)練模型可能難以為繼。不如守好自己的用戶(hù)，通過(guò)靈活的后期訓(xùn)練和反饋迭代，扎實(shí)地做好AI產(chǎn)品的落地。

另外，還有一個(gè)小插曲，Phi-4是微軟Phi系列核心人物布貝克（Sébastien Bubeck），被OpenAI挖走后的首次更新！

圖片

在 2024 年加入 OpenAI 之前，Bubeck 在微軟研究院工作了近十年，離職前為微軟的人工智能副總裁。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)