硅谷掀桌！DeepSeek遭OpenAI和Anthropic圍剿，美國(guó)網(wǎng)友都看不下去了
頂級(jí)“禮遇”。
一覺醒來(lái)，OpenAI和Claude母公司都對(duì)DeepSeek出手了。
據(jù)《金融時(shí)報(bào)》消息，OpenAI表示已經(jīng)發(fā)現(xiàn)證據(jù)，證明DeepSeek利用他們的模型進(jìn)行訓(xùn)練，這涉嫌侵犯知識(shí)產(chǎn)權(quán)。
具體來(lái)說(shuō)，他們發(fā)現(xiàn)了DeepSeek“蒸餾”O(jiān)penAI模型的跡象。即使用更大模型的輸出來(lái)提高較小模型的性能，從而以較低成本在特定任務(wù)上取得類似結(jié)果。
微軟也開始調(diào)查DeepSeek是否使用OpenAI的API。
圖片
消息一出，最先迎來(lái)的是一波嘲諷。
紐約大學(xué)教授馬庫(kù)斯率先開噴：
OpenAI：我們需要免費(fèi)用所有藝術(shù)家和作家的作品訓(xùn)練模型，這樣我們就可以省下錢去起訴DeepSeek公然偷我們東西啦！
圖片
知名技術(shù)媒體404 Media創(chuàng)始人及主編Jason也直接在文章里貼臉開大，暗諷OpenAI只許州官放火。
先容我笑一會(huì)兒哈哈哈哈哈哈。真是令人難以置信的諷刺啊，OpenAI一直以“未經(jīng)授權(quán)的方式”獲取大量數(shù)據(jù)，也違反了一些組織的條款規(guī)定，結(jié)果現(xiàn)在他們卻在指責(zé)自己的做法。
圖片
而另一邊，Claude母公司Anthropic創(chuàng)始人Dario Amodei洋洋灑灑發(fā)了一篇長(zhǎng)文大談DeepSeek。
他表示，說(shuō)DeepSeek構(gòu)成威脅太夸張了，“也就是我們7-10個(gè)月前的水準(zhǔn)”，Claude 3.5 Sonnet在許多內(nèi)部和外部評(píng)估中依舊遙遙領(lǐng)先。
不過(guò)為了保持領(lǐng)先，我建議我們是不是得設(shè)置更多掣肘？
圖片
好家伙，為了圍剿DeepSeek，競(jìng)對(duì)OpenAI和Anthropic罕見都罕見聯(lián)手了。
相比之下，微軟的做法就耐人尋味了許多。
就在指控DeepSeek涉嫌侵權(quán)之后幾個(gè)小時(shí)后，微軟的AI平臺(tái)上接入了DeepSeek模型。
圖片
網(wǎng)友：俗話說(shuō)，否認(rèn)是接受的第一步。
圖片
AI領(lǐng)域常見技術(shù)，但違反OpenAI條款
各方消息匯總來(lái)看，微軟和OpenAI對(duì)DeepSeek的質(zhì)疑還處于調(diào)查中。
根據(jù)微軟工作人員的說(shuō)法，DeepSeek可能在去年秋天調(diào)用了OpenAI的API，這可能導(dǎo)致數(shù)據(jù)泄露。
按照OpenAI的服務(wù)條款規(guī)定，任何人都可以注冊(cè)使用OpenAI的API，但是不能使用輸出數(shù)據(jù)訓(xùn)練對(duì)OpenAI造成競(jìng)爭(zhēng)威脅的模型。
圖片
OpenAI告訴《金融時(shí)報(bào)》，他們發(fā)現(xiàn)了一些模型蒸餾的證據(jù)，他們懷疑這是DeepSeek的所作所為。
目前，OpenAI拒絕進(jìn)一步置評(píng)，也不愿提供證據(jù)細(xì)節(jié)。
那么不妨先來(lái)看看，引發(fā)爭(zhēng)議的模型蒸餾是什么。
它是一種模型壓縮技術(shù)，通過(guò)將一個(gè)復(fù)雜的、計(jì)算開銷大的大模型（稱為教師模型）的知識(shí)“蒸餾”到一個(gè)更小、更高效的模型（稱為學(xué)生模型）。
這個(gè)過(guò)程的核心目標(biāo)是讓學(xué)生模型在輕量化的同時(shí)，盡量保留教師模型的性能。
在諾獎(jiǎng)得主、深度學(xué)習(xí)之父Hinton的論文《Distilling the Knowledge in a Neural Network》中指出：
蒸餾對(duì)于將知識(shí)從集成或從大型高度正則化模型轉(zhuǎn)移到較小的蒸餾模型非常有效。
圖片
比如Together AI前段時(shí)間的工作，就是把Llama 3蒸餾到Mamba，實(shí)現(xiàn)推理速度最高提升1.6倍，性能還更強(qiáng)。
圖片
IBM對(duì)知識(shí)蒸餾的文章中也提到，大多數(shù)情況下最領(lǐng)先的LLM對(duì)計(jì)算、成本提出太高要求……知識(shí)蒸餾已經(jīng)成為一種重要手段，能將大模型的先進(jìn)能力移植到更小的（通常是）開源模型中。因此，它已經(jīng)成為生成式AI普惠化的一個(gè)重要工具。
圖片
在行業(yè)內(nèi)，一些開源模型的服務(wù)條款允許蒸餾。比如Llama，DeepSeek此前也在論文中表示使用了Llama。
而且關(guān)鍵是，DeepSeek R1并非只是簡(jiǎn)單蒸餾模型，OpenAI首席科學(xué)家Mark Chen表示：
DeepSeek獨(dú)立發(fā)現(xiàn)了OpenAI在實(shí)現(xiàn)o1過(guò)程中所采用的一些核心理念。
圖片
同時(shí)他也認(rèn)可了DeepSeek在成本控制上的工作，并提到蒸餾技術(shù)的趨勢(shì)，表示OpenAI也在積極探索模型壓縮和優(yōu)化技術(shù)，降低成本。
圖片
所以總結(jié)一下，模型蒸餾技術(shù)在學(xué)術(shù)界、工業(yè)界都非常普遍且被認(rèn)可，但是違反OpenAI的服務(wù)條款。
這河貍嗎？不知道。
但問題是，OpenAI自己本身在合規(guī)性上也大有問題。
（眾所周知）OpenAI訓(xùn)練模型把互聯(lián)網(wǎng)上的數(shù)據(jù)扒了個(gè)干凈，這其中除了免費(fèi)公開的知識(shí)內(nèi)容外，還包含大量有版權(quán)的文章作品。
2023年12月，《紐約時(shí)報(bào)》以侵犯知識(shí)產(chǎn)權(quán)為由，將微軟OpenAI一起告上法庭。目前這個(gè)官司還沒有最終判定結(jié)果，OpenAI這一年時(shí)間里就自己的行為向法院進(jìn)行多次解釋。
包括但不限于：
1、使用公開可獲得的互聯(lián)網(wǎng)資料訓(xùn)練AI模型是合理的，這在AI領(lǐng)域內(nèi)有諸多先例，我們認(rèn)為這對(duì)創(chuàng)作者是公平的，對(duì)于創(chuàng)新是必要的。
2、長(zhǎng)期以來(lái)，版權(quán)著作被非商業(yè)性使用（比如訓(xùn)練大模型）是受到合理保護(hù)的。
3、大語(yǔ)言模型的關(guān)鍵是Scaling，這意味著任何單獨(dú)被盜的內(nèi)容都不足以支撐訓(xùn)練出一個(gè)大語(yǔ)言模型，這正是OpenAI模型為何領(lǐng)先。
也就是說(shuō)，OpenAI本身都在違規(guī)使用《紐約時(shí)報(bào)》的數(shù)據(jù)訓(xùn)練閉源、商業(yè)化的大模型。現(xiàn)在他們要以違規(guī)為由，調(diào)查打造系列開源模型的DeepSeek。
再退一步，OpenAI如今的成就也是建立在谷歌的基礎(chǔ)上（Transformer架構(gòu)由谷歌提出），谷歌的成就是站立在更早期的學(xué)術(shù)研究基礎(chǔ)上。
404 Media表示，這其實(shí)是人工智能領(lǐng)域發(fā)展的基本邏輯。
圖片
“DeepSeek模型只在成本上領(lǐng)先”
就在OpenAI挑起矛盾的同時(shí)，Anthropic也下場(chǎng)了。
創(chuàng)始人Dario Amodei在個(gè)人博客中表達(dá)了對(duì)DeepSeek的看法。
他表示并沒有把DeepSeek看做是競(jìng)爭(zhēng)對(duì)手，認(rèn)為DS最新模型的水平和他們7-10個(gè)月前相當(dāng)，只是成本大幅降低。
（Claude 3.5）Sonnet的訓(xùn)練是在9-12個(gè)月前進(jìn)行的，而DeepSeek的模型于11月/12月進(jìn)行了訓(xùn)練，而Sonnet在許多內(nèi)部和外部Evals中仍然顯著領(lǐng)先。
因此，我認(rèn)為正確的說(shuō)法是“DeepSeek生成了一種模型，用較低的成本（但沒有宣傳的那么低）實(shí)現(xiàn)了接近7至10個(gè)月以前的Claude的表現(xiàn)”。
同時(shí)他還認(rèn)為，DeepSeek整個(gè)公司的成本投入（非單個(gè)模型訓(xùn)練成本）和Anthropic的AI實(shí)驗(yàn)室差不多。
奧特曼幾乎保持了同樣的口徑。
他承認(rèn)DeepSeek R1讓人印象深刻（尤其是成本），但OpenAI“很明顯會(huì)帶來(lái)更好的模型”。
圖片
這也是他的常規(guī)操作了，之前V3發(fā)布時(shí)，他就陰陽(yáng)怪氣說(shuō)：相對(duì)而言，復(fù)制確定有用的東西是很容易的。
圖片
那么DeepSeek R1的價(jià)值究竟幾何？
分析師郭明錤最新博客給出參考：
DeepSeek R1的出現(xiàn)，讓兩個(gè)趨勢(shì)更加值得關(guān)注——雖然沒有R1這兩個(gè)趨勢(shì)也依然存在，但R1加速了它們的發(fā)生。
一是在Scaling Law放緩的情況下，AI算力仍可透過(guò)優(yōu)化訓(xùn)練方式持續(xù)成長(zhǎng)，并有利挖掘新應(yīng)用。
過(guò)去1-2年，投資者對(duì)AI服務(wù)器供應(yīng)鏈的投資邏輯，主要基于AI服務(wù)器的出貨量在Scaling Law依然有效的情況下可持續(xù)增長(zhǎng)。
但Scaling law的邊際效益開始逐漸遞減，市場(chǎng)開始關(guān)注以DeepSeek為代表的通過(guò)Scaling law以外的方式顯著提升模型效益的路徑。
第二個(gè)趨勢(shì)是API/Token價(jià)格的顯著下滑，有利于加速AI應(yīng)用的多元化。
郭明錤認(rèn)為，目前從生成式AI趨勢(shì)中獲利的方式，主要還是“賣鏟子”和降低成本，而不是創(chuàng)造新業(yè)務(wù)或提升既有業(yè)務(wù)的附加值。
而DeepSeek-R1的定價(jià)策略，會(huì)帶動(dòng)生成式AI的整體使用成本下降，這有助于增加AI算力需求，并且可以降低投資人對(duì)AI投資能否獲利的疑慮。
不過(guò)，使用量的提升程度能否抵消價(jià)格降低帶來(lái)的影響，仍然有待觀察。
同時(shí)，郭明錤表示，只有大量部署者才會(huì)遇到Scaling law邊際效益的放緩，因此當(dāng)邊際效益再度加速時(shí)，英偉達(dá)將依然是贏家。
參考鏈接：
[1]https://www.404media.co/openai-furious-deepseek-might-have-stolen-all-the-data-openai-stole-from-us/
[3]https://x.com/GaryMarcus/status/1884601187271581941[4]https://mingchikuo.craft.me/g8mybRumSTYD3J
