DeepSeek給美國造成的威脅，還在加劇。

就在昨天，DeepSeek的日活數已經達到ChatGPT的23%，每日應用下載量接近500萬！

a16z聯創Marc Andreessen發文

誰能想到，做出DeepSeek關鍵貢獻的人才，本來是可能留在美國的。

最近哈佛大學教授曝出這一驚人事實：DeepSeek多模態團隊的第4位工程師，本來可以拿到英偉達的全職offer。

然而最終，他選擇歸國加入DeepSeek，由此的后果就是，美國在AI領域的主導地位被動搖，相關公司市值蒸發一萬億，全球AI格局也被徹底掀翻。

這種結果是陰錯陽差，還是一種必然？

美國錯失DeepSeek，讓「錢學森」再次回國

近日，政治學家、哈佛大學教授、前國防計劃助理部長Graham Allison，在X上提問：「誰曾錯失了DeepSeek」？

他在X痛心發帖稱，DeepSeek已刷新對美國AI地位的認知，而美國原本有機會留住DeepSeek的關鍵員工之一潘梓正（Zizheng Pan）：

（DeepSeek超越OpenAI相關模型）顛覆了我們對美國AI主導地位的大部分了解。

這也生動地提醒我們，美國必須多么認真地吸引和留住人才，包括來自中國的人才。

潘梓正，是DeepSeek多模態團隊的第4位多工程師，在開發DeepSeek的R1模型方面發揮了重要作用。

回國之前，他在英偉達實習過4個月，而且拿到了英偉達的全職邀約。

Graham Allison認為潘梓正之所以如此，是因為硅谷公司未能在美國為他提供這樣做的機會。

這種「人才流失」，讓Graham Allison痛心疾首，甚至將潘梓正回國提升到錢學森歸國的高度！

像錢學森、黃仁勛以及馬斯克這樣的的超級人才可以用腳投票，可以在任何地方施展才華、大張宏圖。

他認為，美國應該盡力避免這樣的「人才流失」：

美國的大學教練，在尋找并招募世界上最有才華的運動員。

在中美科技競爭中，美國應該盡一切努力避免失去更多的錢學森和潘梓正這樣的人才。

英偉達憾失人才

英偉達的高級研究科學家禹之鼎，在得知DeepSeek超越ChatGPT登頂App Store后，分享了當時的實習生潘梓正回國的選擇，對他現在取得的成就感到高興，并分享了對AI競爭的觀點：

在2023年夏季，梓正是英偉達的實習生。后來，當我們考慮是否給他提供全職工作時，他毫不猶豫地選擇了加入 DeepSeek。

當時，DeepSeek的多模態團隊只有3個人。

梓正當時的決定，至今我仍印象深刻。

在DeepSeek，他做出了重要貢獻，參與了包括DeepSeek-VL2、DeepSeek-V3和DeepSeek-R1等多個關鍵項目。我個人對他的決定和所取得的成就感到非常高興。

梓正的案例是我近年來看到的一個典型例子。很多最優秀的人才都來自中國，而這些人才并不一定只能在美國公司取得成功。相反，我們從他們身上學到了很多東西。

早在2022年的自動駕駛（AV）領域，類似的「斯普特尼克時刻」就已經發生過，并且將在機器人技術和大語言模型（LLM）行業繼續發生。

我熱愛英偉達，并希望看到它繼續成為AGI和通用自主系統發展的重要推動力。但如果我們繼續編織地緣政治議程，制造對中國研究人員的敵對情緒，我們只會自毀前程，失去更多的競爭力。

我們需要更多的優秀人才、更高的專業水平、更強的學習能力、創造力以及更強的執行力。

潘梓正是DeepSeek-VL2的共同一作

在DeepSeek超越ChatGPT登頂App Store下載榜第一時，潘梓正在X上分享了自己的感受：

潘梓正2024年全職加入DeepSeek，擔任研究員。他曾在英偉達AI算法組擔任研究實習生。

2021年，潘梓正加入蒙納士大學（Monash University）ZIP Lab攻讀計算機科學博士，導師是Bohan Zhuang教授和Jianfei Cai教授。在此之前，他分別獲得阿德萊德大學（University of Adelaide）計算機科學碩士和哈爾濱工業大學（威海）軟件工程學士學位。

在博士期間，潘梓正的研究興趣主要集中在深度神經網絡的效率方面，包括模型部署、Transformer架構優化、注意力機制、 推理加速和內存高效的訓練。

Lex Fridman硬核播客，揭秘中國AI新星如何撼動全球格局

就在最近，Lex Fridman放出了一期長達5小時的播客，邀請了AI2的模型訓練專家Nathan Lambert和Semianalysis硬件專家Dylan Patel。

在這期信息量爆棚的談話中，他們全程聚焦DeepSeek，討論了這顆中國AI新星如何撼動全球格局、MoE架構+MLA的技術雙刃、DeepSeek開源倒逼行業開放進程、中國式極限優化之道的硬件魔術等。

DeepSeek到底用沒用OpenAI數據

這次，幾位大佬的談話內容可謂相當犀利，直指問題核心。

比如這個關鍵問題：DeepSeek究竟用沒用OpenAI的數據？

此前，OpenAI公開表示，DeepSeek使用了自家的模型蒸餾。

《金融時報》干脆說，「OpenAI有證據表明DeepSeek用了他們的模型來進行訓練」

這在道德和法律上站得住腳嗎？

雖然OpenAI的服務條款規定，不許用戶使用自家模型的輸出來構建競爭對手。但這個所謂的規則，其實正是OpenAI虛偽的體現。

Lex Fridman表示：他們和大多數公司一樣，本來就是在未經許可的情況下，使用互聯網上的數據進行訓練，并從中受益的。

大佬們一致認為，OpenAI聲稱DeepSeek用其模型訓練，就是在試圖轉移話題、讓自己獨贏。

而且，過去幾天還有很多人把DeepSeek的模型蒸餾到Llama中，因前者在推理上運行很復雜，而Llama很容易提供服務，這違法嗎？

DeepSeek的訓練成本，為何如此之低

Dylan Patel表示，DeepSeek的成本涉及兩項關鍵的技術：一個是MoE，一個就是MLA（多頭潛注意力）。

MOE架構的優勢在于，一方面，模型可以將數據嵌入到更大的參數空間中，另一方面，在訓練或推理時，模型只需要激活其中一部分參數，從而大大提升效率。

DeepSeek模型擁有超過6000億個參數，相比之下，Llama 405B有4050億參數。從參數規模上看，DeepSeek模型擁有更大的信息壓縮空間，可以容納更多的世界知識。

但與此同時，DeepSeek模型每次只激活約370億個參數。也就是說，在訓練或推理過程中，只需要計算370億個參數。相比之下，Llama 405B模型每次推理卻需要激活4050億個參數。

MLA主要用于減少推理過程中的內存占用，在訓練過程也是如此，它利用了一些巧妙的低秩近似數學技巧。

Nathan Lambert表示，深入研究潛注意力的細節，會發現DeepSeek在模型實現方面下了很大功夫。

因為，除了注意力機制，語言模型還有其他組件，例如用于擴展上下文長度的嵌入。DeepSeek采用的是旋轉位置編碼（RoPE）。

將RoPE與傳統的MoE結合使用，需要進行一系列操作，例如，將兩個注意力矩陣進行復數旋轉，這涉及到矩陣乘法。

DeepSeek的MLA架構由于需要一些巧妙的設計，因此實現的復雜性大大增加。而他們成功地將這些技術整合在一起，這表明DeepSeek在高效語言模型訓練方面走在了前沿。

Dylan Patel表示，DeepSeek想方設法提高模型訓練效率。其中一個方法就是不直接調用NVIDIA的NCCL庫，而是自行調度GPU之間的通信。

DeepSeek的獨特之處在于，他們通過調度特定的SM（流式多處理器）來管理GPU通信。

DeepSeek會精細地控制哪些SM核心負責模型計算，哪些核心負責allreduce或allgather通信，并在它們之間進行動態切換。這需要極其高深的編程技巧。

DeepSeek為何如此便宜

在所有聲稱提供R1服務的公司中，定價都遠高于DeepSeek API，而且大多服務無法正常工作，吞吐量極低。

讓大佬們震驚的是，一方面中國取得了這種能力，另一方面價格如此之低。（R1的價格，比o1便宜27倍）

訓練為什么便宜，上文已經提到。為什么推理成本也這么低呢？

首先，就是DeepSeek在模型架構上的創新。MLA這種全新的注意力機制，跟Transformer注意力機制不同。

這種多頭潛注意力，可以將注意力機制的內存占用減少大約80%到90%，尤其有助于處理長上下文。

而且，DeepSeek和OpenAI的服務成本有巨大差異，部分原因是OpenAI的利潤率非常高，推理的毛利率超過了75%。

因為OpenAI目前是虧損的，在訓練上花費了太多，因此推理的利潤率很高。

接下來亮點來了，幾位大佬放飛想象，猜測這會不會是一種陰謀論：DeepSeek精心策劃了這次發布和定價，做空英偉達和美國公司的股票，配合星際之門的發布……

但這種猜測立馬遭到了反駁，Dylan Patel表示，他們只是趕在農歷新年前把產品盡快發布而已，并沒有沒有打算搞個大的，否則為什么選在圣誕節后一天發布V3呢？

中國的工業能力，已經遠超美國

美國無疑在GPU等芯片領域領先于中國。

不過，對GPU出口管制，就能完全阻止中國嗎？不太可能。

Dylan Patel認為，美國政府也清楚地認識到這一點， 而Nathan Lambert認為中國會制造自己的芯片。

中國可能擁有更多的人才、更多的STEM畢業生、更多的程序員。美國當然也可以利用世界各地的人才，但這未必能讓美國有額外的優勢。

真正重要的是計算能力。

中國擁有的電力總和，數量已經驚人。中國的鋼鐵廠，其規模相當于整個美國工業的總和，此外還有需要龐大電力的鋁廠。

即使美國的星際之門真的建成，達到2吉瓦電力，仍小于中國最大的工業設施。

就這么說吧，如果中國建造世界上最大的數據中心，只要有芯片，馬上就能做到。所以這只是一個時間問題，而不是能力問題。

現在，發電、輸電、變電站以及變壓器等構建數據中心所需的東西，都將制約美國構建越來越大的訓練系統，以及部署越來越多的推理計算能力。

相比之下，如果中國繼續堅信Scaling Law，就像納德拉、扎克伯格和劈柴等美國高管那樣，甚至可以比美國更快地實現。

因此，為了減緩中國AI技術的發展，確保AGI無法被大規模訓練，美國出臺了一系列禁令——通過限制GPU、光刻機等關鍵要素的出口，意圖「封殺」整個半導體產業。

OpenAI o3-Mini能追上DeepSeek R1嗎？

接下來，幾位大佬對幾個明星推理模型進行了實測。

有趣的是，谷歌的Gemini Flash Thinking，無論從價格還是性能上來看都優于R1，而且在去年12月初就發布了，然而卻無人關心……

對此，幾位大佬的體感是，它的行為模式不如o1那樣富有表現力，應用場景較窄。o1在特定任務上可能不是最完美，但靈活性和通用性更強。

Lex Frieman則表示，自己個人非常喜歡R1的一點，是它會展示完整的思維鏈token。

在開放式的哲學問題中，我們作為能欣賞智能、推理和反思能力的人類，閱讀R1的原始思維鏈token，會感受到一種獨特的美感。

這種非線性的思維過程，類似于詹姆斯·喬伊斯的意識流小說《尤利西斯》和《芬尼根的守靈夜》，令人著迷。

相比之下，o3-mini給人的感覺是聰明、快速，但缺乏亮點，往往比較平庸，缺乏深度和新意。

從下圖中可以看到，從GPT-3到GPT-3.5，再到Llama，推理成本呈指數級下降趨勢。

DeepSeek R1是第一個達到如此低成本的推理模型，這個成就很了不起，不過，它的成本水平并沒有超出專家們預期的范圍。

而在未來，隨著模型架構的創新、更高質量的訓練數據、更先進的訓練技術，以及更高效的推理系統和硬件（比如新一代GPU和ASIC芯片），AI模型的推理成本還會持續下降。

最終，這將解鎖AGI的潛力。

誰將贏得AGI競賽

最后，幾位大佬預測了一番，誰將是AGI競賽的最終贏家。

谷歌似乎是領跑者，因為擁有基礎設施優勢。

但在輿論場上，OpenAI似乎是領先者。它在商業化方面已經走在了最前面，擁有目前AI領域最高的收入。

目前，誰究竟在AI領域賺到錢了，有人盈利了嗎？

大佬們盤了盤后發現，從財務報表上看，微軟在AI領域已經實現了盈利，但在基礎設施方面已經投入了巨額資本支出。谷歌、亞馬遜也是如此。

Meta獲取的巨額利潤來自于推薦系統，并非來自Llama等大模型。

Anthropic和OpenAI顯然還沒盈利，否則就不需要繼續融資了。不過單從營收和成本來看，GPT-4已經開始盈利了，因為它的訓練成本只有幾億美元。

最終，誰都無法預料，OpenAI是否會突然隕落。不過目前，各家公司還會繼續融資，因為一旦AGI到來，AI帶來的回報難以估量。

人們可能并不需要OpenAI花費數十億美元，去研發「下一個最先進的模型」，只需要ChatGPT級別的AI服務就足夠了。

推理、代碼生成、AI智能體、計算機使用，這些都是AI未來真正有價值的應用領域。誰不發力，誰就可能被市場淘汰。