OpenAI、Claude、月暗，甚至谷歌，為什么全選擇Pytorch？早期論文成員爆料：LLM太笨重了，需要微型化 原創
?編輯 | 云昭
出品 | 51CTO技術棧（微信號：blog51cto）
Pytorch 贏了。
大家可能沒注意到，現在每一款與你互動的Chatbot，背后運行的都是 PyTorch。可以說，它已經成為了主流LLM研發鏈路中事實上的標準。
首先，不管是大洋彼岸的OpenAI、Anthropic，還是國內的通義千問、智譜、月之暗面，他們推出的大模型或開源實現，都提供或偏好Pytorch框架。
OpenAI早在2020年就官方聲明中就明確表示將研究標準化在 PyTorch 平臺上，來提高研究迭代效率。
圖片
而從 OpenAI 出走的 Anthropic，也公開披露了對于 Pytorch 框架的偏好，甚至其研究團隊使用 PyTorch 來定義、訓練和推理他們的 Transformer 模型（包括 Claude 1～3 系列）。更夸張地是，Claude 甚至從未發布過TF版本，也沒有兼容的推理接口。其生態完全圍繞 PyTorch 和 CUDA 展開。
圖片
甚至擁有TensorFlow、JAX 的谷歌，也毫不避諱地在自己官方文檔中將推出 Gemma 運行在 Pytorch 上的教程。
圖片
國內的大模型頂流們，亦是如此。阿里的Qwen、智譜的ChatGLM、月暗的 Kimi，社區上沒有發現TF版本，甚至官方技術說明都為提到TF。
圖片
可以說現在除了谷歌系模型（也用最新的JAX，而不是TF），幾乎所頂流大模型公司都在采用Pytorch作為首選。而 TensorFlow 目前更多“活”在移動端、課本和教程視頻上。
那么，為什么 Pytorch 贏了？
這個問題，相信每一位在用Pytorch的朋友，都有自己的答案。
但要回答好這個問題，沒有比Pytorch最早的參與成員來回答更合適了。
上周，于舊金山舉行的 PyTorch 2025 年大會 上， PyTorch 基金會技術顧問委員會的主席 Luca Antiga 發表了事關 Pytorch 長遠發展的重要觀點。Luca 不僅是最早參與撰寫 PyTorch 論文的團隊成員之一，還共同編寫了《Deep Learning with PyTorch》一書。
這就為大家梳理下 Luca 的發言內容。
研究者友好的“Pythonic”設計
擁有生物醫學工程學術背景的 Luca 指出，PyTorch 之所以能迅速流行，是因為它對研究者非常友好。許多早期用戶都是學術界的研究人員，后來他們進入工業界，也將 PyTorch 帶了進去。
它非常 Pythonic。在過去，雖然很多框架號稱用 Python，但你實際上需要寫一種‘元語言’，讓代碼和問題本身之間多了一層隔閡，調試也更困難。
而 PyTorch 在這方面是革命性的，它把 Python 的易用性、快速迭代能力，以及那種‘先干起來’的精神，帶進了神經網絡、反向傳播和 GPU 計算的世界。
從神經網絡到生成式 AI，PyTorch 始終在牌桌上
PyTorch 誕生之初，行業的重心還在神經網絡，主要用于圖像識別或情感分析。直到 ChatGPT 出現，生成式 AI 才讓公眾真正意識到 AI 的潛力。但 Antiga 認為，PyTorch 從未“過時”。
無論經歷了多少次技術革命，你總能看到 PyTorch 的身影。
當然，還有像 JAX 這樣的強勁對手，但相比之下，PyTorch 已經發展成一整個產業的基石，它支撐起整個生態。
如今，PyTorch 不再只是訓練模型的工具，它也成為 模型推理階段的核心。
看看現在最流行的推理框架——vLLM、SGLang——它們都在用 PyTorch，而且是用在生產環境里的。
今天你與任何一個聊天機器人互動時，很可能后臺運行的就是 PyTorch。
強化學習讓 PyTorch 再次走在前列
近來 PyTorch 人氣再度攀升的另一個原因，是 強化學習 的廣泛應用。強化學習通過“獎勵正確行為、懲罰錯誤行為”的方式，來微調預訓練的大語言模型（LLM），而 PyTorch 對這類任務也特別契合。
強化學習會鼓勵模型在面對環境時，做出能帶來更大獎勵的行動。
PyTorch 的靈活性非常適合在這種動態、交互式的場景下使用。
PyTorch 基金會的最新動向
至于 PyTorch 基金會本身，值得注意的是，幾個月前它剛開始接納更多項目，首先是 vLLM 和 DeepSpeed。如今，隨著分布式計算框架 Ray 的加入，基金會旗下已有四個重要項目。
但 Luca 強調，基金會并不打算變成一個“巨型傘形組織”。
我最關心的是生態系統里的用戶——他們在進入由 PyTorch 基金會“背書”的生態時，會經歷怎樣的旅程？
我的目標是讓他們能成功。
個人最關心的AI突破方向：LLM微型化
如今，大模型狂奔向前，哪些研究方向值得關注呢？
Luca非常篤定地表達了自己的看法：現在的大模型還是太笨重了，雖然能用，但成本消耗巨大。
我一直覺得，人類其實在做一件驚人的事：我們在訓練一種“類比機器”，一種不需要精確指令、能通過模式和類比自我推理的機器。
但我們現在造的這臺“飛行機器”，更像是靠一堆齒輪和螺旋槳的龐然大物——能飛，卻笨重。真正的“飛行證明”其實是鳥類。
人類大腦才是我們真正的“對照組”——我們的大腦在思考時消耗的能量極低，卻能完成復雜的推理。
未來的突破方向，是能否把LLM那種龐大結構“微型化”，讓模型能從頭到尾學習，而不需要如此多的顯存與能量。
PS：這一點毫不夸張，現在就連個體開發者都可能在代碼工具上開銷達上萬美元。
“這讓我非常著迷。我不確定PyTorch基金會是否會沿這個方向演進，但我個人對此充滿熱情。”
對于這個方向，Luca 也正在身體力行地做出了很多投入。Luca 還是 Lightning AI的首席技術官，他們團隊提供了一個PyTorch友好的訓推平臺，其中很多客戶更大的訴求就是：想盡可能優化每一份資源的使用。
所以，我們非常關注訓練與推理的全鏈路優化，從GPU核心層到數據加載、任務調度、流式處理，每一層都可能成為瓶頸。
有時你卡在數據加載，有時是計算沒有并行，有時是模型本身沒調優。要真正優化性能，得從端到端去分析。
我們也希望幫助開發者提高算力利用率，讓他們能在研發之外，用得其所。
好了，文章到這里結束了。目前，PyTorch 已經成為全球 AI 模型的“操作系統”。無論是研究者造模型，還是企業部署模型，底層框架首選，當之無愧。
大家如何看待Pytorch的王者之路呢？?
本文轉載自??51CTO技術棧??，作者：云昭
