OpenAI新發布的O1模型，讓AI推理成了行業焦點。這是首次在AI系統中，推理計算占了很大比重。隨之誕生的推理時ScalingLaw表明，讓模型多"思考"一會，準確度就會更高。Anthropic也在跟進，推出非常依賴推理能力的“Computer Use”的Agent功能。這說明AI應用越來越復雜，對推理能力的要求也越來越高。

推理性能直接影響用戶體驗 - 反應快不快，放在本地還是云端，都會影響實際使用感受。用的人越多，需要的算力就越大，這就涉及到成本和效率問題了。所以現在各大科技公司都在搶占推理這個領域，誰能做得好，誰就能占優勢。

近日，Eric Flaningam對外刊載了一篇大模型推理的市場分析文章，文中一些關鍵洞察值得注意。

市場現狀分析

1. 市場規模與增長

• 推理計算需求呈現爆發式增長，據NVIDIA估計，未來推理市場規模將較現在擴大數百倍
• 目前推理業務已占NVIDIA數據中心收入的40%，揭示推理巨大的市場規模

2. 市場參與者分類

當前市場形成了五層完整的服務體系：

1. 基礎模型API（如OpenAI）- 最易用但靈活性最低
2. 專業推理服務商（如Fireworks AI、DeepInfra）- 優化開源模型部署
3. AI云服務提供商（如Coreweave）- 提供定制化算力服務
4. 超大規模云服務商 - 傳統云服務商和新型 AI 云服務提供商共同參與，提供全棧AI服務平臺
5. AI硬件供應商 - NVIDIA 繼續主導，AMD 等傳統廠商積極追趕，面向高度定制化需求

競爭格局分析

1. 硬件層面

• NVIDIA依然占據主導地位，推理收入占其數據中心業務40%
• AMD通過MI300X系列進軍市場，預計年收入可達50億美元
• 眾多創新創業公司（如Groq、Cerebras）帶來差異化競爭

2. 服務層面

• 推理服務提供商主要在開源模型部署方面競爭?
• 關鍵競爭要素：推理成本、延遲性能、吞吐能力
• 硬件廠商開始向上游服務延伸，如NVIDIA收購OctoAI

發展趨勢預測

1. 邊緣計算成為新戰場

• 本地推理優勢明顯：降低企業運營成本，提升用戶體驗
• 蘋果、高通等廠商積極布局邊緣AI芯片
• 小型模型進步將加速邊緣推理發展

2. 市場分化趨勢

• 云端推理：面向高性能、復雜任務場景
• 邊緣推理：面向消費級應用和實時響應場景
• 混合部署：將成為主流架構選擇?

3. 價值鏈重構

• 硬件層面：性能與成本的平衡將決定競爭力
• 服務層面：差異化和垂直整合成為核心競爭策略
• 應用層面：場景定制能力日益重要

結論與展望

AI推理市場正處于快速發展期，競爭格局尚未完全固化。隨著技術進步和應用場景拓展，市場將進一步細分和專業化。企業需要根據自身優勢，在云端推理與邊緣計算之間找到最優定位，打造差異化競爭優勢。

未來，伴隨著小型模型技術的進步和邊緣計算能力的提升，我們很可能見證AI推理的新一輪革命，這將為整個產業帶來更多創新機遇與發展可能。

原文：https://www.generativevalue.com/p/the-inference-landscape

本文轉載自 ??AI工程化??，作者： ully