AI 成本賬：LLM 推理成本鏈條分析
一、背景
最近看到 SemiAnalysis 團隊制作了一個《AI Token Factory Economics Stack》的圖片（來自 SemiAnalysis (@SemiAnalysis_) / X [1]），深入分析了 LLM 推理成本鏈條中各個參與者的成本與利潤情況，涵蓋從硬件資本支出（Neocloud）、推理服務提供商（Inference Providers）到終端應用層（Applications）的全棧視角，并且以 H200 GPU 為例，進行定量分析。
考慮到之前主要關注整體的 CapEx（資本成本）和 Opex（運維成本），因此借此機會進一步理解成本計算的相關邏輯和方式。
二、Neocloud（基礎設施）
Neocloud 主要是云廠商，提供 GPU 租賃服務，比如 Lambda、Vast.ai、Oracle Cloud 等。
2.1 關鍵概念
Capital Cost per GPU（資本支出）：可以理解為一次性支出的買入價，是資產價格。
Colocation Cost（托管成本）：指將 GPU 服務器放入一個已有數據中心機房中，由該數據中心提供電力、冷卻、物理空間、安全、網絡接入等基礎設施服務所需支付的費用。簡單理解就是：“我出設備，你出機房+電力+空調+網絡，我按月支付托管費用?！?/p>
Cost of Capital（資本成本率）：使用這筆資金（一次性支出的資產成本）必須計算“時間成本”，比如一個企業獲得一個 GPU 有兩種方式：
- 現金購買 GPU（自有資金）：這些錢本可以去買理財、股票，比如年回報 ≥13.3%。
- 貸款買 GPU（外部融資）：銀行利率是 13.3%。
2.2 數據指標
核心數據：
- Capital Cost per GPU（每張 H200 GPU 的資本支出）：$34,698
- Colocation Cost（托管成本）：$130 / kW / 月
- Electricity Cost（電費）：$0.087 / kWh
- Cost of Capital（資本成本率）：13.3%/年
- 這些值用于計算 GPU 的總擁有成本（TCO）為： $1.66/hr/GPU。
收益指標：
- Neocloud Pre-tax Profit Margin（稅前利潤率）：16.8%
- Neocloud Rental Price（對外出租價格）：$2.00/hr/GPU
總結：說明云廠商通過租賃 GPU，可以獲得 16.8% 的利潤空間。
2.3 計算方式
2.3.1 CapEx
其中的 Capital Cost per GPU 和 Cost of Capital 共同構成了我們常說的 CapEx，通常將其在 GPU 的使用生命周期內進行攤銷。業內常見最短的攤銷周期是 3 年，主要是 AI 硬件的更新迭代周期往往不會超過 3 年；AI 模型、應用場景也在不斷演進，3 年后通常也會有更有性價比的 GPU 出現。然而，即使新的 GPU 開始投入使用，上一代 GPU 仍可持續發揮一定性能價值。在公司內，通常會進一步將攤銷周期延長到 4 年甚至 5 年。
如果按照 3 年的攤銷周期，則相應的成本為：
34698*(1+13.3%*3)/(3 * 365 * 24) = $1.847/hr/GPU
如果按照 4 年的攤銷周期，則相應的成本為：
34698*(1+13.3%*4)/(4 * 365 * 24) = $1.517/hr/GPU
如果按照 5 年的攤銷周期，則相應的成本為：
34698*(1+13.3%*5)/(5 * 365 * 24) = $1.319/hr/GPU
當然，有些時候也會采用年金法按固定時間周期（比如每年）平均“攤銷”，則對應的年金 A 可以表述為（假設還是按照 4 年的攤銷周期）：
則相應的成本為：
11928/(365*24) = $1.362/hr/GPU
2.3.2 Opex
其中 Opex 主要對應上述的 Colocation Cost 和 Electricity Cost，折算到每 GPU 每小時的成本為：
Colocation Cost：130 / 30 / 24 ≈ $0.181/hr/GPU
Electricity Cost：0.7kW × $0.087 = $0.061/hr/GPU
0.181 + 0.061 = $ 0.242/hr/GPU?
?2.3.3 TCO
基于上述 CapEx 和 Opex 可以推出大概的 TCO（Total Cost of Ownership）為：
3 年期攤銷：1.847 + 0.242 = $2.089/hr/GPU
4 年期攤銷：1.517 + 0.242 = $1.759/hr/GPU
5 年期攤銷：1.319 + 0.242 = $1.561/hr/GPU
4 年期攤銷（年金法）：1.362 + 0.242 = $1.604/hr/GPU
而上述表格中估計的 TCO 為 $1.66/hr/GPU，而實際的租賃價格 Neocloud Rental Price 為 $2/hr/GPU。由此可見，以約 4 年期攤銷為基礎的成本估算較為合理，按照上述價格，Neocloud 大概有 16.8% 的利潤空間。?
2.4 補充
?需要說明的是，隨著供需關系變化、硬件及算法的迭代，GPU 租賃的價格往往會隨著時間的發展逐漸降低，上述只是比較粗略的計算方式。
比如說，H100 剛上市時的租賃價格甚至高達 $8/hr/GPU，一年前也有 $4-$5 左右。如下圖所示，一年前 Lepton AI 上 H100 的租賃價格為 $4.2/hr/GPU。?
而現在（更新于 2025 年 6 月 25 日）很多云廠商的價格已經下降到 $2-$3 之間。此外，對于大客戶或長期租賃通常還能拿到更低的價格（來自：Nvidia H100 - GPU Price Comparison [2]）：
三、Inference Provider（推理服務提供商）
3.1 資產成本與利用率
?其中的主要成本是 GPU 租賃成本，也就是上述由 Neocloud 決定的 $2.00/hr/GPU。
租賃的 GPU 不可能 100% 使用，對于 Online 流量（比如 OpenAI 的在線 Chat 場景），受流量波動影響，GPU 難以實現持續滿負荷運行。此時，可以考慮使用 Offline 流量（比如 Batch Process，當然價格可能更便宜）來充分利用波谷的空閑資源。圖中作者簡化為 Effective Utilization Rate（有效利用率）為 75%，也就是 GPU 只有 75% 的有效使用。?
3.2 推理成本
3.3 銷售定價 & 利潤率
?在資產成本與利用率確定的情況下，Inference Provider 想要提升利潤率的主要手段就是提升 LLM 推理性能，降低推理成本。這里作者以 TRT-LLM 框架為例，使用 FP8 推理，以保證盡可能的高效推理。以 1K 輸入 + 4K 輸出（總共 5K Token）為例，其推理耗時 190s，吞吐可以達到 442 Tokens/s/GPU。
基于上述數據可以推算出：
有效 Tokens/hr/GPU：442 * 3600 * 75% = 1,193,400
考慮到 GPU 租賃成本為 $2，則每百萬 Token 成本為：
Inference Compute Cost：2 / 1,193,400 * 1,000,000 = $1.676
相比于輸入、輸出 Token 按照相同價格計費的方式，輸入輸出分別計價的方式會更加靈活，比如 OpenAI 就是這種方式。并且其早期的定價策略為：輸出價格為輸入價格的 3 倍。后來都改成 4 倍，如下圖所示。對于用戶而言，如果是長輸入、短輸出的場景（比如文獻總結、知識庫等），使用這種方式也許可以獲得更低的總成本。?
四、Application（應用產品）
Application 主要是 ChatGPT、Perplexity、Claude、Notion AI、Cursor 等終端產品。
4.1 用戶層面關鍵數據
假設每個用戶每月使用 Token 數量為：6M Tokens。
Token 單價為：$2.00 / M Tokens。
每月活躍用戶數（MAU）為：1.8M。
月均用戶收入（Average Revenue per User）：$20。
4.2 利潤率
基于上述數據可以得出：
每月每用戶毛利（Gross profit per User per Month）：20 - 6 * 2 = $8
應用層毛利率（Application Gross Margin）：(20 - 8) / 20 = 40%
五、利潤率優化
考慮到上述 3 層中每一層都需要保留比較可觀的利潤率，那么針對不同的“用戶”也就可以針對性的采用相應的方案來降低成本。
5.1 個人或小規模初創公司
對于個人或小規模初創公司，可以考慮從直接使用按月付費的應用切換為使用推理服務提供商的 API，然后接入支持自定義 API 的應用或者開源替代，甚至可以考慮自研應用。
當然，直接使用推理服務提供商的 API 也存在一定問題，例如可能帶來額外的模型切換成本。此時也可以考慮 OpenRouter 這類 AI 模型聚合 + API 中介平臺。它類似于 AI 模型的 API 市場，為開發者和用戶提供各種 LLM 的統一入口，用戶通過一個統一的 API，就能調用多個不同廠商的模型，減少開發和切換成本。
OpenRouter 這類平臺主要靠如下幾種模式獲得利潤：
- API 調用抽成 / 加價（最主要）
對通過平臺調用模型的 API 收取費用，并在推理服務提供商的價格基礎上加價。
允許開發者主動注冊并接入自有模型，平臺提供計費、鑒權等能力，并從其中抽成。
- 用戶訂閱 / 使用套餐
類似于 OpenAI 的包月服務。
- 增值服務
比如提供額外的日志、統計分析、鑒權等服務。
5.2 中型公司
對于中等規模的公司，可以考慮進一步跳過推理服務提供商，直接從 Neocloud 廠商租賃 GPU，然后獨立部署相應的模型。當然，這個前提是使用的開源模型或者自研的模型。
針對這個場景，也需要“用戶”儲備相應的 LLM 部署、優化能力，并且購買或者自建相應的依賴組件。
5.3 大型公司
對于大型公司或者有巨大流量的中小型公司，直接跳過上述的 3 層，自建 IDC 必然是最優的選擇，可以直接將成本降到最低。當然，也會帶來額外的負擔：
- 一次性投入成本大。
- 相應的人力成本、運維成本增加。
- 彈性擴展能力降低，比如 Neocloud 上可以快速 Scale-out，而自建 IDC 需要考慮更長遠的規劃。（PS：這也是各大廠既有自用 IDC，又有公有云的一個顯著優勢）
- 資源利用率低，需要考慮容災，也會有各種各樣的場景，整體資源利用率可能不如預期。
自建 IDC 也有兩種常見的方式，一種是完全自建，還有一種是租用機房并托管自有服務器的方式。
資源利用率可從兩個維度衡量：其一是 GPU 的使用率（例如 GPU Util）；其二是算力利用效率（如 Tensor Active 或 MFU 指標）。
本文轉載自??AI閑談????，作者：AI閑談
