AI技術的快速發展讓幾乎所有企業都加大了對IT領域的投資，但這些投資的方向到底正確嗎？由于運營效率方面的問題，很多企業在推理階段就已經浪費了大量資源，導致AI項目投資回報率下降，甚至進一步妨礙了未來的AI戰略。但其實，這些被浪費的資源本可用于創新、實驗和新項目的推進。

只要選擇更具戰略性的基礎設施，AI推理成本最多可降低86%！本文將以Stable Diffusion為案例，告訴大家如何通過優化基礎設施來顯著提升AI性能并降低成本。

延伸閱讀，點擊鏈接了解 Akamai Cloud Computing

AI推理的挑戰：成本 vs. 目標

盡管早期AI技術關注的是大規模模型訓練，但現實情況是：超過80%的計算需求來自推理任務。企業面臨著兌現AI承諾的壓力，但盲目跟風投資往往導致嚴重成本超支。推理過程中，又該如何在追求目標的同時保持高效？

為此需要權衡成本與預期結果，例如低延遲、快速推理、高準確率，甚至可持續性等各種目標。這就必須在AI模型生命周期內進行精細規劃、優化和持續監測。

案例研究：Stable Diffusion在GPU上的推理優化

作為一個強大的圖像生成模型，Stable Diffusion推理優化涉及多個因素，包括CPU、RAM、GPU、VRAM、磁盤I/O和網絡性能。全面測試和強大的監測工具是發現并解決瓶頸的關鍵。

基準測試設置

本次我們所進行的基準測試，在推薦的Amazon云實例和Akamai Cloud類似規格的虛擬機環境中運行了Stable Diffusion XL，并對比了兩者的性能。測試中生成的圖像尺寸為512×512像素。測量的三個關鍵指標包括：

1. 延遲——衡量從提交提示詞到返回圖像的時間，該指標會直接影響用戶體驗。
2. 吞吐量——衡量在一定時間內可生成的圖像數量。
3. 迭代速度——反映單次迭代的執行時間。更高的迭代次數可生成更精細的圖像，但也需要更多計算資源。

我們測試了如下的三個實例：

注意：實際價格會因部署的所在區域而異。本次測試是在2024年9月進行的，并在2024年12月進行了驗證。

測試結果

延遲

在Akamai RTX4000實例上運行Stable Diffusion XL，延遲相比AWS A10g實例降低15.0%，相比AWS T4實例降低62.8%。

圖1：延遲（越低越好）

吞吐量

在Akamai RTX4000實例上運行Stable Diffusion XL，吞吐量相比AWS A10g實例提升29.4%，相比AWS T4實例提升314.3%。

圖2：吞吐量（越高越好）

迭代速度

Akamai RTX4000在迭代速度上同樣表現優越，相比AWS A10g提升10.9%，相比AWS T4提升167.7%。

圖3：迭代速度（越高越好）

成本

在Akamai RTX4000實例上運行Stable Diffusion XL，每百萬張圖像的成本比AWS A10g低58.4% - 75.5%，比AWS T4低76.9% - 86.4%。盡管AWS T4實例的月租成本較低，但其性能不足以抵消整體成本劣勢。

圖4：成本（實際價格會因部署的所在區域而異）

結論：選擇適合的基礎設施，這很重要

本案例研究表明，基礎設施的選擇會對AI性能和成本產生重大影響。Akamai RTX4000在推理任務上提供了更低的延遲、更高的吞吐量和更低的成本，使企業能夠：

• 優化項目：讓利于客戶，通過增加迭代次數改善圖像質量，或開發新功能。
• 促進創新：節省的資金可支持企業內部的新項目和實驗。

除了基礎設施優化，還可以通過以下方法進一步提高推理效率：

• 模型優化：量化（Quantization）、知識蒸餾（Knowledge Distillation）、稀疏化（Sparsification）等技術可減少模型大小和復雜性，從而降低計算成本。
• 持續監測與分析：監控資源利用率，發現瓶頸，優化資源分配。
• 自動化擴展與負載均衡：根據需求動態調整計算資源，提高整體效率。

整個優化過程需要結合AI應用的具體目標，找到成本、性能和質量之間的最佳平衡點。

AI技術有著巨大的潛力，但要充分釋放其價值，需要戰略性和充分考慮了成本意識的投資決策。企業領導者必須避免盲目跟風，通過優化推理過程，以數據驅動的方式最大化AI的投資回報率，加速創新，實現業務目標。

—————————————————————————————————————————————————

如您所在的企業也在考慮采購云服務或進行云遷移，

點擊鏈接了解Akamai Linode的解決方案