是什么造就了一個模型

對于外行來說，可能很難想象AI和支撐編程的算法如何承擔如此廣泛的環境或經濟負擔。ML的簡要概述將分兩個階段描述這一過程。

首先是訓練模型開發智能，并在某些類別中標記信息。例如，電子商務運營可能會將其產品和客戶習慣的圖像提供給模型，以允許它進一步詢問這些數據點。

第二個是識別或推理，模型將使用存儲的信息來理解新數據。例如，電子商務企業將能夠將產品分類為類型、大小、價格、顏色和一系列其他細分，同時向客戶提供個性化的推薦。

推理階段是兩個階段中計算密集度較低的階段，但一旦大規模部署，例如在Siri或Alexa等平臺上部署，累積的計算可能會消耗大量電力，從而增加成本和碳排放。

也許推理和培訓之間最刺耳的區別是用于支持它的資金。推論與銷售成本有關，因此影響底線，而培訓通常與研發支出有關，研發支出與實際產品或服務的預算是分開的。

因此，推理需要專門的硬件來優化成本和功耗效率，以支持可行、可擴展的業務模式-這是一種使業務利益和環境利益保持一致的解決方案，令人耳目一新。

隱性成本

第二代AI的領頭羊ChatGPT是一個巨大的推理成本的鮮明例子，每天高達數百萬美元(這甚至不包括它的培訓成本)。

OpenAI最近發布的GPT-4的計算資源消耗估計是前一次迭代的三倍——傳言在16個專家模型上運行1.8萬億個參數，據稱運行在128個GPU集群上，它將吞噬過多的能量。

提示的長度加劇了高計算需求，提示需要大量能量來為響應提供支持。GPT-4的上下文長度從8000躍升到32000，這增加了推理成本，降低了GPU的效率。一成不變地，擴大AI規模的能力僅限于財力最雄厚的最大公司，而那些沒有必要資源的公司無法獲得，這使得它們無法利用這項技術的好處。

人工智能的力量

AIGC和大型語言模型可能會對環境造成嚴重影響。所需的計算能力和能源消耗導致了大量的碳排放。關于一次AI查詢的碳足跡的數據有限，但一些分析師建議，它比搜索引擎查詢的碳足跡高四到五倍。

一項估計將ChatGPT的用電量與17.5萬人的用電量進行了比較。早在2019年，麻省理工學院發布的一項研究表明，通過訓練一個大型AI模型，二氧化碳的排放量為62.6萬磅，幾乎是普通汽車終身排放量的五倍。

盡管有一些令人信服的研究和斷言，但在AI及其碳排放方面缺乏具體數據是一個主要問題，如果我們要推動變革，就需要糾正這一問題。托管新一代AI模型的企業和數據中心也必須積極應對環境影響。通過優先考慮更節能的計算架構和可持續實踐，業務要務可以與限制氣候退化的支持努力保持一致。

計算機的局限性

CPU是計算機的組成部分，負責執行指令和數學運算——它每秒可以處理數百萬條指令，直到不久前，它還一直是推理的首選硬件。

最近，出現了從CPU到運行繁重的深度學習處理的轉變，使用連接到CPU的配套芯片作為卸載引擎-也稱為深度學習加速器(DLA)。出現問題的原因是托管那些DLA的CPU試圖處理進出推理服務器的大量吞吐量數據移動，以及向DLA提供輸入數據的數據處理任務以及關于DLA輸出數據的數據處理任務。

再一次，作為一個串行處理組件，CPU正在造成一個瓶頸，它根本不能像保持這些DLA忙碌所需的那樣有效地執行。

當一家公司依靠CPU來管理深度學習模型中的推理時，無論DLA有多強大，CPU都會達到最佳閾值，然后開始在重量下彎曲。想一想，一輛車只能以發動機允許的速度行駛：如果一輛較小的車的發動機被一輛跑車的發動機取代，較小的車將與較強的發動機發揮的速度和加速能力脫節。

CPU主導的AI推理系統也是如此——一般是DLA，更具體地說是GPU，它們以驚人的速度行駛，每秒完成數萬個推理任務，在有限的CPU減少其輸入和輸出的情況下，無法實現它們所能實現的功能。

對系統范圍解決方案的需求

正如NVIDIA首席執行官Jensen Huang所說：“AI需要對計算進行一次徹底的改造。從芯片到系統。”

隨著AI應用程序和專用硬件加速器(如GPU或TPU)的指數級增長，我們需要將注意力轉向這些加速器周圍的系統，并構建系統范圍的解決方案，以支持利用這些DLA所需的數據處理的數量和速度。我們需要能夠處理大規模AI應用的解決方案，以及以更低的成本和能源投入完成無縫模型遷移的解決方案。

替代以CPU為中心的AI推理服務器勢在必行，以提供高效、可擴展且在財務上可行的解決方案，以維持企業對AI不斷增長的需求，同時解決AI使用增長帶來的環境連鎖反應。

使AI民主化

目前，行業領先者提出了許多解決方案，同時降低了其成本。關注綠色能源為AI提供動力可能是一條途徑;另一條途徑可能是在一天中可再生能源可用的特定時間點對計算過程進行計時。

有一種觀點認為，數據中心的AI驅動的能源管理系統將節省成本，并改善運營的環境憑證。除了這些策略，AI最有價值的投資之一在于硬件。這是其所有處理的支柱，并承擔著能量消耗計算的重量。

一個能夠以更低的財務和能源成本支持所有處理的硬件平臺或AI推理服務器芯片將是變革性的。這將是我們實現AI民主化的方式，因為較小的公司可以利用不依賴大企業資源的AI模式。

ChatGPT查詢機每天需要數百萬美元才能運行，而另一種以低得多的功率和數量的GPU運行的片上服務器解決方案將節省資源，并減輕世界能源系統的負擔，導致具有成本意識和環保的第二代AI，并可供所有人使用。