譯者 | 布加迪

審校 | 重樓

英偉達(dá)是AI熱潮的最大受益者，GPU銷售額帶來了大量現(xiàn)金。現(xiàn)在，該公司正采取前所未有的計劃，在2027年之前每年發(fā)布一款GPU。

英偉達(dá)首席執(zhí)行官黃仁勛在今年6月的臺北國際電腦展上表示：“我們的基本理念非常簡單。構(gòu)建整個數(shù)據(jù)中心規(guī)模的架構(gòu)，并以一年為周期將部分產(chǎn)品出售給您。我們竭力將各項(xiàng)技術(shù)推向極限。”

微軟和Meta等公司正投資數(shù)十億美元新建數(shù)據(jù)中心，希望獲得最新最好的GPU。因此，英偉達(dá)正以更快的速度創(chuàng)新硬件技術(shù)。

金融分析師認(rèn)為，英偉達(dá)的股價處于不可持續(xù)的價位。就像互聯(lián)網(wǎng)熱潮一樣，AI熱潮也將消退，英偉達(dá)的股價到時也將回落。但英偉達(dá)的GPU和技術(shù)進(jìn)步對軟件開發(fā)的影響將是永久性的。

GPU路線圖

英偉達(dá)的目標(biāo)是讓GPU成為操作或運(yùn)營中的必備硬件，就像過去幾年的CPU一樣。英偉達(dá)首席執(zhí)行官黃仁勛認(rèn)為，CPU還不夠，需要GPU更快地處理數(shù)據(jù)。

黃仁勛在最近一次活動中說：“軟件惰性是計算機(jī)中最重要的因素。當(dāng)一臺電腦在架構(gòu)上與所有已經(jīng)創(chuàng)建的軟件向后兼容時，你就能以極快的速度進(jìn)入市場。”

英偉達(dá)的旗艦GPU：Hopper為微軟、Meta和OpenAI支持AI項(xiàng)目。OpenAI和微軟在英偉達(dá)的Hopper H100及其前身A100 GPU上提供GPT-4和4.0。

微軟已經(jīng)訂購了下一代GPU：Blackwell，最早將于明年部署到其數(shù)據(jù)中心。但由于英偉達(dá)在制造Blackwell芯片時遇到了技術(shù)難題，因此這款芯片的發(fā)貨日期成了問題。

SemiAnalysis的分析師在一份報告中表示：“這是以前從未實(shí)現(xiàn)過的計算和功率密度，考慮到所需的系統(tǒng)級復(fù)雜性，這種提升已被證明頗具挑戰(zhàn)性。”

分析師表示，Blackwell面臨全面的挑戰(zhàn)，包括輸電、過熱、泄漏和復(fù)雜性。

Blackwell擁有2080億個晶體管，這使其成為有史以來最復(fù)雜的芯片之一。一臺機(jī)架式服務(wù)器可以容納多達(dá)72個Blackwell，英偉達(dá)正在提供通過以太網(wǎng)連接多達(dá)576個GPU的功能。這涉及龐大的AI算力。

英偉達(dá)正在將Blackwell GPU與其基于ARM的Grace CPU配對。英偉達(dá)現(xiàn)推出配備這些芯片的服務(wù)器，可以在云端享用。英偉達(dá)試圖終結(jié)將其GPU與英特爾或AMD的x86處理器配對的傳統(tǒng)編程模式。

英偉達(dá)明年將交付Blackwell Ultra，與Blackwell一樣，該芯片也將含有HBM3E，但容量更大。此后，英偉達(dá)在2026年將發(fā)布Rubin平臺，該平臺將包括全新的GPU和CPU，并支持HBM4內(nèi)存。2027年，英偉達(dá)將發(fā)布Rubin Ultra GPU。

所有新的GPU都配有更快的網(wǎng)絡(luò)芯片和互連技術(shù)，以實(shí)現(xiàn)更快的服務(wù)器和芯片通信。黃仁勛說：“這基本上就是英偉達(dá)在構(gòu)建的產(chǎn)品，所有豐富的軟件都建立在此基礎(chǔ)上。”

這對開發(fā)人員意味著什么？

英偉達(dá)未來的GPU預(yù)示著向混合精度計算轉(zhuǎn)變，這種計算結(jié)合了傳統(tǒng)計算和AI計算。

該公司的GPU正放棄對64位精度的專注，64位精度對精確計算至關(guān)重要。相反，它在開發(fā)硬件功能，以提升概率AI計算中使用的低精度4位、8位和16位數(shù)據(jù)類型。

英偉達(dá)在其GPU中加入了更多用于矩陣乘法的Tensor Cores（張量核心）。一種名為GEMM的算法是英偉達(dá)AI模型的核心，它充分利用了張量核心，并與CUDA中的庫兼容，以便程序員與GPU核心進(jìn)行交互。

首先，英偉達(dá)想要拉攏更多的開發(fā)人員。開發(fā)人員需要了解C++和Fortran以便GPU編程，但英偉達(dá)希望支持更多的編程語言，包括Rust和Julia。

英偉達(dá)正在將Python打造成CUDA并行編程框架中的優(yōu)先者，包括擴(kuò)展SDK和框架對Python的訪問。該公司不會停止為其C++庫搖旗吶喊，這些庫是解鎖英偉達(dá)的部分GPU功能所必需的。

不過要注意：一旦開人員深陷CUDA，就很難脫身了。

電源效率

英偉達(dá)聲稱其GPU綠色節(jié)能，但芯片業(yè)內(nèi)人士一直開玩笑稱，英偉達(dá)唯一綠色的地方就是它的徽標(biāo)。英偉達(dá)的Blackwell GPU耗電1200瓦，需要液冷。

即將推出的GPU耗電量會很大，但也提供最快的運(yùn)算結(jié)果。Blackwell將包括支持新的低精度數(shù)據(jù)類型：FP4和FP6這項(xiàng)功能，從而進(jìn)一步提升每瓦特性能。

英偉達(dá)還在宣傳更高效的編程，以減少交付計算結(jié)果所需要的循環(huán)。即將推出的GPU將包括軟件層，可以將任務(wù)重定向到正確的核心。這也將減輕程序員的壓力。

AI超級模型

英偉達(dá)的GPU和軟件戰(zhàn)略正在并行開發(fā)。其目標(biāo)是建立龐大的GPU集群，能夠處理擁有數(shù)萬億個參數(shù)的AI模型。

與此同時，英偉達(dá)正在為“AI超級模型”制定一個框架。開發(fā)人員使用大語言模型后，通過插入定制模型、護(hù)欄、檢索增強(qiáng)生成（RAG）及其他工具對其進(jìn)行優(yōu)化。

英偉達(dá)已為其A超級模型策略優(yōu)化了開源Llama 3.1。開發(fā)人員可以為Llama 3.1模型配備一系列適配器、大語言低階適應(yīng)（LoRA）模型和護(hù)欄，以創(chuàng)建自己的模型。

英偉達(dá)有一套復(fù)雜的流程來構(gòu)建AI超級模型。開發(fā)人員需要找出優(yōu)化模型的基本要素，輸入本地化數(shù)據(jù)，并確定適配器。開發(fā)人員需要實(shí)施提取相關(guān)數(shù)據(jù)并將其推送到矢量數(shù)據(jù)庫的程序，矢量數(shù)據(jù)庫評估信息，并向用戶發(fā)送響應(yīng)。

開發(fā)人員需要完善CUDA，并了解NIM（英偉達(dá)推理微服務(wù)），這是英偉達(dá)網(wǎng)站上的云原生AI容器。

競爭激烈

英偉達(dá)的競爭對手英特爾和AMD正想盡一切辦法讓開發(fā)人員遠(yuǎn)離英偉達(dá)的CUDA。

包括英特爾和富士通在內(nèi)的眾多公司已組成了一個名為UXL基金會的聯(lián)盟，以開發(fā)CUDA的開源替代品。UXL的并行編程框架基于英特爾的OneAPI構(gòu)建。目標(biāo)很簡單：代碼方面的一些變化將允許程序在英偉達(dá)和非英偉達(dá)AI加速器上運(yùn)行。

當(dāng)然，UXL還提供了一種工具來剝離CUDA代碼，以便程序在其他AI芯片上運(yùn)行，包括FPGA和ASIC等。

AMD有ROCm，盡管大肆宣傳，但還遠(yuǎn)未成熟。

所有競爭對手都使用開源工具，并不使用內(nèi)部工具在專有硬件上創(chuàng)建運(yùn)行AI的神經(jīng)網(wǎng)絡(luò)。

但英偉達(dá)憑借CUDA領(lǐng)先競爭對手近10年。CUDA始于2006年，用于高性能計算，后來成為AI領(lǐng)域的一股強(qiáng)大力量。

原文標(biāo)題：Nvidia’s Hardware Roadmap and Its Impact on Developers，作者：Agam Shah