英偉達的GPU正在吞噬這個世界。

科技公司對英偉達的超級計算GPU有著近乎無盡的需求。

不再是那個只為游戲顯卡提供圖形渲染服務的英偉達，現在的英偉達利用他的GPU開創了一個新時代：

人類能夠與計算機對話，計算機能夠回應人類。而最終，計算機甚至可能超越人類。

WIED最近對黃仁勛進行了一次專訪，在訪談過程中，老黃用自己的幽默和智慧回答了幾乎一切關于自己和英偉達過去和未來的問題。

61歲的老黃穿著他標志性的皮夾克和極簡主義黑色運動鞋出現。

他說，他討厭星期一的早晨，因為他周日也要工作一整天，這讓他在一周的開始就已經感到很疲憊了。

2012年，一小群研究人員推出了使用GPU而非CPU來運行代碼的開創性圖像識別系統——AlexNet，開啟了深度學習的新紀元。

老黃立刻指示公司全力進軍AI領域。

2017年，當谷歌發布了被稱為Transformer的新型神經網絡架構——也就是 ChatGPT中的「T」——并引發了當前的AI熱潮時，英偉達已經完美地完成了跑馬圈地位，開始向渴望技術的公司銷售其專為AI設計的GPU。

英偉達現在在AI芯片市場的銷售額中占據了超過70%的份額，并且正接近2萬億美元的市值。

其2023年最后一個季度的收入達到了220億美元，比上一年增長了265%。

其股價在過去一年中上漲了231%。老黃要么是在他所做的事情上具有非凡的洞察力，要么是運氣極好——或者兩者都有！——而每個人都想知道他的成功秘訣。

但沒有人可以永遠處于巔峰。現在，他正處于美中科技戰和監管機構的重重壓力之下。

老黃在AI芯片領域的一些競爭對手是眾所周知的大公司——谷歌、亞馬遜、Meta和Microsoft——它們是科技行業最財大氣粗的企業。

去年12月，半導體公司AMD推出了一款大型AI計算處理器，意圖與英偉達競爭。

初創公司也在瞄準英偉達。僅在去年第三季度，風險投資家就向AI芯片領域投入了超過8億美元。

因此，老黃永遠不會停下腳步。

講好故事才能做好企業

老黃：「我倆是是斯坦福大學的校友。」

采訪記者：是的，沒錯。我讀的是新聞學，但你學的不是。

「我希望我也學過新聞學。」

問：為什么這么說？

「因為，我非常欽佩的一位領導者和人物，Adobe CEO Shantanu Narayen，他曾說他一直想成為一名記者，因為他熱愛講故事。」

「有效地講述公司故事似乎是構建企業的一個重要部分。制定戰略就是講故事。構建文化也是講故事。」

問：你多次表示，你沒有用演示文稿的形式來銷售英偉達的理念。

「確實如此。只要講好故事就行了。」

問：因此，我想從另一位科技高管對我說的話開始。他指出，英偉達比Amazon多一歲，但在很多方面，英偉達比亞馬遜更具有「第一天」的感覺。你是如何保持這種心態的？

「這確實是一個非常好的表達。我每天醒來都覺得像是第一天，因為我們總是在做一些前所未有的事情。」

「這也涉及到脆弱性。我們很可能會失敗。就在剛才，我正參與一個會議，我們正在為公司嘗試一些全新的事物，我們還不確定如何正確執行。」

問：那個新事物是什么？

「我們正在建立一種新型數據中心，我們稱之為AI工廠。與今天建造數據中心的方式不同，你有很多人共享一個計算機集群，并把他們的文件存儲在這樣一個大型數據中心里。」

「AI工廠的概念更像是一個發電站。這是相當獨特的。我們已經在過去幾年里構建了它，但現在我們需要將它轉化為一個產品。」

問：它將被命名為什么？

「我們還沒有想好名字。但它將無處不在。云服務提供商將構建它們，我們也將構建它們。未來，每家生物技術公司都將需要它。每家零售公司、每家物流公司、未來的每家汽車公司都將擁有一個工廠——生產實物商品的工廠，以及一個為汽車生產AI的工廠。」

「實際上，你可以看到Elon Musk正在這樣做。他在思考工業公司未來形態的問題上遠遠超前于大多數人。」

問：你之前說過，你運營著一個扁平化的組織，直接向你報告的高管有30到40人，因為你希望直接參與信息流。最近有什么事情吸引了你的注意，讓你認為，「我可能最終需要把英偉達押注在這個上面」？

「信息不必從組織的頂層向下流動，就像在我們沒有電子郵件和短信等工具的舊石器時代那樣。信息如今可以更快速地流動。因此，一個從上到下逐層傳遞信息的層級結構變得不再必要。一個扁平化的網絡讓我們能夠更快地適應變化，這一點至關重要，因為我們的技術正在飛速發展。」

「如果你觀察英偉達技術的發展軌跡，傳統上摩爾定律每隔幾年就會翻一番。然而，在過去的十年里，我們已經將 AI 的能力提高了大約一百萬倍。這遠遠超過了摩爾定律的增長速度。在一個指數增長的世界里，你不希望信息從頂層逐層向下傳播。」

老黃眼中的未來：空間模型將統一一切

問：但我想問的是，你的「羅馬帝國」是什么？這是一個比喻。今天的Transformer論文是什么？現在正在發生什么，你認為這將改變一切？

「有幾件事情。其中之一還沒有具體名稱，但它是我們在基礎機器人學方面所做的一些工作。」

「如果你可以生成文本，如果你可以生成圖像，那么你是否也可以生成運動？答案很可能是肯定的。然后，如果你可以生成運動，你就可以理解意圖并生成一種泛化的表達形式。因此，人形機器人的出現應該指日可待。」

「我認為圍繞狀態空間模型（SSM）的工作，這種模型允許你學習極長的模式和序列而不會在計算上呈現二次方增長，可能就是下一個Transformer。」

問：這將使我們能做什么？有沒有現實生活中的例子？

「你可以與計算機進行非常長時間的對話，而對話的上下文永遠不會被遺忘。你甚至可以暫時改變話題，然后回到之前的話題，那個上下文仍然能被保留。」

「你可能能夠理解一個非常長的鏈條，比如一個人類的基因組。僅僅通過觀察遺傳代碼，你就能理解它的含義。」

問：我們距離實現這一點還有多遠？

「過去，從我們有了AlexNet到實現超越人類水平的AlexNet，只用了大約五年的時間。一個機器人基礎模型很可能就在不遠的將來——我會說是明年的某個時候。從那時起，再過五年，你將看到一些非常了不起的事情發生。」

問：哪個行業最有可能從一個廣泛訓練的機器人行為模型中受益？

「嗯，重工業代表了世界上最大的行業。移動電子相對容易，但移動原子則極為困難。」

「運輸、物流、從一個地方到另一個地方移動重物、發現下一種藥物——所有這些都需要對原子、分子、蛋白質有深刻的理解。這些是AI尚未觸及的巨大而令人驚嘆的行業。」

問：你提到了摩爾定律。它現在是否已經不再適用？

「摩爾定律現在更多的是一個系統問題，而不是單純的芯片問題。它更多關乎多個芯片之間的互聯互通。大約10到15年前，我們開始了解構計算機的旅程，這樣就可以將多個芯片連接在一起。」

問：這就是你們在2019年收購以色列公司Mellanox的原因？英偉達當時表示，現代計算對數據中心提出了巨大需求，而Mellanox的網絡技術將使加速計算更加高效。

「確實如此。我們收購Mellanox是為了能夠把我們的芯片擴展成一個整個數據中心的超級芯片，從而實現現代AI超級計算機。這實際上是基于對摩爾定律終結的認識，如果我們想要繼續擴大計算能力，我們必須在數據中心層面上進行。」

「我們重新審視了摩爾定律的制定，認為：不要讓它成為限制。摩爾定律不是計算的極限。我們必須超越摩爾定律，尋找新的擴大規模的方式。」

問：Mellanox現在被認為是英偉達非常明智的一次收購。最近，你們嘗試收購全球最重要的芯片IP公司之一Arm，直到被監管機構阻止。

「原本會是一次很棒的收購。」

問：我不確定美國政府是否同意，但讓我們先不討論這個。當你現在考慮收購時，你關注哪些具體領域？

「這些大型系統的操作系統非常復雜。你如何創建一個操作系統和計算堆棧，以協調我們GPU中數以千萬計、數以億計、現在甚至接近數十億的微小處理器？這是一個非常棘手的問題。如果公司外部有團隊正在解決這個問題，我們可以選擇與他們合作，或者采取更進一步的措施。」

問：因此，我從你的話中聽出，對英偉達來說，擁有一個操作系統并將其發展成為一個更完整的平臺至關重要。

「我們是一個平臺型公司。」

問：你成為平臺的部分越多，你面臨的挑戰就越多。人們往往會對平臺因其輸出而承擔更多的責任。自動駕駛汽車的行為、醫療設備的誤差范圍、AI 系統中的偏差等問題。你是如何應對這些挑戰的？

「我們不是一個應用程序公司。這可能是最簡單的解釋。我們會盡我們所能，但盡可能少地為一個行業服務。例如，在醫療保健領域，藥物發現不是我們的強項，但計算是。」

「制造汽車不是我們的專長，但制造擅長AI的汽車計算機是我們的專長。老實說，很難有一家公司能在所有這些領域都做得很好，但我們可以在AI計算方面做得非常好。」

芯片短缺什時候是個頭？不知道，因為我們要發新產品了

問：去年有報道稱，你們的一些客戶為了等待你們的AI GPU而等待了數月。現在情況如何？

「嗯，我認為我們今年可能會完不成訂單。可能明年也完不成。」

問：目前的等待時間是多久？

「我不確定。但你知道，今年也標志著我們迎來了一個新的時代。」

問：你是指Blackwell，你們傳說中的新GPU？

「沒錯。一代新的GPU即將推出，Blackwell的性能非常驚人。這將是非常了不起的產品。」

問：這是否意味著客戶將需要較少的GPU就夠了？

「這是我們的目標。目標是大幅降低模型訓練的成本。然后，人們就可以擴大他們想要訓練的模型。」

問：英偉達在許多AI初創公司中進行了投資。去年有報道稱，你們投資了超過30家。這些初創公司是否在等待硬件方面得到了優先考慮？

「他們面臨與所有人一樣的GPU供應緊張，因為他們中的大多數人使用公共云，因此他們必須自己與公共云服務提供商談判。但他們確實獲得了對我們AI技術的支持，這意味著他們可以利用我們的工程能力和我們優化AI模型的特殊技巧。」

「我們使他們的工作更高效。如果你的吞吐量提高了五倍，你實際上就獲得了五倍的GPU性能。這就是他們從我們這里獲得的優勢。」

問：你認為自己在這方面是一個風向標嗎？

「不。我們投資這些公司，因為他們在他們所做的事情上非常出色。對我們來說能夠投資他們是一種榮幸，而不是反過來。這些是世界上一些最聰明的人才。他們不需要我們來為他們背書。」

問：當機器學習越來越多地轉向推理而不是訓練——基本上，如果AI工作變得在計算上不那么密集——這是否會減少對你們GPU的需求？

「我們喜歡推理。實際上，我會說，英偉達的業務今天可能是，70%的推理+30%訓練。」

「這是好事，因為這意味著AI最終實現了價值。如果英偉達的業務是90%的訓練和10%的推理，你可能會認為 AI 仍然處于研究階段。七八年前確實如此。」

「但今天，每當你在云中輸入一個提示并生成某物時——無論是視頻、圖像、2D、3D、文本還是圖表——很可能背后都是英偉達的GPU。」

「我認為我們正處于生成式AI革命的開始。今天，世界上完成的大多數計算仍然是基于檢索的。」

檢索意味著你在手機上發出指令，它發送一個信號到云，檢索一條信息。它可能會結合幾種不同的元素來構成一個回應，然后使用Java技術，在你的手機上的漂亮屏幕上呈現給你。」

「未來，計算將更多地基于RAG。基于檢索的生成是一種框架，允許大型語言模型拉取其通常參數之外的數據。其中的檢索部分將會減少，個性化生成的部分將大大增加。」

「這一代將由某處的GPU完成。因此，我認為我們正處于這個基于檢索的、生成式計算革命的開始，生成式AI將成為幾乎所有事物不可或缺的一部分。」

出口管制

問：最新的消息是，你們一直在與美國政府合作，制定了可以向中國出口的符合制裁要求的芯片。我的理解是，這些并不是最先進的芯片。你們與政府合作得有多緊密，以確保你們仍然可以在中國開展業務？

「嗯，退一步講，這是出口管制，而不是制裁。美國已經確定英偉達的技術和這套AI計算基礎設施對國家具有戰略意義，因此適用出口管制。我們在第一時間遵守了出口管制——2022年8月。」

「美國在2023年增加了更多的出口管制條款，這迫使我們再次對產品進行重新設計。因此，我們做到了。我們正在開發一套符合當前出口管制規定的新產品。我們與政府密切合作，確保我們的方案與他們的意圖一致。」

問：這些限制可能會激勵中國加速發展競爭性AI芯片，你對此有多擔心？

「中國已經擁有具有競爭力的產品。」

「對。這不是數據中心規模的產品，但去年推出的華為Mate 60智能手機因其自研的芯片而受到關注。」

「華為確實是一家非常出色的公司。他們的限制來自于他們能夠使用的任何半導體加工技術，但他們仍然可以通過整合許多這樣的芯片來構建非常大的系統。」

問：不過，你總體上有多擔心中國將能夠在生成式AI方面趕上美國？

「這項規定將限制中國獲取最先進技術的能力，這意味著西方世界，那些不受出口控制限制的國家，將能夠使用更好的技術，這些技術正在迅速進步。」

「因此，我認為這種限制給中國帶來了巨大的成本壓力。你總是可以在技術上整合更多的芯片制造系統來完成工作。但這只會增加那些單元的成本。這可能是最簡單的思考方式。」

問：你是否擔心，在中國銷售符合規定的芯片，會影響你與臺灣半導體業的驕傲TSMC的關系？

「不會。因為這項規定是一個具體的措施，它和速度限制沒有區別。」

問：你曾多次說過，在你的超級計算機中有35000個組件，其中8個來自TSMC。當我聽到這個時，我認為這必定是一個很小的比例。你是否在輕描淡寫你對TSMC的依賴？

「不，絕對不是。」

問：那么你想用那句話表達什么？

「我只是在強調，為了構建一個AI超級計算機，需要涉及大量其他組件。實際上，在我們的AI超級計算機中，幾乎整個半導體行業都與我們合作。」

「我們已經與三星、SK海力士、英特爾、AMD、博通、Marvell等公司建立了非常緊密的合作關系。在我們的AI超級計算機中，當我們成功時，一大批公司與我們一同成功，我們對此感到高興。」

問：你多久與TSMC的Morris Chang或Mark Liu交流一次？

「一直。不斷地。」

問：你們的談話內容是什么？

「這些天我們主要討論先進封裝技術、為未來幾年的先進計算能力規劃產能。CoWoS（TSMC的專有技術，用于將芯片模塊和內存模塊集成到一個單一的封裝中）需要新工廠、新生產線、新設備。因此，他們的支持至關重要。」

問：我最近與一位專注于生成式AI的CEO交談。我問英偉達未來可能的競爭對手是誰，這個人提到了谷歌的TPU。其他人提到了AMD。我想對你來說這可能還有其他答案，但你認為你最大的競爭對手是誰？誰讓你睡不安穩那種。

「他們都讓我睡不安穩。TPU團隊非常出色。TPU團隊真的很棒，AWSTrainium團隊和AWS Inferentia團隊也非常出色，非常優秀。」

「微軟有他們的內部ASIC開發，正在進行中，稱為Maia。」

「中國的每個云服務提供商都在開發內部芯片，然后還有一大批初創公司和現有的半導體公司都在制造出色的芯片。每個人都在制造芯片。」

「這不應該讓我夜不能寐，因為我應該確保我的工作讓我足夠疲憊，以至于沒有人能讓我夜不能寐。這真的是我唯一能控制的事情。」

「但是讓我早上醒來的肯定是，我們必須繼續兌現我們的承諾，那就是，我們是世界上唯一一家每個人都可以與之合作，在數據中心規模和完整堆棧上構建AI超級計算機的公司。」

回到30年前，我會犧牲一切再創英偉達

問：我有一些個人問題想問你。我問ChatGPT了一個關于你的問題。我想知道你是否有任何紋身，因為我打算提議我們下次見面時給你紋一個。如果你紋身，我也會紋一個。

「我也有一個。」

問：是的。這就是我從ChatGPT那里了解到的。它說老黃在股價達到100美元時紋了公司logo的紋身。

然后它說，「然而，老黃表示，他不太可能再紋任何紋身了，注意到疼痛比他預期的要強烈。」它說你哭了。你真的哭了嗎？

「算是吧。我的建議是在你紋身之前喝一杯威士忌。或者服用Advil。我還認為女性可以承受更多的疼痛，因為我的女兒有一個相當大的紋身。」

問：我想知道，你個人多久使用一次ChatGPT或Bard，或類似的工具？

我一直在使用Perplexity。我也很喜歡ChatGPT。我幾乎每天都在使用它們。

問：用來干什么？

「研究。例如，計算機輔助的藥物發現。也許你想知道計算機輔助藥物發現的最新進展。」

「你可以選定整個主題，以便你可以有一個框架，從那個框架中，你可以提出越來越具體的問題。我真的很喜歡這些大型語言模型的特點。」

問：我聽說你過去常舉重。你還在堅持嗎？

「不。我會嘗試每天做40個俯臥撐。這只用花幾分鐘的時間。我還會在刷牙時做深蹲。不過我是一個懶惰的鍛煉者。」

問：最近你在Acquired播客上發表的一條評論引起了熱議。主持人問，如果你今天30歲，正在考慮創辦一家公司，你會創辦什么？你說你根本不會創辦公司。你對此有什么補充嗎？

「那個問題可以用兩種方式回答，我選擇了這種方式：如果我那時知道我現在所知道的一切，我會太害怕去做。我會太害怕。我不會這么做。」

「你必須有些執念和妄想才會想創辦一家企業。」

「這是無知的優勢。你不知道這將有多困難，你不知道會涉及多少痛苦和苦難。當我現在遇到企業家時，他們告訴我這將是多么容易，我非常支持他們」

「我實際上并不嘗試戳破他們的幻想。但我在腦海中知道，“哦，男孩，這不會像他們想的那樣。”」

問：你認為在經營英偉達過程中你不得不做出的最大犧牲是什么？

「與其他企業家做出的犧牲是一樣的。你要非常非常努力地工作。很長一段時間，沒有人認為你會成功。你獨自相信你會成功。不安全感、脆弱性，有時是羞辱，這都是真的。沒有人談論它，但這都是真的。CEO和企業家和其他人一樣是人。當他們在所有人面前失敗時，是很尷尬的。」

「但如果我那時知道英偉達會成為今天這樣，我是否會創辦公司，你開玩笑嗎？我會犧牲一切去做。」