今天，著名的SemiAnalysis分析師Dylan Patel和Daniel Nishball，又來爆料行業(yè)內(nèi)幕了。

而整個AI社區(qū)，再次被這次的消息所震驚：OpenAI的算力比起谷歌來，只能說是小兒科——

谷歌的下一代大模型Gemini，算力已達(dá)GPT-4的5倍！

根據(jù)Patel和Nishball的說法，此前屢屢被爆料將成為GPT-4大殺器的谷歌Gemini，已經(jīng)開始在新的TPUv5 Pod上進(jìn)行訓(xùn)練了，算力高達(dá)~1e26 FLOPS，比訓(xùn)練GPT-4的算力還要大5倍。

如今，憑借著TPUv5，谷歌已經(jīng)成為了算力王者。它手中的TPUv5數(shù)量，比OpenAI、Meta、CoreWeave、甲骨文和亞馬遜擁有的GPU總和還要多！

雖然TPUv5在單芯片性能上比不上英偉達(dá)的H100，但谷歌最可怕的優(yōu)勢在于，他們擁有高效、龐大的基礎(chǔ)設(shè)施。

沒想到，這篇爆料引來Sam Altman圍觀，并表示，「難以置信的是，谷歌竟然讓那個叫semianalysis的家伙發(fā)布了他們的內(nèi)部營銷/招聘圖表，太搞笑了。 」

有網(wǎng)友卻表示，這僅是一篇評論性文章，并非實際新聞，完全是推測。

不過，此前Dylan Patel參與的兩篇稿件，無一例外都被證實，并且引發(fā)了業(yè)內(nèi)的軒然大波。無論是谷歌的內(nèi)部文件泄漏事件（「我們沒有護(hù)城河，OpenAI也沒有」）——

谷歌DeepMind的首席執(zhí)行官Demis Hassabis在一次采訪中確認(rèn)了谷歌護(hù)城河的真實性

還是GPT-4的架構(gòu)、參數(shù)等內(nèi)幕消息大泄密——

下面讓我們來仔細(xì)看看，這次的爆料文章，又將帶來多少重磅內(nèi)幕消息。

沉睡的巨人谷歌已經(jīng)醒來

提出Transformer開山之作「Attention is all you need」的作者之一、LaMDA和PaLM的關(guān)鍵參與者Noam Shazeer，曾受MEENA模型的啟發(fā)，寫過一篇文章。

在這篇文章里，他準(zhǔn)確地預(yù)言了ChatGPT的誕生給全世界帶來的改變——LLM會越來越融入我們的生活，吞噬全球的算力。

這篇文章遠(yuǎn)遠(yuǎn)領(lǐng)先于他的時代，但卻被谷歌的決策者忽略了。

論文地址：https://arxiv.org/pdf/2001.09977.pdf

現(xiàn)在，谷歌擁有算力王國所有的鑰匙，沉睡的巨人已經(jīng)醒來，他們的向前迭代的速度已經(jīng)無法阻擋，在2023年底，谷歌的算力將達(dá)到GPT-4預(yù)訓(xùn)練FLOPS的五倍。

而考慮谷歌現(xiàn)在的基建，到明年年底，這個數(shù)字或許會飆升至100倍。

谷歌是否會在不削減創(chuàng)造力、不改變現(xiàn)有商業(yè)模式的基礎(chǔ)上在這條路上繼續(xù)深耕？目前無人知曉。

「GPU富豪」和「GPU窮人」

現(xiàn)在，手握英偉達(dá)GPU的公司，可以說是掌握了最硬的硬通貨。

OpenAI、谷歌、Anthropic、Inflection、X、Meta這些巨頭或明星初創(chuàng)企業(yè)，手里有20多萬塊A100/H100芯片，平均下來，每位研究者分到的計算資源都很多。

個人研究者，大概有100到1000塊GPU，可以玩一玩手頭的小項目。

CoreWeave已經(jīng)拿英偉達(dá)H100抵押，用來買更多GPU

而到2024年底，GPU總數(shù)可能會達(dá)到十萬塊。

現(xiàn)在在硅谷，最令頂級的機(jī)器學(xué)習(xí)研究者自豪的談資，就是吹噓自己擁有或即將擁有多少塊GPU。

在過去4個月內(nèi)，這股風(fēng)氣越刮越盛，以至于這場競賽已經(jīng)被放到了明面——誰家有更多GPU，大牛研究員就去哪兒。

Meta已經(jīng)把「擁有世界上第二多的H100 GPU」，直接拿來當(dāng)招聘策略了。

與此同時，數(shù)不清的小初創(chuàng)公司和開源研究者，正在為GPU短缺而苦苦掙扎。

因為沒有足夠虛擬內(nèi)存的GPU，他們只能虛擲光陰，投入大量時間和精力，去做一些無關(guān)緊要的事。

他們只能在更大的模型上來微調(diào)一些排行榜風(fēng)格基準(zhǔn)的小模型，這些模型的評估方法也很支離破碎，更強(qiáng)調(diào)的是風(fēng)格，而不是準(zhǔn)確性、有用性。

他們也不知道，只有擁有更大、更高質(zhì)量的預(yù)訓(xùn)練數(shù)據(jù)集和IFT數(shù)據(jù)，才能讓小開源模型在實際工作負(fù)載中得到改進(jìn)。

「誰將獲得多少H100，何時獲得H100，都是硅谷現(xiàn)在的頂級八卦。」OpenAI聯(lián)合創(chuàng)始人Andrej Karpathy曾經(jīng)這樣感慨

是的，高效使用GPU很重要，許多GPU窮人把這一點忽視了。他們不關(guān)心規(guī)模效應(yīng)的效率，也沒有有效利用自己的時間。

到明年，世界就會被350萬H100所淹沒，而這些GPU窮人，將徹底與商業(yè)化隔絕。他們只能用手中的游戲用GPU來學(xué)習(xí)、做實驗。

大部分GPU窮人仍然在使用密集模型，因為這就是Meta的Llama系列模型所提供的。

如果不是扎克伯格的慷慨，大部分開源項目會更糟。

如果他們真的關(guān)心效率，尤其是客戶端的效率，他們會選擇MoE這樣的稀疏模型架構(gòu)，并且在更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練，并且像OpenAI、Anthropic、Google DeepMind這樣的前沿LLM實驗室一樣，采用推測解碼。

此圖表假設(shè)，無法融合每個操作、注意力機(jī)制所需的內(nèi)存帶寬、硬件開銷相當(dāng)于參數(shù)讀取，都會導(dǎo)致效率低下。實際上，即使使用優(yōu)化的庫，比如英偉達(dá)的FasterTransformer庫，總開銷甚至還會更大

處于劣勢的公司應(yīng)該把重點放在提高模型性能或減輕token到token延遲上，提高計算和內(nèi)存容量要求，減少內(nèi)存帶寬，這些才是邊緣效應(yīng)所需要的。

他們應(yīng)該專注于在共享基礎(chǔ)架構(gòu)上高效地提供多個微調(diào)模型，而不必為小批量模型付出可怕的成本代價。

然而，事實卻恰恰相反，他們卻過于關(guān)注內(nèi)存容量限制或量化程度太高，卻對模型實際質(zhì)量的下降視而不見。

總的來說，現(xiàn)在的大模型排行榜，已經(jīng)完全亂套了。

雖然閉源社區(qū)還有很多人在努力改進(jìn)這一點，但這種開放基準(zhǔn)毫無意義。

出于某種原因，人們對LLM排行榜有一種病態(tài)的癡迷，并且為一些無用的模型起了一堆愚蠢的名字，比如Platypus等等。

在以后，希望開源的工作能轉(zhuǎn)向評估、推測解碼、MoE、開放IFT數(shù)據(jù)，以及用超過10萬億個token清洗預(yù)訓(xùn)練數(shù)據(jù)，否則，開源社區(qū)根本無法與商業(yè)巨頭競爭。

現(xiàn)在，在大模型之戰(zhàn)的世界版圖已經(jīng)很明顯：美國和中國會持續(xù)領(lǐng)先，而歐洲因為缺乏大筆投資和GPU短缺已經(jīng)明顯落后，即使有政府支持的超算儒勒·凡爾納也無濟(jì)于事。而多個中東國家也在加大投資，為AI建設(shè)大規(guī)模基礎(chǔ)設(shè)施。

當(dāng)然，缺乏GPU的，并不只是一些零散的小初創(chuàng)企業(yè)。

即使是像HuggingFace、Databricks（MosaicML)，以及Together這種最知名的AI公司，也依然屬于「GPU貧困人群」。

事實上，僅看每塊GPU所對應(yīng)的世界TOP級研究者，或者每塊GPU所對應(yīng)的潛在客戶，他們或許是世界上最缺乏GPU的群體。

雖然擁有世界一流的研究者，但所有人都只能在能力低幾個數(shù)量級的系統(tǒng)上工作。

雖然他們獲得了大量融資，買入了數(shù)千塊H100，但這并不足以讓他們搶占大部分市場。

你所有的算力，全是從競品買的

在內(nèi)部的各種超級計算機(jī)中，英偉達(dá)擁有著比其他人多出數(shù)倍的GPU。

其中，DGX Cloud提供了預(yù)訓(xùn)練模型、數(shù)據(jù)處理框架、向量數(shù)據(jù)庫和個性化、優(yōu)化推理引擎、API以及英偉達(dá)專家的支持，幫助企業(yè)定制用例并調(diào)整模型。

如今，這項服務(wù)也已經(jīng)吸引了來自SaaS、保險、制造、制藥、生產(chǎn)力軟件和汽車等垂直行業(yè)的多家大型企業(yè)。

即便是不算上那些未公開的合作伙伴，僅僅是由安進(jìn)（Amgen）、Adobe、CCC、ServiceNow、埃森哲（Accenture）、阿斯利康（AstraZeneca）、蓋蒂圖片社（Getty Images）、Shutterstock、晨星（Morningstar）、Evozyne、Insilico Medicine、Quantiphi、InstaDeep、牛津納米孔（Oxford Nanopore）、Peptone、Relation Therapeutics、ALCHEMAB Therapeutics和Runway等巨頭組成的這份比其他競爭對手要長得多的名單，就已經(jīng)足夠震撼了。

考慮到云計算的支出和內(nèi)部超級計算機(jī)的建設(shè)規(guī)模，企業(yè)從英偉達(dá)這里購買的似乎比HuggingFace、Together和Databricks所能夠提供的服務(wù)加起來還要多。

作為行業(yè)中最有影響力的公司之一，HuggingFace需要利用這一點來獲得巨額投資，建立更多的模型、定制和推理能力。但在最近一輪的融資中，過高的估值讓他們并沒有得到所需的金額。

Databricks雖然可以憑借著數(shù)據(jù)和企業(yè)關(guān)系迎頭趕上。但問題在于，如果想要為超過7,000個客戶提供服務(wù)，就必須將支出增加數(shù)倍。

不幸的是，Databricks無法用股來購買GPU。他們需要通過即將開始的私募/IPO來進(jìn)行大規(guī)模融資，并進(jìn)一步用這些現(xiàn)金來加倍投資于硬件。

從經(jīng)濟(jì)學(xué)的角度來看有些奇怪，因為他們必須先建設(shè)，然后才能引來客戶，而英偉達(dá)同樣也在為他們的服務(wù)一擲千金。不過，這也是參與競爭的前提條件。

這里的關(guān)鍵在于，Databricks、HuggingFace和Together明顯落后于他們的主要競爭對手，而后者又恰好是他們幾乎所有計算資源的來源。

也就是說，從Meta到微軟，再到初創(chuàng)公司，實際上所有人都只是在充實英偉達(dá)的銀行賬戶。

那么，有?能把我們從英偉達(dá)奴役中拯救出來嗎？

是的，有?個潛在的救世主——谷歌。

谷歌算?之巔，OpenAI不及一半

雖然內(nèi)部也在使用GPU，但谷歌的手中卻握著其他「王牌」。

其中，最讓業(yè)界期待的是，谷歌下一代大模型Gemini，以及下一個正在訓(xùn)練的迭代版本，都得到了谷歌?與倫?的?效基礎(chǔ)設(shè)施的加持。

早在2006年，谷歌就開始提出了構(gòu)建人工智能專用基礎(chǔ)設(shè)施的想法，并于2013年將這一計劃推向高潮。

他們意識到，如果想大規(guī)模部署人工智能，就必須將數(shù)據(jù)中心的數(shù)量增加一倍。

因此，谷歌開始為3年后能夠投入生產(chǎn)的TPU芯片去做準(zhǔn)備。

最著名的項目Nitro Program在13年發(fā)起，專注于開發(fā)芯片以優(yōu)化通用CPU計算和存儲。主要的目標(biāo)是重新思考服務(wù)器的芯片設(shè)計，讓其更適合谷歌的人工智能計算工作負(fù)載。

自2016年以來，谷歌已經(jīng)構(gòu)建了6種不同的AI芯片，TPU、TPUv2、TPUv3、TPUv4i、TPUv4和TPUv5。

谷歌主要設(shè)計這些芯片，并與Broadcom進(jìn)行了不同數(shù)量的中后端協(xié)作，然后由臺積電生產(chǎn)。

TPUv2之后，這些芯片還采用了三星和SK海力士的HBM內(nèi)存。

在介紹Gemini和谷歌的云業(yè)務(wù)之前，爆料者先分享了關(guān)于谷歌瘋狂擴(kuò)張算力的一些數(shù)據(jù)——各季度新增加的?級芯?總數(shù)。

對于OpenAI來說，他們擁有的總GPU數(shù)量將在2年內(nèi)增加4倍。

而對于谷歌來說，所有人都忽視了，谷歌擁有TPUv4（PuVerAsh）、TPUv4 lite，以及內(nèi)部使?的GPU的整個系列。

此外，TPUv5 lite沒有在這里算進(jìn)去，盡管它可能是推理較?語?模型的主?。

如下圖表中的增長，只有TPUv5（ViperAsh）可視化。

即使對他們的能力給予充分肯定，谷歌的算力也足以讓所有人都傻了眼。

實際上，谷歌擁有的TPUv5比OpenAI、Meta、CoreWeave、甲骨文和亞馬遜擁有的GPU總和還要多。

并且，谷歌能夠?qū)⑦@些能力的很大一部分出租給各種初創(chuàng)公司。

當(dāng)然，就每個芯片方面的性能來說，TPUv5與H100相比有顯著的差距。

撇開這點不說，OpenAI的算力只是谷歌的一小部分。與此同時，TPUv5的構(gòu)建能夠大大提升訓(xùn)練和推理能?。

此外，谷歌全新架構(gòu)的多模態(tài)大模型Gemini，一直在以令人難以置信的速度迭代。

據(jù)稱，Gemini可以訪問多個TPU pod集群，具體來講是在7+7 pods上進(jìn)行訓(xùn)練。

爆料者表示，初代的Gemini應(yīng)該是在TPUv4上訓(xùn)練的，并且這些pod并沒有集成最大的芯片數(shù)——4096個芯?，而是使用了較少的芯片數(shù)量，以保證芯片的可靠性和熱插拔。

如果所有14個pod都在合理的掩模場利用率（MFU）下使?了約100天，那么訓(xùn)練Gemini的硬件FLOPS將達(dá)到超過1e26。

作為參考，爆料者在上次「GPT-4架構(gòu)」文章中曾詳細(xì)介紹了GPT-4模型的FLOPS比2e25稍高一點。

而?歌模型FLOPS利?率在TPUv4上?常好，即使在?規(guī)模訓(xùn)練中，也就是Gemini的第?次迭代，遠(yuǎn)遠(yuǎn)?于GPT-4。

尤其是，就模型架構(gòu)優(yōu)越方面，如增強(qiáng)多模態(tài)，更是如此。

真正令人震驚的是Gemini的下一次迭代，它已經(jīng)開始在基于TPUv5的pod上進(jìn)?訓(xùn)練，算力高達(dá)~1e26 FLOPS，這比訓(xùn)練GPT-4要大5倍。

據(jù)稱，第?個在TPUv5上訓(xùn)練的Gemini在數(shù)據(jù)??存在?些問題，所以不確定谷歌是否會發(fā)布。

這個~1e26模型可能就是，公開稱為Gemini的模型。

再回看上?的圖表，這不是?歌的最終形態(tài)。?賽已經(jīng)開始了，而?歌有著巨?的優(yōu)勢。

如果他們能夠集中精力并付諸實施，至少在訓(xùn)練前的計算規(guī)模擴(kuò)展和實驗速度方面，他們終將勝出。

他們可以擁有多個比OpenAI最強(qiáng)大的集群，還要強(qiáng)大的集群。谷歌已經(jīng)摸索了一次，還會再來一次嗎？

當(dāng)前，?歌的基礎(chǔ)設(shè)施不僅滿?內(nèi)部需求，Anthopic等前沿模型公司和?些全球最?的公司，也將訪問TPUv5進(jìn)?內(nèi)部模型的訓(xùn)練和推理。

?歌將TPU遷移到云業(yè)務(wù)部門，并重新樹立了商業(yè)意識，這讓他們贏得了一些大公司的青睞果斷戰(zhàn)斗。

未來幾個月，你將會看到谷歌的勝利。這些被推銷的公司，有的會為它的TPU買單。