小扎自曝砸重金訓Llama 4，24萬塊GPU齊發力！預計2025年發布
Llama 3.1剛發布不久，Llama 4已完全投入訓練中。
這幾天，小扎在二季度財報會上稱，Meta將用Llama 3的十倍計算量，訓練下一代多模態Llama 4，預計在2025年發布。
圖片
這筆賬單，老黃又成為最大贏家
十倍計算量，是什么概念？
要知道，Llama 3是在兩個擁有24,000塊GPU集群完成訓練。也就是說，Llama 4訓練要用24萬塊GPU。
圖片
那么，Meta存貨還夠不夠？
還記得小扎曾在年初宣布，計劃到年底要部署35萬塊英偉達H100。
他還透露了更多的細節，Meta內部將為訓練LLM打造兩個單集群，一個配備22,000塊H100，另一個集群配備24,000塊。
圖片
有網友曾回顧了Llama模型迭代過程中，GPU的用量如何增長的：
Llama 1：2048塊GPU
Llama 2：4096塊GPU
Llama 3.1：16384塊GPU
圖片
或斥資400億美金，小扎不愿為時已晚
可見，訓練大模型是一項代價高昂的業務。
財報顯示，Meta第二季度在服務器、數據中心和網絡基礎設施上，資本支出增長了近33%。
從去年同期64億美元，增至85億美元。
現在，預計年度支出將達到370億-400億美元，高于之前預估的350億-400億美元。
圖片
Information一份報告稱，OpenAI在訓練模型上花費了30億美元，另外還花費了40億美元以折扣價從微軟那里租用服務器。
可見，訓練大模型算力花費，是多么地諷刺。
不過意義在于，Llama 3.1的開源將成為AI行業的一個重要轉折點，開源人工智能開始像Linux一樣成為行業標準。
Meta正在規劃未來幾年的計算集群和數據中心，以支持未來幾代AI模型。
小扎承認，很難去預測未來AI技術的發展路徑，但基建不是速成的。
盡管存在不確定性，我愿意冒險提前建立，也不愿意因準備不足而落后于競爭對手。
小扎這種先見之明，曾帶領公司在元宇宙浪潮中，堅挺而出。
在2022年公司股價遭遇重創之際，小扎還是鋌而走險，購買了大批H100。
當年第三季度財報顯示，Meta資本支出高達320億-330億美元。
其中一部分大多流向數據中心、服務器和網絡基礎設施構建，以及在元宇宙上的巨額投入。
在采訪中，小扎解釋道，「當時Meta正大力發展短視頻工具Reels，因此需要更多的GPU來訓模型」。
因為模型推理對Meta來說，是至關重要的一件大事，需要為Facebook、Ins等自家應用的用戶提供服務。
用小扎的原話來說就是：
我們所需的推理計算與訓練的比率，可能遠高于其他從事這一領域的公司，這是因為我們所服務的社區用戶量非常龐大。
人手一個AI智能體
前段時間Meta AI科學家Thomas Scialom在一次博客采訪中，同樣提到了，6月份已經開始訓練的Llama 4。
他表示，新模型可能重點在智能體技術上，并且已經在Toolformer等agent工具上進行了一些研究。
圖片
小扎相信，AI智能體很快將成為在線企業的「標配」。
「隨著時間的推移，我認為，就像每個企業都有網站、社交媒體賬號和電子郵件地址一樣，未來每個企業也都會有一個AI智能體，讓客戶可以與之互動」。
Meta的目標是，讓使每個小企業，最終甚至每個大企業，都能輕松地將自身的內容和產品整合到AI智能體中。
當這項技術大規模投入到現實應用中，這將大大加速我們的商業信息收入。
圖片
盡管投資者對Meta在AI和元宇宙上的高額支出提出批評，但小扎仍舊堅持自己的戰略。
雖然在Meta最近幾個季度，虛擬現實似乎已經退居次要地位，但扎克伯格確實提到，Quest 3的銷量超出了公司的預期。
二季度數顯示，這一領域的收入增長22%至391億美元，利潤增加73%至135億美元。
對于第三季度，Meta預計收入在385-410億美元之間。
消息人士表示，該公司將在9月份的Connect大會上宣布推出一款更便宜的耳機。
此外，AI助手Meta AI越來越受歡迎，小扎表示，它有望在年底前成為使用最廣泛的AI助手。
圖片
參考資料：
https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg
