如果你手頭有一個價值100億美元的AI模型，通過了安全測試且讓所有人受益，你愿意將它開源嗎？

這個問題會讓許多人陷入良久的思考，但小扎沒有猶豫，他的回答是——我愿意！

這個驚人的言論，出自最近小扎在Dwarkesh Patel播客中的談話。

此外，這期干貨滿滿的談話中，他還曝出了不少內幕消息，比如Meta為何會未卜先知，在2022年就大量買進H100；為何自己會篤信元宇宙等等。

而且，跟Sam Altman、馬斯克等高歌猛進的樂觀主義者不同，小扎對于AGI的短期實現是持悲觀態度的。

在他看來，人類根本不可能在2025年之前實現AGI，因為最大的瓶頸就是能源限制。要解決能源問題，我們還需要幾十年時間。

開源價值100億美元的AI模型，我愿意

當主持人Patel問道：如果Meta砸了100億美元開發出一個模型，它完全安全，甚至評估值還可以對模型微調，你會開源嗎？

小扎堅定不移地表示：會。

主持人魯豫臉表示不信：「花了100億美元研發費用的模型，真的說開源就開源？」

小扎表示，Meta會對此進行評估的，畢竟公司一向以開源英雄著稱，在開源方面有悠久的歷史，擁有PyTorch、React和開放計算等項目。

在開放計算項目中，Meta將所有服務器、網絡交換機和數據中心的設計都開源了。這樣，整個行業都以他們的設計為標準，直接讓供應鏈圍繞這種設計建立起來。

這就大大降低了價格，直接為相關人員節省了數十億美元。

而且，開源就能集思廣益，如果有人能找到更便宜的運行方法，提升10%的效率，那就能直接節省數十億甚至數百億美元，這本身就是很值錢的，因此開源好處多多。

不過，他也承認：如果模型成為產品時，情況就變得復雜了。此時，就需要仔細權衡開源在經濟上的利弊，不過，目前Meta并不處于這種情況。

這是顯而易見的，因為Meta絕對不會把Instagram的代碼開源。

蘋果和谷歌是糟糕的守門人

同時，小扎也痛批了競爭對手一把。

他表示，移動生態最糟糕的一點就是，我們可以開發什么，是由蘋果和谷歌這兩個守門人把門的。

因為每當Meta構建出一些產品，這倆就會分走一大筆錢。

更讓小扎不滿的是，很多次Meta想要推出新產品或新功能，蘋果都會說不行。

小扎直呼：如果世界里只有這幾家運行封閉模型的公司，它們將直接控制API！

就是為了打破這種局面，Meta深信自己去構建一個模型是值得的。

對此，Ate-a-Pi開玩笑道：因為扎克伯格是個好人！

當然，他確實是個好人。但更重要的是這背后商業上的考量：

1. 允許在Meta之外進行社交產品的調試：

- 社交產品總會有bug！

- Meta以及所有社交平臺的產品，都需要對互動的內容進行控制（例如對孩子說有害的話)

- 將技術推向市場，可以讓Meta在小規模環境中觀察到這些bug

2. Meta面臨的最大威脅是character.ai：

- AI朋友將更多、更友好、更易于獲取，超越你的現實朋友（目前被FB、Ins和WhatsApp等「控制」）

- 但Meta目前還不能直接下場，因為這會讓人感到不安，尤其是在技術還未完善時，會產生一種怪異的不自然感

- Meta曾嘗試過Tom Brady和Snoop Dogg風格的AI朋友，但為了安全，有趣的互動受到了很高的限制

- 如果AI朋友的表現足夠好，小扎或許不得不「解散」他建立的社交網絡

3. 摧毀競爭對手：

- 技術或產品的早期領先可以幫助一家初創公司克服分銷上的不利

- Meta擁有終極的分銷優勢 ，而小扎不希望其他人分一杯羹

- 通過開源，他可以有效限制character.ai、OpenAI等公司收入的增長

- 這些公司必須在資本的限制下加速創新，而他并不會受到資本的限制

- 最終，防止大型競爭對手的出現

4. 分布式研發：

- 他希望其他人能夠開發出有趣的社交創意，并進行復制（此前就曾將Snap的創新融入Instagram）

- 現在更甚，因為你必須給微調的Llama 3打上標注

不得不說，小扎的這波操作可謂是體現了他對社交無人能及的理解，仿佛就像來自另一個星球一樣。

除此之外，在2023年第四季度財報中，小扎也曾詳細說明過了以上內容。

簡而言之，開源可以改進我們的模型。

首先，將模型轉化為產品還需要大量工作，而且無論如何市場上都會有其他開源模型。

因此，我們認為成為開源的領導者不僅不會顯著削弱我們產品的差異化，而且還會帶來優勢。

我之前以為，面向社交、商業或媒體領域的這些工具，只需解決AI挑戰的一個子集就能交付。但現在看來，為了提供我們設想的最佳服務，模型必須具備推理、規劃、編碼、記憶等多種認知能力。

FAIR從事通用智能研究已有十多年，現在通用智能也將成為我們產品工作的重點。

寒冬已來，25年前不可能實現AGI

關于AGI的短期實現，小扎是持悲觀態度的。

在他看來，2025年之前是不可能實現AGI的，最大的瓶頸，就是能源限制。

能源將限制AI的發展，而如果要解決這些問題，可能需要幾十年時間。

雖然坐擁至少數萬塊英偉達GPU，但小扎卻覺得，單純把計算集群造大，早晚會遇到邊際效應的那一點，感覺有點在內涵Sam Altman。

在采訪中，他表示如今世界上最棘手的事情就是：雖然Llama-3的8B比Llama-2 的70B更好，但指數曲線還能持續多久？

盡管如此，他也認為投資100億美元，甚至1000億美元，來建設基礎設施是值得的，或許會讓我們得到一些驚人的東西。

是的，如今GPU的供應限制，已經讓很多公司投入大量資金來構建基礎設施。

在到達某一點的時候，投入更多資本的性價比就變低了。

而且在到達這一點之前，我們就會遇到能源的限制。因為目前還沒人建立過一千兆瓦的單一訓練集群。

在過去十年中，每單位能量的原始計算量每兩年翻一番，老黃也意識到了這一點

主持人提問道：如果你有1萬億美元呢？

小扎表示，這還是取決于指數曲線會走多遠。

現在的數據中心，規模大概是50兆瓦或100兆瓦，特別大型的能達到150兆瓦。

但300兆瓦、500兆瓦甚至1吉瓦的數據中心，需要花費數年時間才建成，如果是1吉瓦，就需要一個核電廠的能源。

此外，也存在架構瓶頸。

小扎認為，如果持續給Llama-3 70B提供更多數據，或者通過token進行優化，它會持續改進。

不過，我們在此基礎上構建的東西，不可能無限進步。

也就是說，小扎基本陷入了漸進主義的陷阱，他不相信GPT-4的性能可以提升100倍，或AGI在短期內能實現。

如果GPT-5的性能是GPT-4的10到100倍，那當前的MMLU之類的基準測試，根本就不起作用。

那該如何衡量，模型創造的價值是否超過了部署成本呢？

總之，放出這種言論的小扎，現在并沒有在籌集資金。而Sam Altman、馬斯克、Dario Amodei等瘋狂籌資的大佬，都預計AI模型能力將大幅提高。

這其中有多少是真實水分，有多少是炒作需要，我們就不得而知了。

只能說，相比之下小扎目前看起來更像個老實人。

22年買入大量GPU，是未卜先知？

在2022年公司股價遭遇重創之際，小扎還是鋌而走險，購買了大批H100。

當年第三季度財報顯示，Meta資本支出高達320億-330億美元。

其中一部分大多流向數據中心、服務器和網絡基礎設施構建，以及在元宇宙上的巨額投入。

而現在看來，他好像擁有一種未卜先知的能力。

在采訪中，小扎解釋道，「當時Meta正大力發展短視頻工具Reels，因此需要更多的GPU來訓模型」。

「這也是我們提供服務的一次重大轉變，我們不再針對你所關注的人或頁面的內容進行排名，而是開始大力推薦『非關聯內容』的內容」。

也就是說，向用戶展示候選內容的語料庫，有時會從幾千個擴大到數億個。

若想在這一數量級數據中完成訓練推理，就需要一個完全不同的基礎設施。

「因此，我們要訂購足夠多的GPU，以滿足我們在Reels、內容排序和信息流等方面的需求。還要額外多購買一倍」。

另外，小扎曾在年初宣布，計劃到年底要部署35萬塊英偉達H100。

他透露了更多的細節，這將是一個非常大的艦隊。Meta內部將為訓練LLM打造兩個單集群，一個配備22,000塊H100，另一個集群配備24,000塊。

因為模型推理對Meta來說，是至關重要的一件大事，需要為Facebook、Ins等自家應用的用戶提供服務。

用小扎的原話來說，就是：

我們所需的推理計算與訓練的比率，可能遠高于其他從事這一領域的公司，這是因為我們所服務的社區用戶量非常龐大。

GPT-4級開源模型，今年晚些發布

小扎還提到，對于Llama 3，主要專注于使用大量代碼進行訓練。在代碼中訓練模型，有助于其在不同的領域中進行推理。

與此同時，Llama 3是專為工具使用而設計。

「我們的開發者不需要手寫所有代碼，就可以讓模型使用谷歌并進行搜索」。

他還提到了，下一代模型Llama 4將針對智能體行為而打造。

其實，整個AI圈更加期待的是，媲美GPT-4級別的開源模型Llama 3-405B能夠發布。

小扎稱，4050億參數的Llama 3將具備更強的多模態能力，支持多種語言，以及更大的上下文窗口，并計劃在今年晚些時候推出。

就目前訓練結果而言，405B已經在大規模多任務語言理解的基準測試（MMLU）中，取得了大約85分的成績。

其實Llama3發布三天后，已經有1000個微調模型在Hugging Face上發布。

1000個微調Llama 3模型，中文占8個

HF的創始人Clement Delangue非常期待，下周結束前，或許會有1萬個開源Llama3變體上線。

其中，網友@meng__shao總結了，截止目前中文的微調模型已達到6個。

目前，最小版本的額Llama-3 8B已經在改變世界，不僅能在消費級設備上運行，還開辟了大量領域的應用。

那么，未來的Llama模型，或許是能夠解決用戶所有用例的Llama 10發布那天，是否足以取代現實中的程序員？

小扎表示，「我不確定我們是否正在取代人類程序猿，因為Meta正在給人們提供工具來做更多的事情」。

而且衡量人類智力不僅只有單一的閾值，因為每個人都有不同的技能。我認為，在某種程度上，人工智能可能會在大多數方面超過人類，這取決于模型的強大程度。但這個過程，是循序漸進的。

對元宇宙的信仰從何而來

雖然燒了300億美元不止，但小扎對元宇宙似乎依然沒有放棄。

主持人提出了一個尖銳的問題：就是市場對你大加指責，你也要堅定去做元宇宙。這種篤定，究竟來源于什么？是什么樣的價值觀或直覺，讓你如此篤信元宇宙？

小扎表示，自己只是單純喜歡建造東西。

他喜歡圍繞人們的交流、表達和工作來構建產品，這跟他大學時的專業有關。他學的是計算機科學和心理學，而建造元宇宙，就是兩門專業的交叉點。

這是一種深刻的內驅力，讓他覺得自己如果不做點新東西，就像犯了錯一樣。

而且，無論身處何處，元宇宙都能讓你感受到與人的聯結，在小扎看來，這是一個殺手锏。

技術的一個教訓是，要盡可能將物理約束領域的東西轉移到軟件中，因為軟件更容易構建和迭代。

不是每個人都有數據中心，但很多人都可以寫代碼，并且使用和修改源代碼。

而元宇宙版本的軟件，就是實現現實的數字存在。在社交、溝通、醫療行業等，元宇宙都會作用巨大。

而且，在為AI投資1000億美元，或者為元宇宙投入巨額資金時，商業計劃就能表明：如果產品奏效，這是很好的投資。

即使在生活中，小扎也是這樣的。在考愛島，他建了一個牧場，負責設計所有建筑。

「如果要養出世界上最好的牛，該怎么設計呢？這就是我。」