Meta 突然官宣了 Llama 3，把開源模型的實(shí)力又往上提了一截。

Llama 3 總共有三個(gè)版本 ——8B、70B 和 405B。其中，8B 和 70B 版本已經(jīng)開源，405B 版本仍在訓(xùn)練中。根據(jù)現(xiàn)有的評(píng)測(cè)數(shù)據(jù)，405B 版本的性能已經(jīng)逼近 GPT-4（參見《???開源大模型 Llama 3 王者歸來(lái)！最大底牌 4000 億參數(shù)，性能直逼 GPT-4??》）。這可能促使 OpenAI 盡早發(fā)布下一代模型，從而保持其最強(qiáng) AI 模型的地位。

那么，這個(gè)還沒(méi)有亮相的 Llama 3 405B 大模型將帶來(lái)哪些驚喜？Meta 會(huì)繼續(xù)堅(jiān)持開源嗎？Llama 4 以及之后的模型會(huì)往哪些方向迭代？之前 Meta 對(duì)元宇宙的篤信是出于哪些動(dòng)力？在最近的一次訪談中，Meta CEO 扎克伯格回應(yīng)了這些問(wèn)題。

視頻地址：https://www.youtube.com/watch?v=bc6uFV9CJGg&t=17s

他提到，Llama 3 405B 將是一個(gè)密集模型，預(yù)計(jì)年末發(fā)布。此外，他們還計(jì)劃到年底擁有約 35 萬(wàn)塊 GPU，目前已經(jīng)建立了由 22000 塊 GPU 和 24000 塊 GPU 構(gòu)建起來(lái)的兩個(gè)單獨(dú)集群。在談到開源問(wèn)題時(shí)，他類比說(shuō)，在現(xiàn)有的應(yīng)用生態(tài)系統(tǒng)中，蘋果和谷歌等「守門人」對(duì)開發(fā)者能夠構(gòu)建的應(yīng)用類型擁有很大的控制權(quán)，他不想讓 AI 世界也變成這個(gè)樣子，因此他對(duì)開源持積極態(tài)度。他表達(dá)了對(duì)于一個(gè)開放的 AI 生態(tài)系統(tǒng)的愿景，在這個(gè)系統(tǒng)中，開發(fā)者不會(huì)被少數(shù)控制著閉源模型的大公司所限制。

以下是機(jī)器之心整理的訪談內(nèi)容，部分內(nèi)容存在刪減。

Llama-3 超大杯什么時(shí)候發(fā)布？

Dwarkesh Patel：我們來(lái)談?wù)剟偘l(fā)布的 Llama-3 和 Meta AI 吧。

Mark Zuckerberg：我想大多數(shù)人最關(guān)心的還是 Meta AI 的新模型，即 Llama 模型的升級(jí)版本：Llama-3。我們既會(huì)向開發(fā)社區(qū)開源，也會(huì)讓其成為 Meta AI 的助力。Meta AI 值得關(guān)注的點(diǎn)有很多，但我認(rèn)為最重要的是它是目前人們可以使用的最智能且可自由使用的 AI。我們將把谷歌和 Bing 整合起來(lái)用以獲取實(shí)時(shí)知識(shí)。

Meta AI 將會(huì)整合進(jìn)我們的許多應(yīng)用，包括 Facebook 和 Messenger—— 你可以在它們的搜索框中任意提問(wèn)。我們?cè)谄渲屑尤肓撕芏鄤?chuàng)意功能，比如動(dòng)畫化功能可以將任意圖片變成動(dòng)畫。

比較震撼眼球的一項(xiàng)更新是它現(xiàn)在能以非?？斓乃俣壬筛哔|(zhì)量圖像，而且它能隨著用戶輸入而實(shí)時(shí)更新生成結(jié)果。

我們未來(lái)幾周或幾個(gè)月會(huì)在一些國(guó)家發(fā)布這些應(yīng)用，但還不會(huì)全面鋪開。我認(rèn)為這會(huì)是一個(gè)非常重要的事件，是 Meta AI  向前邁出的一大步。

深入到 Meta AI 內(nèi)部，在技術(shù)方面最吸引眼球的當(dāng)然是 Llama-3。我們訓(xùn)練了三個(gè)版本：8B 和 70B 參數(shù)的模型，還有一個(gè) 405B 參數(shù)的密集模型（還在訓(xùn)練之中）。8B 和 70B 模型的表現(xiàn)非常激動(dòng)人心，它們都是同等規(guī)模模型的領(lǐng)軍者。

我們還有后續(xù)發(fā)布的路線圖，包括多模態(tài)、更強(qiáng)大的多語(yǔ)言支持、更大的上下文窗口。我們希望能在今年年末的某個(gè)時(shí)候發(fā)布 405B 版本。在目前的訓(xùn)練階段，它的 MMLU 得分已經(jīng)達(dá)到了 85 左右。我們預(yù)計(jì)完成訓(xùn)練后它能在許多基準(zhǔn)上領(lǐng)先。剛剛發(fā)布的 70B 模型也很出色，MMLU 為 82，數(shù)學(xué)和推理能力的得分都領(lǐng)先。

Dwarkesh Patel：著實(shí)不凡。

Mark Zuckerberg：8B 版本基本上與我們之前發(fā)布的 Llama-2 的最大版本一樣強(qiáng)大，也就是說(shuō) Llama-3 的最小版本足以比肩 Llama-2 的最大版本。

買那么多 GPU 是未卜先知？

Dwarkesh Patel：在深入這些模型之前，我想聊聊過(guò)去。大概 2022 年時(shí)，你們開始購(gòu)進(jìn) H100。那時(shí)候你們的股價(jià)不振，人們都很疑惑為什么要這樣花錢。人們并不看好元宇宙。那時(shí)候你怎么知道要去買 H100 呢？

Mark Zuckerberg：那是因?yàn)槲覀儺?dāng)時(shí)正在研究 Reels（一款短視頻應(yīng)用，Tiktok 競(jìng)品）。我們總是希望有足夠的能力去構(gòu)建尚不存在的東西。我們當(dāng)時(shí)在研究 Reels，我們需要更多 GPU 去訓(xùn)練模型。加上我們當(dāng)時(shí)希望在基礎(chǔ)設(shè)施方面盡快追趕上 TikTok。我們當(dāng)時(shí)想：「唉，我們必須確保我們?cè)僖膊贿@樣落后了。那就訂購(gòu)足夠訓(xùn)練 Reels 的 GPU 并且再加一倍吧。」

Dwarkesh Patel：當(dāng)時(shí)你知道這會(huì)用于訓(xùn)練 AI 嗎？

Mark Zuckerberg：我們當(dāng)時(shí)知道這會(huì)與訓(xùn)練大型模型有關(guān)。當(dāng)時(shí)我覺(jué)得這可能與內(nèi)容有關(guān) —— 那時(shí)候我非常急切地想要為 Reels 和其它內(nèi)容開發(fā)出推薦算法?，F(xiàn)在這成為了 Instagram 和 Facebook 的一大賣點(diǎn)：向人們展示他們可能感興趣的內(nèi)容，即便他們沒(méi)有關(guān)注。

事后來(lái)看，這是一個(gè)非常明智的決定。這都是后見之明 ——「哦，我當(dāng)時(shí)多么領(lǐng)先。」事實(shí)上，我們當(dāng)時(shí)做的大多數(shù)決定最后都有不錯(cuò)的結(jié)果，原因不過(guò)是我們之前搞砸過(guò)，不想再犯同樣的錯(cuò)了。

何時(shí)決定 All in AGI？  

Dwarkesh Patel：Facebook AI 研究院已經(jīng)成立了很長(zhǎng)時(shí)間了?，F(xiàn)在它似乎已經(jīng)變成了你們公司的核心。你們是從什么時(shí)候開始考慮將造就 AGI 作為自己的使命和關(guān)鍵優(yōu)先事項(xiàng)？

Mark Zuckerberg：確實(shí)挺久了。FAIR 成立于大概十年之前。我們的想法是，在創(chuàng)造通用智能的道路上，我們會(huì)得到很多能改善方方面面的不同創(chuàng)新。因此我們并不是將其看作一個(gè)產(chǎn)品，它更像是一個(gè)研究團(tuán)隊(duì)。過(guò)去十年來(lái)，它創(chuàng)造了很多提升我們所有產(chǎn)品的東西。它也推動(dòng)了 AI 領(lǐng)域的發(fā)展。

過(guò)去幾年隨著 ChatGPT 和擴(kuò)散模型的出現(xiàn)，這一領(lǐng)域發(fā)生了重大轉(zhuǎn)變，出現(xiàn)了很多會(huì)改變?nèi)藗兣c應(yīng)用的交互方式的東西。那時(shí)候我們成立了另一個(gè)團(tuán)隊(duì)：Gen AI 團(tuán)隊(duì)。其目標(biāo)是將這些創(chuàng)新引入我們的產(chǎn)品并且構(gòu)建支持所有這些不同產(chǎn)品的先進(jìn)基礎(chǔ)模型。

一開始我們想做的東西都與社交有關(guān)，比如幫助人們與創(chuàng)作者溝通、幫助人們與企業(yè)互動(dòng)、幫助企業(yè)銷售產(chǎn)品或提供客戶服務(wù)。還有一些基礎(chǔ)的助理功能，可以用于我們的應(yīng)用以及智能眼鏡和 VR 設(shè)備。所以一開始的時(shí)候，我們并不完全清楚我們需要完整的 AGI 來(lái)支持所有這些用例。但經(jīng)過(guò)多年的研究和實(shí)踐之后，這方面變得清晰起來(lái)。舉個(gè)例子，在我們開發(fā) Llama-2 時(shí)，我們并沒(méi)有將編程看作一個(gè)優(yōu)先事項(xiàng)，因?yàn)槿藗儾⒉粫?huì)用 WhatsApp 向 Meta AI 提很多編程問(wèn)題。

Dwarkesh Patel：現(xiàn)在他們會(huì)問(wèn)這些了嗎？  

Mark Zuckerberg：我不知道。我不確定人們是否會(huì)使用 WhatsApp 或 Facebook 或 Instagram 作為 UI 來(lái)問(wèn)與編程有關(guān)的問(wèn)題，也許他們會(huì)使用我們剛上線的網(wǎng)站 meta.ai。但過(guò)去 18 個(gè)月的發(fā)展已經(jīng)表明，編程對(duì)很多領(lǐng)域都很重要，而不僅僅是編程領(lǐng)域。即便人們問(wèn)的問(wèn)題與編程無(wú)關(guān)，但訓(xùn)練模型學(xué)習(xí)編程依然有用 —— 這能幫助模型給出更嚴(yán)謹(jǐn)?shù)幕卮?，讓模型可以在不同類型的領(lǐng)域執(zhí)行推理。Llama-3 就是這樣，編程能力是我們關(guān)注的一大重點(diǎn)，因?yàn)檫@能幫助模型的能力獲得全面的提升。

另一個(gè)重點(diǎn)是推理。用戶在與商家或企業(yè)等溝通時(shí)，不是一問(wèn)一答就完成了，而是往往涉及到多步互動(dòng)。很多時(shí)候客戶只知道自己的需求，并不知道自己想要什么產(chǎn)品或服務(wù)。這時(shí)候光回答字面上的問(wèn)題是不夠的，還需要推理。

Llama-3 能取代程序員嗎？

Dwarkesh Patel：所以 Llama-3 能解決所有這些用例嗎？你認(rèn)為這個(gè)版本足以替代程序員嗎？

Mark Zuckerberg：我只是覺(jué)得這些能力都會(huì)隨時(shí)間而進(jìn)步。

Dwarkesh Patel：但最終能解決，比如 Llama-10？

Mark Zuckerberg：我認(rèn)為這個(gè)問(wèn)題不簡(jiǎn)單。我不確定這些模型是會(huì)替代人們更多，還是幫助人們更多。

Dwarkesh Patel：Llama-10 誕生后，程序員的生產(chǎn)力能提升 10 倍嗎？

Mark Zuckerberg：我希望會(huì)更多。我相信人們的智能并不存在一個(gè)單一閾值，因?yàn)槿藗冇胁煌募寄堋Ｎ艺J(rèn)為未來(lái)某個(gè)時(shí)候，AI 將在大多數(shù)事情上超過(guò)人類。但我認(rèn)為這個(gè)過(guò)程是漸進(jìn)式的，而且我認(rèn)為 AGI 并不是一個(gè)單一存在，而實(shí)際上是不同功能的集合。目前我們關(guān)注的一大關(guān)鍵功能是多模態(tài)，起先是照片、圖像和文本，最后到視頻。而且我們還很關(guān)注元宇宙，因此 3D 模態(tài)也很重要。另一個(gè)我非常關(guān)注的模態(tài)是情緒理解（emotional understanding）—— 我還沒(méi)看到業(yè)界有很多人關(guān)注這方面。人腦中有很大部分是專門用于理解別人的表情和情緒。我認(rèn)為這是一個(gè)單獨(dú)完整的模態(tài)。你也許會(huì)說(shuō)這就是視頻或圖像，但很顯然這是非常特別的視頻或圖像。

因此，模型不只是需要具備理解和記憶的能力，還有很多其它不同能力需要掌握。我認(rèn)為未來(lái)我們解決復(fù)雜問(wèn)題時(shí)并不會(huì)再以查詢窗口為中心，通過(guò)輸入上下文來(lái)處理。人們會(huì)有更加個(gè)人化的記憶數(shù)據(jù)和不同的定制化模型。它們會(huì)有各自不同的能力，規(guī)模也有大有小。大小模型我們都很關(guān)注。Meta AI 這樣的模型運(yùn)行在大型服務(wù)器上，但我們也希望會(huì)有能運(yùn)行在智能眼鏡等小型設(shè)備上的模型。因此我們也需要非常高效的模型。

大模型將催生哪些產(chǎn)業(yè)級(jí)用例？   

Dwarkesh Patel：你認(rèn)為模型推理有什么百億美元級(jí)乃至千億美元級(jí)的市場(chǎng)？它有什么產(chǎn)業(yè)級(jí)的用例？模擬或者元宇宙？

Mark Zuckerberg：我們猜想這將能改變所有產(chǎn)品。我認(rèn)為將會(huì)出現(xiàn)一種 Meta AI 通用助理產(chǎn)品。這種產(chǎn)品不再是只會(huì)問(wèn)答的聊天機(jī)器人，而是可以完成更復(fù)雜任務(wù)的系統(tǒng)性模型。這就需要大量的推理和計(jì)算。

另一個(gè)重要方向是與其它智能體或人類交互，包括企業(yè)業(yè)務(wù)和創(chuàng)意工作。我的想法是，未來(lái)并不只有單一 AI。每家企業(yè)都會(huì)想要一個(gè)代表其利益的 AI。

創(chuàng)意工作也是一個(gè)重點(diǎn)。我們平臺(tái)有大約 2 億位創(chuàng)作者。他們與各自的社區(qū)互動(dòng)時(shí)通常都有模式可循，但他們每天的時(shí)間有限。如果我們能創(chuàng)造出可讓創(chuàng)作者擁有的 AI，讓他們以自己的方式去訓(xùn)練它與自己的社區(qū)交互，那必然會(huì)是一個(gè)非常棒的應(yīng)用場(chǎng)景。這樣的 AI 會(huì)贏得大量的互動(dòng)參與。

這還只是消費(fèi)者用例，我和妻子的基金會(huì) Chan Zuckerberg Initiative 在科學(xué)方面做了很多工作，其中也包括很多與 AI 相關(guān)的工作，這些將能推動(dòng)科學(xué)和醫(yī)療等領(lǐng)域的發(fā)展。我相信這些最終將能影響產(chǎn)品和經(jīng)濟(jì)的每個(gè)方面。

Llama-3 將帶來(lái)哪些改進(jìn)？

Dwarkesh Patel：你提到模型的進(jìn)步是漸進(jìn)式的，這是指模型變得更大嗎？還是說(shuō)使用更好的數(shù)據(jù)訓(xùn)練同樣大小的模型讓其變得更強(qiáng)大？

Mark Zuckerberg：我認(rèn)為我們不知道這個(gè)問(wèn)題的答案。我想一種發(fā)展模式是基于 Llama 這樣的模型開發(fā)其它應(yīng)用，也就是針對(duì)用例進(jìn)行微調(diào)，比如讓 Meta AI 可以使用谷歌或 Bing 等工具來(lái)獲取實(shí)時(shí)知識(shí)。基礎(chǔ) Llama 模型并不具備這種能力。Llama-2 具備一些，但這是人工設(shè)計(jì)開發(fā)的。Llama-3 開始具備一些類似智能體的能力。對(duì)于 Llama-4，我們的部分目標(biāo)是讓模型本身具備更多能力。

每一次進(jìn)步都會(huì)出現(xiàn)新的可能性，解鎖出新的用例。

Dwarkesh Patel：你說(shuō)「讓模型本身具備更多能力」，你是指在你希望模型完成的事情上訓(xùn)練模型嗎？

Mark Zuckerberg：Llama-2 只能使用非常特定的工具，而 Llama-3 能使用好得多的工具。我們無(wú)需人工編程就能讓其使用谷歌執(zhí)行搜索。它本身就能做到。類似的功能還有編程和運(yùn)行代碼等。模型既然能具備這樣的能力，我們就能借此一窺未來(lái)。我們不必等到開發(fā) Llama-4 時(shí)才去構(gòu)建這些能力，我們現(xiàn)在就能探究它們。我們可以人工編寫一些讓產(chǎn)品更好用的工具，用以臨時(shí)過(guò)渡。這有助于展現(xiàn)下一版本模型的開發(fā)方向。

Dwarkesh Patel：開源社區(qū)對(duì) Llama-3 的微調(diào)，你最感興趣的是什么？也許不是對(duì)你最有用的那個(gè)。

Mark Zuckerberg：我認(rèn)為有價(jià)值的事情，我們可能都會(huì)著手構(gòu)建。我認(rèn)為你會(huì)得到精簡(jiǎn)版本、更小的版本。我認(rèn)為 8B 參數(shù)對(duì)于很多用例來(lái)說(shuō)還不夠小。隨著時(shí)間的推移，我很想得到一個(gè) 1-2B 參數(shù)的模型，甚至是一個(gè) 500M 參數(shù)的模型，然后看看你能做些什么。

如果使用 8B 參數(shù)，我們幾乎能與最大的 Llama-2 模型媲美，那么使用 10 億個(gè)參數(shù)，你應(yīng)該能夠做一些有趣且更快的事情。我們也在考慮優(yōu)化模型，但現(xiàn)在 GPU 已經(jīng)被用來(lái)訓(xùn)練 405B 模型了。

LLama-3 70B 模型還有待發(fā)掘的潛力

Dwarkesh Patel：關(guān)于 GPU，我記得你說(shuō)到年底會(huì)有 35 萬(wàn)塊。

Mark Zuckerberg：我們建造了兩個(gè)集群， 每個(gè)集群大約有 22,000 或 24,000 個(gè) GPU。由于我們服務(wù)的社區(qū)規(guī)模之大，我們所需的推理計(jì)算量與訓(xùn)練計(jì)算量的比例可能比其他公司高得多。

Dwarkesh Patel：在你們之前分享給我的材料中，我注意到你們用更多的數(shù)據(jù)來(lái)訓(xùn)練，你能具體談一下嗎？

Mark Zuckerberg：關(guān)于 70B 模型，我們發(fā)現(xiàn)了一件有趣的事情，我們訓(xùn)練 token 達(dá)到 15 萬(wàn)億，但在訓(xùn)練的最后階段模型仍然在學(xué)習(xí)。假如我們給它更多的 token，模型可能會(huì)變得更好。

但是經(jīng)營(yíng)一家公司，你需要有所取舍，我問(wèn)自己是否想要調(diào)用 GPU 來(lái)進(jìn)一步訓(xùn)練 70B 模型？還是準(zhǔn)備測(cè)試 Llama-4 的一些前期假設(shè)？我們需要做出決定，我認(rèn)為 70B 版本的模型已經(jīng)取得了不錯(cuò)的平衡。未來(lái)會(huì)有其他版本，例如 70B 多模態(tài)版本，會(huì)在未來(lái)推出。但最令人著迷的是，目前這些架構(gòu)可以容納如此多的數(shù)據(jù)。

Dwarkesh Patel：這真的很有趣。這對(duì)未來(lái)的模型意味著什么？你提到 Llama-3 的 8B 比 Llama-2 的 70B 更好。

Mark Zuckerberg：不，不，它幾乎一樣好。我不想過(guò)分夸大。它的數(shù)量級(jí)差不多。

除了能源瓶頸，還有架構(gòu)瓶頸

Dwarkesh Patel：這是否意味著 Llama-4 70B 會(huì)和 Llama-3 405B 一樣好？未來(lái)會(huì)是什么樣子？

Mark Zuckerberg：這確實(shí)是一個(gè)很好的問(wèn)題，我想沒(méi)人會(huì)給出答案。世界上最棘手的事情之一就是指數(shù)曲線還能持續(xù)多久？我認(rèn)為我們很可能會(huì)繼續(xù)下去。我認(rèn)為投資 100 億美元，甚至 1000 億美元來(lái)建設(shè)基礎(chǔ)設(shè)施是值得的，這樣的話，你將會(huì)得到一些真正令人驚奇的東西，從而創(chuàng)造出令人驚奇的產(chǎn)品。一般來(lái)說(shuō)，從歷史來(lái)看，當(dāng)你遇到瓶頸時(shí)會(huì)耗費(fèi)大量的時(shí)間解決。但是現(xiàn)在，也許這些瓶頸很快就會(huì)被克服。

Dwarkesh Patel：如果沒(méi)有這些瓶頸，世界會(huì)是什么樣子？假設(shè)進(jìn)展以這種速度繼續(xù)下去。

Mark Zuckerberg：無(wú)論如何，都會(huì)遇到不同的瓶頸。在過(guò)去幾年中，我認(rèn)為 GPU 的生產(chǎn)是一個(gè)問(wèn)題。即使有錢支付 GPU 的公司也不一定能夠獲得他們想要的數(shù)量，因?yàn)榇嬖诠?yīng)限制?，F(xiàn)在我覺(jué)得這種情況正在減少。因此，你會(huì)看到很多公司現(xiàn)在考慮投資大量資金來(lái)構(gòu)建這些設(shè)施。我認(rèn)為這種情況會(huì)持續(xù)一段時(shí)間。還有一個(gè)資本問(wèn)題，在什么時(shí)候，投入更多的資本就不再具有性價(jià)比了。實(shí)際上我認(rèn)為在我們達(dá)到這個(gè)點(diǎn)之前，你會(huì)遇到能源的限制。據(jù)我所知，還沒(méi)有人建立過(guò)一千兆瓦的單一訓(xùn)練集群。此外，獲取能源許可會(huì)受到政府的嚴(yán)格監(jiān)管。顯然，如果你是在創(chuàng)辦一家小公司，也許你會(huì)感覺(jué)到這種監(jiān)管較少。我們與不同的政府和監(jiān)管機(jī)構(gòu)打交道，我們有很多規(guī)則需要遵循，以此確保我們?cè)谌蜃龊霉ぷ鳌５艺J(rèn)為能源無(wú)疑是一個(gè)巨大的限制。

Dwarkesh Patel：有沒(méi)有什么東西，也許是人工智能相關(guān)的項(xiàng)目，也許不是，即使是像 Meta 這樣的公司也沒(méi)有資源？如果完成這項(xiàng)任務(wù)是研發(fā)預(yù)算或資本支出預(yù)算的 10 倍，你還會(huì)實(shí)施嗎？

Mark Zuckerberg：我認(rèn)為能源問(wèn)題是其中之一，如果我們有足夠的能源，我們可能會(huì)建立比現(xiàn)在更大的集群。

Dwarkesh Patel：這基本上是資金瓶頸的極限？如果你有 1 萬(wàn)億美元……

Mark Zuckerberg：我認(rèn)為現(xiàn)在是時(shí)候考慮這個(gè)問(wèn)題了。這取決于指數(shù)曲線會(huì)走多遠(yuǎn)。目前，許多數(shù)據(jù)中心的規(guī)模大約是 50 兆瓦或 100 兆瓦，大型數(shù)據(jù)中心可能達(dá)到 150 兆瓦。如果把一個(gè)整個(gè)數(shù)據(jù)中心都用來(lái)進(jìn)行訓(xùn)練，并建立最大的集群，我認(rèn)為很多公司正在這樣做。但是當(dāng)你開始建造像 300 兆瓦、500 兆瓦或 1 吉瓦這樣規(guī)模的數(shù)據(jù)中心時(shí)，還沒(méi)有人建造過(guò) 1 吉瓦的數(shù)據(jù)中心。我認(rèn)為這遲早會(huì)發(fā)生，但不會(huì)在明年。有些事情需要花費(fèi)數(shù)年時(shí)間才能建成。換個(gè)角度來(lái)看，我認(rèn)為 1 吉瓦的規(guī)模相當(dāng)于一個(gè)核電廠的能源供應(yīng)僅用于訓(xùn)練模型。

Dwarkesh Patel：亞馬遜有沒(méi)有做過(guò)這個(gè)？他們有一個(gè) 950 兆瓦的……

Mark Zuckerberg：我不太確定他們做了什么。你得問(wèn)他們。

Dwarkesh Patel：但是這種規(guī)模的數(shù)據(jù)中心不一定要建在同一個(gè)地方，對(duì)吧？如果分布式訓(xùn)練有效，也可以分布式進(jìn)行。

Mark Zuckerberg：嗯，我覺(jué)得這是一個(gè)很大的問(wèn)題，數(shù)據(jù)中心將如何運(yùn)作。

Dwarkesh Patel：Llama-3，甚至可能是 Llama-4 之后的版本，能否遇到這種情況，也就是說(shuō)，你發(fā)布了這個(gè)模型，如果有人有大量計(jì)算資源，他們就可以在你發(fā)布的模型的基礎(chǔ)上，讓這些模型變得更加智能。

Mark Zuckerberg：我認(rèn)為這種可能性是存在的，但我也認(rèn)為模型架構(gòu)存在根本性的限制。用 Llama-3 架構(gòu)訓(xùn)練的 70B 模型可以變得更好，它可以持續(xù)改進(jìn)。正如我之前說(shuō)的，如果我們繼續(xù)給它提供更多的數(shù)據(jù)，或者再次通過(guò) token 進(jìn)行優(yōu)化，它會(huì)變得更好，世界各地的許多不同公司基本上都采用了 Llama-2 70B 模型架構(gòu)，然后構(gòu)建了一個(gè)新模型。但仍然存在這樣一個(gè)情況，當(dāng)你對(duì)像 Llama-3 70B 或 Llama-3 405B 這樣的模型進(jìn)行改進(jìn)時(shí)，人們?cè)诖嘶A(chǔ)上可以構(gòu)建的東西不能無(wú)限地進(jìn)步。在達(dá)到下一個(gè)重要進(jìn)展之前，可能只能在現(xiàn)有的基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn)。

AI 是有史以來(lái)最重要的技術(shù)嗎？  

Dwarkesh Patel：未來(lái)幾十年人工智能會(huì)發(fā)生什么？它是否會(huì)讓你感覺(jué)像是另一種技術(shù)，如虛擬宇宙或社交技術(shù)，或者是人類歷史進(jìn)程中根本不同的事物？

Mark Zuckerberg：我認(rèn)為將人工智能形容為非常基礎(chǔ)性的技術(shù)是非常合適的。它更像計(jì)算機(jī)的發(fā)明，將催生全新的應(yīng)用。但我認(rèn)為這是一個(gè)低層次的創(chuàng)新，我的感覺(jué)是，這更像是人們從沒(méi)有計(jì)算機(jī)到擁有計(jì)算機(jī)的過(guò)程。

然而，我們很難預(yù)測(cè) AI 如何發(fā)展。從宇宙尺度來(lái)講，AI 變革會(huì)很快發(fā)生，需要幾十年的時(shí)間。有些人會(huì)很擔(dān)心 AI 真的會(huì)在一夜之間從有點(diǎn)聰明變成極其聰明，但我認(rèn)為所有這些物理限制使得這種情況不太可能發(fā)生。不過(guò)我們必須承認(rèn)，AI 確實(shí)會(huì)改變我們的工作方式，讓人們做他們更想做的事情。

Dwarkesh Patel：也許不是一夜之間，但你認(rèn)為在宇宙尺度上我們可以用這種方式來(lái)思考這些里程碑嗎：人類進(jìn)化了，然后人工智能出現(xiàn)了，然后他們進(jìn)入了銀河系，按照這個(gè)推理，這個(gè)過(guò)程也許需要幾十年，也許需要一個(gè)世紀(jì)，AI 會(huì)是歷史發(fā)展的重要一環(huán)嗎？我指的是比如計(jì)算機(jī)甚至火在人類發(fā)展史上至關(guān)重要，但人工智能可以和這些發(fā)明相提并論嗎？ 

Mark Zuckerberg：我認(rèn)為這很難回答。人類歷史上，人類的某些方面確實(shí)是獨(dú)一無(wú)二的，然后認(rèn)識(shí)到事實(shí)并非如此，但人類實(shí)際上仍然非常特殊。我們認(rèn)為地球是宇宙的中心，但事實(shí)并非如此，但人類仍然非常偉大和獨(dú)特，對(duì)吧？

我認(rèn)為人們往往存在的另一個(gè)偏見是認(rèn)為智能在某種程度上與生活有著根本的聯(lián)系，但并非如此。我們還沒(méi)有對(duì)意識(shí)或生命有清晰的定義來(lái)全面理解這個(gè)問(wèn)題。很多科幻小說(shuō)都是關(guān)于創(chuàng)造智能的，這些智能體開始承擔(dān)所有這些類人行為和類似的事情。但目前的趨勢(shì)似乎正朝著一個(gè)方向發(fā)展，即智能可以與意識(shí)、能動(dòng)性和類似的東西完全分開，這使得它成為一個(gè)超級(jí)有價(jià)值的工具。

雖然很難準(zhǔn)確預(yù)測(cè)技術(shù)的發(fā)展方向，但開發(fā)者并不應(yīng)該對(duì)開發(fā)計(jì)劃或未來(lái)做出過(guò)于教條的承諾。在我們發(fā)布新版本時(shí)，都需要對(duì)模型進(jìn)行重新評(píng)估。我們雖然傾向于支持開源，但并不一定會(huì)開源所有內(nèi)容。開源有利于社區(qū)和自身，因?yàn)榇蠹铱梢詮膭?chuàng)新中受益。然而，如果技術(shù)的性質(zhì)發(fā)生質(zhì)變，演變?yōu)椴回?fù)責(zé)任的行為，那我們可能會(huì)考慮不開源。整體來(lái)說(shuō)，技術(shù)發(fā)展充滿不確定性。

開源 vs. 閉源，哪個(gè)更危險(xiǎn)？

Dwarkesh Patel：未來(lái)你們?cè)谟?xùn)練 Llama-5 或 Llama-4 時(shí)，有沒(méi)有可能出現(xiàn)質(zhì)變情況？如果出現(xiàn)了，你們要不要把它開源？

Mark Zuckerberg：回答這個(gè)問(wèn)題有點(diǎn)困難，因?yàn)槿魏萎a(chǎn)品都可能出現(xiàn)負(fù)面行為，只要加以緩解就可以了。我們也在為減少模型負(fù)面影響而努力，此前也在 Llama-2 上花費(fèi)了大量時(shí)間確保它不會(huì)幫助人們實(shí)施暴力等不良行為。但這并不意味著它已經(jīng)成為智能主體，這只是意味著它擁有大量有關(guān)世界的知識(shí)，可以回答我們認(rèn)為不應(yīng)該回答的一系列問(wèn)題。因此，我認(rèn)為問(wèn)題在于如何識(shí)別并緩解其潛在不良行為，而非行為本身。

我認(rèn)為事物的好壞有很多方面，很難事先詳盡列舉出來(lái)。看看我們?cè)谏缃幻襟w上所面對(duì)的問(wèn)題，目前我們已經(jīng)總結(jié)出了 18 或 19 種人類有害行為，然后構(gòu)建了 AI 系統(tǒng)來(lái)識(shí)別這些行為，并盡可能確保在我們的網(wǎng)絡(luò)上不會(huì)發(fā)生這些情況。隨著時(shí)間的推移，我認(rèn)為我們會(huì)更加細(xì)化問(wèn)題分類。

Dwarkesh Patel：我認(rèn)為廣泛部署 AI 系統(tǒng)是非常重要的。如果將來(lái) AI 系統(tǒng)沒(méi)有被廣泛部署，導(dǎo)致人們無(wú)法訪問(wèn)，我會(huì)感到失望。與此同時(shí)，我想更好地理解如何減輕模型潛在問(wèn)題。

Mark Zuckerberg：這是一個(gè)復(fù)雜的問(wèn)題。我認(rèn)為大部分人會(huì)使用現(xiàn)成的模型，因而不會(huì)出現(xiàn)不良行為，而懷有惡意行為的人則會(huì)試圖利用模型不良行為。所以這是個(gè)值得深思的問(wèn)題。另一方面，從哲學(xué)上講，我支持開源的一個(gè)原因是，我認(rèn)為未來(lái) AI 的過(guò)度集中化會(huì)像它被不恰當(dāng)?shù)膹V泛應(yīng)用一樣危險(xiǎn)。一個(gè)機(jī)構(gòu)擁有比其他所有機(jī)構(gòu)更強(qiáng)大的 AI 也可能是非常糟糕的。就像我們看到的，不同事物中都存在著安全漏洞。

我們是如何處理這個(gè)問(wèn)題的呢？其中一個(gè)重要部分是開源軟件，軟件的升級(jí)迭代不再局限于一家公司，而且可以廣泛部署到許多不同的系統(tǒng)中，無(wú)論是銀行還是醫(yī)院。隨著軟件變得更加完善，全世界范圍的開源軟件會(huì)按照新的基準(zhǔn)得到升級(jí)。

隨著時(shí)間的推移，在被人工智能廣泛部署的世界，會(huì)逐漸變得更加堅(jiān)固，所有不同系統(tǒng)都將在某種程度上得到控制。對(duì)我來(lái)說(shuō)，這比 AI 更集中化更安全。然而，最讓我擔(dān)心的是，一個(gè)不可信賴的主體擁有超級(jí)強(qiáng)大的人工智能系統(tǒng)，這可能是一個(gè)更大的風(fēng)險(xiǎn)。

Dwarkesh Patel：是否會(huì)出現(xiàn)這種情況，當(dāng)你正在訓(xùn)練 Llama-4 時(shí)，它可能出于一些原因?qū)δ闳鲋e了，因?yàn)樗J(rèn)為你沒(méi)有注意到這個(gè)問(wèn)題，之后你才后知后覺(jué)道發(fā)生了什么？盡管這種情況在 Llama-4 這種級(jí)別的系統(tǒng)中不太可能發(fā)生，但你有沒(méi)有想過(guò)，假如這種欺騙行為正在以成千上萬(wàn)的副本在不安全的傳播。

Mark Zuckerberg：現(xiàn)在，我們已經(jīng)觀察到許多幻覺(jué)現(xiàn)象，人們?nèi)绾螀^(qū)分幻覺(jué)和欺騙會(huì)是一件有趣的事情。談到欺騙，我最擔(dān)心的形式是人們利用它來(lái)生成錯(cuò)誤信息，然后通過(guò)網(wǎng)絡(luò)或其他人傳播該信息。我們打擊此類有害內(nèi)容的方法是構(gòu)建比對(duì)手系統(tǒng)更智能的人工智能系統(tǒng)。

如果你仔細(xì)觀察人們通過(guò)社交網(wǎng)絡(luò)造成傷害的類型，就會(huì)發(fā)現(xiàn)有些傷害并非具有對(duì)抗性的。舉例來(lái)說(shuō)，仇恨言論沒(méi)有超級(jí)對(duì)抗性，因?yàn)槿藗儾](méi)有因?yàn)榫W(wǎng)絡(luò)言論而變得更加種族歧視。我認(rèn)為在這些問(wèn)題上，人工智能通常比人類更成熟。其實(shí)我們雙方都有問(wèn)題，人會(huì)做壞事，無(wú)論他們是試圖煽動(dòng)暴力還是其他什么。但 AI 也會(huì)出現(xiàn)很多誤報(bào)情況，比如審查了不該審查的東西，這會(huì)讓很多人感到惱火，這是可以理解的。所以我認(rèn)為隨著時(shí)間的推移，人工智能在這方面會(huì)變得越來(lái)越準(zhǔn)確，情況將會(huì)得到改善。

未來(lái)，無(wú)論是 Llama-4 還是 Llama-6，我們都需要認(rèn)真觀察模型行為，是每一個(gè)人都參與進(jìn)來(lái)。我們開源的原因之一是有很多其他人也在研究這個(gè)領(lǐng)域。因此，我們想要看看其他人觀察到了什么，我們自己觀察到了什么，我們能夠減輕什么，然后我們會(huì)評(píng)估是否可以將其開源。在可預(yù)見的將來(lái)，我對(duì)此持樂(lè)觀態(tài)度。但在短期內(nèi)，我不想忽視我們今天正在努力解決的實(shí)際問(wèn)題。即使它們不是生存性的問(wèn)題，卻是我們必須花費(fèi)時(shí)間解決的大部分問(wèn)題。

Dwarkesh Patel：關(guān)于合成數(shù)據(jù)，我發(fā)現(xiàn)一個(gè)非常有意思的事情。目前的模型使用合成數(shù)據(jù)可能會(huì)出現(xiàn)漸近情況，因?yàn)橹貜?fù)使用合成數(shù)據(jù)會(huì)達(dá)到一個(gè)極限。但是，如果模型變得更智能，并且使用了你們?cè)谡撐幕蚣磳l(fā)布的博客文章中提到的技術(shù)，即能夠找到最正確答案的思維鏈條。為什么你認(rèn)為這不會(huì)導(dǎo)致一個(gè)循環(huán)，模型變得更聰明，產(chǎn)生更好的輸出。當(dāng)然，這不會(huì)是一夜之間的事，但隨著訓(xùn)練時(shí)間的延長(zhǎng)，可能會(huì)出現(xiàn)一個(gè)更智能的模型。

Mark Zuckerberg：我認(rèn)為無(wú)論模型架構(gòu)是什么，它都可以在參數(shù)范圍內(nèi)實(shí)現(xiàn)。只是，對(duì)于今天的 8B 參數(shù)模型，我認(rèn)為不會(huì)像最先進(jìn)的數(shù)千億參數(shù)模型一樣好。

Dwarkesh Patel：但這些都是開源的，對(duì)吧？

Mark Zuckerberg：嗯，目前看來(lái)是的。但前提是我們必須解決上述討論的那些問(wèn)題。我認(rèn)為，你可以用軟件做很多事情，但在某種程度上你會(huì)受到芯片限制，繼而受到物理方面的限制，此外還受到能源的限制。 

Dwarkesh Patel：我認(rèn)為保留選擇余地是有意義的，因?yàn)橛刑辔覀儾恢赖氖虑椤：芏嗍虑榭雌饋?lái)都是有可能的，考慮到所有這些因素，所以你保留選擇余地似乎是合理的。

Mark Zuckerberg：是的。

為何篤信元宇宙？  

Dwarkesh Patel：讓我們來(lái)談?wù)勗钪?。你最想進(jìn)入人類歷史的哪個(gè)時(shí)期？

Mark Zuckerberg：我對(duì)美國(guó)歷史和古典歷史非常感興趣。我對(duì)科學(xué)史也很感興趣。實(shí)際上，我認(rèn)為看到并嘗試更多地了解一些重大進(jìn)步是如何產(chǎn)生的將非常有趣。我們所掌握的關(guān)于其中一些內(nèi)容的著作非常有限。我不確定元宇宙是否能讓你做到這一點(diǎn)，因?yàn)閷?duì)于我們沒(méi)有記錄的東西，我們很難回溯。實(shí)際上，我不確定回到過(guò)去是不是一件重要的事情。我認(rèn)為這對(duì)歷史課之類的東西來(lái)說(shuō)很酷，但這可能不是我對(duì)元宇宙最感興趣的用例。

我認(rèn)為最重要的是，無(wú)論你身在何處，（元宇宙）都能讓你感受到與人在一起。我認(rèn)為這將是一個(gè)殺手锏。在我們進(jìn)行的人工智能對(duì)話中，有很多內(nèi)容都是關(guān)于物理約束的，而物理約束是這一切的基礎(chǔ)。我認(rèn)為技術(shù)的一個(gè)教訓(xùn)是，你要盡可能地將物理約束領(lǐng)域的東西轉(zhuǎn)移到軟件中，因?yàn)檐浖菀讟?gòu)建和迭代。你可以讓它更加大眾化，因?yàn)椴皇敲總€(gè)人都有數(shù)據(jù)中心，但很多人都可以編寫代碼，并使用、修改開放的源代碼。元宇宙版本的軟件是實(shí)現(xiàn)現(xiàn)實(shí)的數(shù)字存在。這將是一個(gè)絕對(duì)巨大的差異，這樣人們就不會(huì)覺(jué)得有那么多的事情必須要大家聚集到一個(gè)物理空間去做。我認(rèn)為，現(xiàn)在還有些事情是大家聚到一起做比較好。這些事情并不是二元對(duì)立的。它不會(huì)像「好吧，現(xiàn)在你不需要再那樣做了」。但總的來(lái)說(shuō)，我認(rèn)為它在社交、與人溝通、工作、部分行業(yè)、醫(yī)療以及很多方面都會(huì)非常強(qiáng)大。

Dwarkesh Patel：對(duì)于元宇宙，你知道你要去做這件事，即使市場(chǎng)對(duì)你大加指責(zé)。我很好奇，這種篤定的來(lái)源是什么？你說(shuō)「哦，價(jià)值觀，我有這種直覺(jué)」，但每個(gè)人都這么說(shuō)。如果讓你說(shuō)一些你特有的東西，你會(huì)怎么表達(dá)？你為什么如此相信元宇宙？

Mark Zuckerberg：我認(rèn)為這是幾個(gè)不同的問(wèn)題。我的動(dòng)力是什么？我們已經(jīng)討論過(guò)很多主題。我只是非常喜歡建造東西。我特別喜歡圍繞人們?nèi)绾谓涣鳌⒈磉_(dá)自己以及如何工作來(lái)構(gòu)建事物。上大學(xué)時(shí)，我學(xué)的是計(jì)算機(jī)科學(xué)和心理學(xué)。對(duì)我來(lái)說(shuō)，這一直是這兩件事的交叉點(diǎn)。

這也是一種非常深刻的內(nèi)在驅(qū)動(dòng)力。我不知道該如何解釋，但我就是覺(jué)得，如果我不構(gòu)建一些新的東西，我就做錯(cuò)了什么。即使在我們?yōu)槿斯ぶ悄芡顿Y 1000 億美元或?yàn)樵钪嫱顿Y巨額資金準(zhǔn)備商業(yè)案例時(shí)，我們也制定了計(jì)劃，我認(rèn)為這些計(jì)劃非常清楚地表明，如果我們的東西奏效，這將是一筆很好的投資。但你不能從一開始就確定。人們會(huì)與顧問(wèn)或不同的人爭(zhēng)論不休。比如「你怎么有足夠的信心做這個(gè)？」當(dāng)我不再嘗試創(chuàng)造新事物的時(shí)候，我就完了。我要去別的地方創(chuàng)造新事物。從根本上說(shuō)，我無(wú)法在經(jīng)營(yíng)某件事或者我的生活時(shí)，不去嘗試創(chuàng)造我認(rèn)為有趣的新事物。對(duì)我來(lái)說(shuō)，這甚至都不是一個(gè)問(wèn)題，我就是沒(méi)有辦法不做。

我在生活的各個(gè)方面都是這樣。我們家在考愛(ài)島建了一個(gè)牧場(chǎng)，我負(fù)責(zé)設(shè)計(jì)所有建筑。我們開始養(yǎng)牛，我就想「好吧，我想養(yǎng)出世界上最好的牛。」「那我們?cè)撛趺丛O(shè)計(jì)呢？」這就是我。

把花 100 億美元研發(fā)的模型開源，怎么賺錢？ 

Dwarkesh Patel ：讓我們回到投資者和開源話題上。100 億美元的模型，假設(shè)它是完全安全的。你們已經(jīng)做了這些評(píng)估，與此不同的是，評(píng)估者還可以對(duì)模型進(jìn)行微調(diào)，希望未來(lái)的模型也能如此。你們會(huì)開源 100 億美元的模型嗎？

Mark Zuckerberg：只要它對(duì)我們有幫助，就會(huì)開源。

Dwarkesh Patel ：花了 100 億美元的研發(fā)費(fèi)用，真的會(huì)開源？ 

Mark Zuckerberg：隨著時(shí)間的推移，我們也將對(duì)這個(gè)問(wèn)題進(jìn)行評(píng)估。我們?cè)陂_源軟件方面有著悠久的歷史。我們并不傾向于開源我們的產(chǎn)品。我們不會(huì)將 Instagram 的代碼開源。我們會(huì)將許多底層基礎(chǔ)設(shè)施開源。在我們的歷史上，最大的一個(gè)項(xiàng)目可能就是我們的開放計(jì)算項(xiàng)目（Open Compute Project），我們將所有服務(wù)器、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心的設(shè)計(jì)都開源了，結(jié)果對(duì)我們幫助很大。雖然很多人都能設(shè)計(jì)服務(wù)器，但現(xiàn)在整個(gè)行業(yè)都以我們的設(shè)計(jì)為標(biāo)準(zhǔn)，這意味著供應(yīng)鏈基本上都是圍繞我們的設(shè)計(jì)建立起來(lái)的。因此，在起量之后，價(jià)格對(duì)每個(gè)人來(lái)說(shuō)都變得更便宜了，而且為我們節(jié)省了數(shù)十億美元，這真是太棒了。

因此，開源可以在很多方面為我們提供幫助。一個(gè)是人們是否能找到更便宜運(yùn)行模型的方法。隨著時(shí)間的推移，我們將在所有這些東西上花費(fèi)幾千億美元或更多。所以如果我們能提高 10% 的效率，我們就能節(jié)省數(shù)十億甚至數(shù)百億美元。它本身可能就值很多錢了。特別是如果有其他競(jìng)爭(zhēng)模式存在，我們的東西并沒(méi)有放棄某種瘋狂的優(yōu)勢(shì)。

Dwarkesh Patel：那么，你認(rèn)為訓(xùn)練會(huì)商品化嗎？

Mark Zuckerberg：我認(rèn)為有很多方法可以解決這個(gè)問(wèn)題，這是其中之一。因此，「商品」意味著它將變得非常便宜，因?yàn)橛泻芏噙x擇。另一個(gè)可能的方向是質(zhì)量改進(jìn)。你提到了微調(diào)。目前，微調(diào)技術(shù)在其他主要模型上的應(yīng)用非常有限。有一些選擇，但一般不適合最大的那些模型。我們可以做的是，針對(duì)不同的應(yīng)用程序或特定的使用案例去微調(diào)，或?qū)⑺鼈儤?gòu)建到特定的工具鏈中。我認(rèn)為這不僅能提高開發(fā)效率，還能帶來(lái)質(zhì)的區(qū)別。

這里有一個(gè)類似的例子。我認(rèn)為移動(dòng)生態(tài)系統(tǒng)最糟糕的一點(diǎn)是，蘋果和谷歌這兩家守門人（gatekeeper）會(huì)告訴你你可以開發(fā)什么。從經(jīng)濟(jì)角度來(lái)看，我們構(gòu)建了一些東西，他們就拿走你的一大筆錢。但還有一個(gè)定性的事情，實(shí)際上更讓我不爽。有很多次，當(dāng)我們推出或想要推出新功能時(shí)，蘋果就會(huì)說(shuō)「不行，你不能推出這個(gè)功能」。這很糟糕，對(duì)吧？那么問(wèn)題來(lái)了，我們是否也想要一個(gè)這樣的 AI 世界？這個(gè)世界里只有幾家運(yùn)行這些封閉模型的公司，它們將控制 API，然后告訴你，你可以構(gòu)建什么。

至于我們，我可以說(shuō)，為了確保不陷入這種境地，我們自己去構(gòu)建一個(gè)模型是值得的。我不希望任何其他公司來(lái)告訴我們，我們可以構(gòu)建什么。從開源的角度來(lái)看，我認(rèn)為很多開發(fā)者也不希望那些公司這么做。那么問(wèn)題來(lái)了，圍繞這個(gè)問(wèn)題建立起來(lái)的生態(tài)系統(tǒng)是什么樣的？有哪些有趣的新事物？這能在多大程度上改善我們的產(chǎn)品？我認(rèn)為，在很多情況下，如果最終像我們的數(shù)據(jù)庫(kù)、緩存系統(tǒng)或架構(gòu)一樣，我們將從社區(qū)獲得有價(jià)值的貢獻(xiàn)，從而使我們的產(chǎn)品變得更好。屆時(shí)，我們所做的特定于應(yīng)用的工作仍將非常與眾不同，以至于并不重要。我們將能做我們?cè)撟龅氖?。我們將從中受益。而所有的系統(tǒng)，無(wú)論是我們的還是社區(qū)的，都將因?yàn)殚_源而變得更好。

有一個(gè)世界也許并非如此。也許模型最終更像是產(chǎn)品本身。我認(rèn)為這是一個(gè)更棘手的經(jīng)濟(jì)計(jì)算，無(wú)論你是否開放源代碼。你把自己商品化了很多。但就我目前所見，我們似乎還沒(méi)到那個(gè)地步。

Dwarkesh Patel：您是否希望通過(guò)將您的模型授權(quán)給云提供商來(lái)賺取可觀的收入？這樣一來(lái)，他們必須向您支付費(fèi)用才能部署這個(gè)模型。

Mark Zuckerberg：我們希望有這樣的安排，但我不知道會(huì)有多大意義。這基本上就是我們的 Llama 許可證的范圍。在很多方面，它都是一個(gè)非常開放的開源許可證，只是我們對(duì)使用它的大公司有一個(gè)限制。這就是我們?cè)O(shè)置限制的原因。我們并不是要阻止他們使用。我們只是希望，如果他們打算把我們構(gòu)建的東西轉(zhuǎn)賣并從中賺錢，那么他們應(yīng)該來(lái)和我們談?wù)?/strong>。如果你是微軟 Azure 或亞馬遜，如果你打算轉(zhuǎn)售我們的模型，那么我們應(yīng)該有一些收入分成。所以，在此之前，請(qǐng)先和我們談?wù)劇?/p>

因此，對(duì)于 Llama-2，我們基本上與所有這些主要的云計(jì)算公司都達(dá)成了協(xié)議，Llama-2 可以作為托管服務(wù)在所有這些云上使用。我認(rèn)為，隨著我們發(fā)布的模型越來(lái)越大，這將成為一件大事。這不是我們的重點(diǎn)所在，但我認(rèn)為，如果這些公司要銷售我們的模型，我們就應(yīng)該以某種方式分享其中的好處。

Dwarkesh Patel：就開源而言，我很好奇你是否認(rèn)為 PyTorch、React、Open Compute 等開源對(duì)世界的影響甚至超過(guò)了 Meta 的社交媒體方面。我和使用這些服務(wù)的人聊過(guò)，他們認(rèn)為這是合理的，因?yàn)榛ヂ?lián)網(wǎng)的很大一部分都是基于這些東西運(yùn)行的。

Mark Zuckerberg：這是一個(gè)有趣的問(wèn)題。全世界幾乎有一半的人都在使用我們的消費(fèi)產(chǎn)品，所以這一點(diǎn)很難被超越。但我認(rèn)為，開源作為一種新的構(gòu)建方式，確實(shí)非常強(qiáng)大。我的意思是，超越是可能的。就像貝爾實(shí)驗(yàn)室一樣，他們?yōu)榱藢?shí)現(xiàn)長(zhǎng)途電話而研究晶體管。他們做到了，并且最終因?yàn)槟軌驅(qū)崿F(xiàn)長(zhǎng)途電話而獲得了豐厚的利潤(rùn)。5 到 10 年后，如果你問(wèn)他們發(fā)明的最有用的東西是什么 他們會(huì)說(shuō)「我們實(shí)現(xiàn)了長(zhǎng)途電話，現(xiàn)在所有的人都在打長(zhǎng)途電話」。但如果你問(wèn)一個(gè)一百年后的人，也許答案就不一樣了。

我認(rèn)為我們正在構(gòu)建的很多東西都是如此，包括現(xiàn)實(shí)實(shí)驗(yàn)室（Reality Labs）、一些人工智能的東西、一些開源的東西。具體的產(chǎn)品會(huì)不斷演變，但人類的進(jìn)步會(huì)持續(xù)下去，這是我們能做的一件很酷的事情。

Dwarkesh Patel：Llama 模型何時(shí)會(huì)在你們自己的定制芯片上進(jìn)行訓(xùn)練？

Mark Zuckerberg：很快，但 Llama-4 不會(huì)。我們采取的方法是，首先構(gòu)建定制芯片，處理排名和推薦類型的推理，如 Reels、News Feed 廣告等。這需要消耗大量 GPU。當(dāng)我們能夠?qū)⑵滢D(zhuǎn)移到我們自己的芯片上時(shí)，我們就可以只在訓(xùn)練時(shí)使用更昂貴的英偉達(dá) GPU。我們希望在未來(lái)的某一天，我們能用自己的芯片先訓(xùn)練一些簡(jiǎn)單的東西，然后再去訓(xùn)練真正的大模型。這個(gè)項(xiàng)目進(jìn)展得相當(dāng)順利，我們只是在有條不紊地推進(jìn)，我們有一個(gè)長(zhǎng)期的路線圖。

如果你被任命為 Google + 的 CEO，你能成功嗎？

Dwarkesh Patel：如果你被任命為 Google + 的 CEO，你能成功嗎？

Mark Zuckerberg：我不知道。這是一個(gè)非常困難的反事實(shí)問(wèn)題。

Dwarkesh Patel：當(dāng) Gemini 推出時(shí)，辦公室里是否有人說(shuō)：「Carthago delenda est（迦太基必須毀滅）」（注：比喻性地表達(dá)對(duì)競(jìng)爭(zhēng)對(duì)手的強(qiáng)烈敵意或決心要戰(zhàn)勝對(duì)手）？

Mark Zuckerberg：沒(méi)有，我覺(jué)得我們現(xiàn)在更平和了。問(wèn)題是，Google+ 并沒(méi)有 CEO。它只是公司內(nèi)部的一個(gè)部門。你之前問(wèn)過(guò)什么是最稀缺的商品，但你問(wèn)的是以美元計(jì)價(jià)的。實(shí)際上，我認(rèn)為對(duì)于大多數(shù)公司來(lái)說(shuō)，至少對(duì)于這種規(guī)模的公司來(lái)說(shuō)，最稀缺的是專注力。當(dāng)你是一家初創(chuàng)公司時(shí)，也許你的資金會(huì)更緊張。你只有一個(gè)想法，可能沒(méi)有所有的資源。你在某一點(diǎn)上越過(guò)了你所做的事情的界限。你正在構(gòu)建多個(gè)東西。你在它們之間創(chuàng)造了更多的價(jià)值，但你卻受到了更多的限制。

總會(huì)有這樣的情況，即組織里發(fā)生了一些令人驚奇的事情，而我卻渾然不知。那些事情都很棒。但我認(rèn)為，總的來(lái)說(shuō)，組織的能力主要受限于 CEO 和管理團(tuán)隊(duì)的監(jiān)督和管理能力。這一直是我們關(guān)注的重點(diǎn)。正如 Ben Horowitz（硅谷著名風(fēng)投公司 Andreessen Horowitz 聯(lián)合創(chuàng)始人之一）所說(shuō)，「keep the main thing, the main thing」，并努力專注于你的關(guān)鍵優(yōu)先事項(xiàng)。

本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/e2n4ttcT8raDU877t53GPQ??