自Llama2、Code Llama發布后，許久未現身的小扎今天正式官宣：

全力搞「開源AGI」！

短短1分45秒視頻中，小扎對Meta的戰略升級進行了分享，從AGI構建，到團隊合作，再到基礎設施的等一系列舉措。

接下來，劃重點！！！

從現在起，人工智能實驗室FAIR團隊將納入「GenAI」，緊密合作重點構建AGI，并全面開源。

目前，Meta內部正在訓練下一代模型Llama 3。截止年底，將會有近35萬塊H100搭建的基礎設施。

網友無法想象，Llama 3那得有多大！

Omdia研究數據顯示，Meta在2023年H100的出貨量為15萬塊，與微軟持平，且是其他公司出貨量的3倍。

小扎稱，「如果算上英偉達A100和其他AI芯片，到2024年底，Meta將擁有近60萬個GPU等效算力」。

此外，小扎的「元宇宙」信仰還沒有放棄。他提到，AI最終會與智能設備結合，比如Ray-ban智能眼鏡。

30倍GPT-4算力，接近GPT-5水平

在小扎自曝Meta算力之后，Pytorch創始人Soumith Chintala表示，終于可以公開談論GPU數據了。到今年年底，Meta將擁有60塊H100等效GPU。

他還在此賣關子，讓大家自由猜測，Meta已經部署和正在使用的GPU。

CAIS的負責人驚嘆道， 35萬塊H100，這比GPT-4的計算能力高出約30倍，幾乎達到了GPT-5的水平。

還有人給Meta算了一筆賬，「每臺H100的成本約為3萬美元，這意味著小扎的公司僅購買算力就需要支付約105億美元，更不用說電費了」。

而這僅僅是為了訓練Llama 3？

另外，有網友預計150-200億美元的算力訓練為推薦系統服務的Llama 3。

圖靈獎巨頭Yann LeCun更是有感而發，今天連發了多條推文。

FAIR的使命是開發人類水平的AI助手：是一個能夠理解世界、感知、記憶、推理、計劃和行動系統。

在不遠的將來，我們與數字世界的所有互動，都將由AI助手通過智能眼鏡和其他設備來實現。我們需要這些系統具備人類水平的智能，這樣它們才能理解世界、人和工具，從而在日常生活中幫助我們。

為了加快進度，FAIR現已成為人工智能產品部門GenAI的姊妹機構。與此同時，Meta正在建設大規模的計算基礎設施，以支持人工智能的研究、開發和生產。

當然，我們也致力于開放研究和開源人工智能平臺（是的，Llama 3就要來了！）。FAIR是世界上將AI研究推進到新水平的最佳研究機構，而Meta則是將AI應推向數十億人群的最佳公司。

沒有開源AI，就沒有AI創業生態系統。

Meta一直嘗試去做正確的事情。

Meta一直在AI領域進行開放研究。

Meta一直在推廣開源AI平臺。

經過過去一年的多次討論（有時是有爭議的），一個共識正在形成，即開源人工智能平臺是不可避免的、必要的，而且是一件好事。

小扎：全員打造「開源AGI」

最近，Sam Altman在參加的世界經濟論壇中透露，人類水平的AGI即將到來，而且GPT-5正在訓練中。

2023年，人工智能領域成為OpenAI微軟的主戰場，GPT-4、Copilot等一系列模型/產品發布，讓許多大廠望之莫及。

谷歌、Meta、蘋果等科技巨頭在AI推陳出新上，已經站在了第二梯隊。

凌晨，小扎一則視頻正式官宣，意味著Meta全員已經重振旗鼓，向全力打造開源AGI邁進。

在Ins視頻配文中，小扎寫道，

我們的長期愿景是構建AGI，負責任地將其開源，并使其廣泛可用，讓每個人都能從中受益。為了支持這一目標，我們正在將兩大AI研究團隊——FAIR和GenAI緊密結合在一起。

Meta目前正在訓練下一代模型Llama 3，并建設大規模的計算基礎設施，以支撐未來路線圖，其中包括到今年年底建成35萬塊H100，如果算上其他GPU，Meta總算力相當于近60萬個H100。此外，我們在構建以AI為中心的新型計算設備（如Ray Ban Meta智能眼鏡）方面取得的進展也讓人非常興奮。

Llama 3匹敵GPT-4，免費開源

關于Meta下一代模型的消息，此前也有傳言稱，Llama 3的實力堪比GPT-4，而且還是免費開源。

OpenAI工程師、前谷歌大腦工程師Jason Wei去年8約在Meta組織的Generative AI Group活動中聽說：

Meta有足夠的算力來訓練Llama 3和Llama 4。Llama 3計劃達到GPT-4的性能水平，但仍將免費提供

這次也算是，Meta正式官宣Llama 3訓練中，而且LeCun也表示最新模型很快就會上線。

從2023年2月，Llama 1首次面世，到7約Llama 2的升級，Meta花了大約5個月的時間。

當時，Llama 2在某些應用上與GPT-3.5能力相媲美，而且還通過微調，額外功能讓開源社區進行優化。

Llama模型開源后所帶來的是，模型生態大爆發。

據Meta統計數據顯示，在世界最大開源社區平臺Hugging Face上，Llama模型的下載量超過3000萬次。其中，僅在過去30天（9月份）內就超過了1000萬次。

另外，發布在Hugging Face的Llama版微調模型，已經多達7000+個。

而現在，得知Llama 3在訓練中，AI圈的人興奮不已。

AI團隊重組：成立10年FAIR團隊+GenAI

除了將重點放在開發AGI之外，Meta官宣最引人注目的消息就是：小扎決定將其人工智能研究團隊FAIR納入產品部門。

根據Verge的獨家采訪，成立10年FAIR團隊，將并入GenAI團隊。雖然小扎在視頻并未說明，只是透露了兩個團隊將緊密合作。

Meta此舉與谷歌合并兩大AI團隊，別無二致。

OpenAI微軟在AI圈名氣大漲讓谷歌瞬間火燒眉毛，去年4月官宣合并DeepMind和谷歌大腦團隊，統稱為Google DeepMind。

2013年12月，在LeCun主導下，Fcabook成立了FAIR人工智能實驗室。

從成立之初，FAIR的定位便是一個負責研究技術的部門，其研究重點也大多聚焦在解決推理、預測、規劃、無監督學習等底層技術問題上。

過去幾年來，在這個實驗室中人才輩出，何愷明、SVM的締造者Vladimir Vapnik、提出隨機梯度下降法的Léon Bottou等AI領域的學者和專家。

與此同時，研究成果也是「世界級」AI，包括輕量化和模塊化的深度學習框架Caffe2、PyTorch架構等等。

而現在，Meta內部需要戰略調整，全力奔赴AGI。

說來，GenAI這一團隊的成立并未官宣。第一次露面還是在Llama 2發布時，在論文中所有作者下面一行中出現。

GenAI首次以團隊名稱出現

未來，FAIR的副總裁Joelle Pineau和首席AI科學家Yann LeCun將向Meta的首席產品官Chris Cox匯報工作。

而在此之前，他們是向負責Reality Labs的首席技術官Andrew ‘Boz’ Bosworth匯報。

對此，Cox表示，這一調整強調了AI研究對Meta及其產品長遠成功的核心作用。

「通過FAIR和GenAI更加緊密的合作，我們可以擁有一個更加統一的AI研究項目和發展藍圖。其中，Llama將成為我們邁向AGI的主力，同時我們也將簡化新技術或創新AI研究的開發流程，確保在一個日益受到關注的領域中，能夠在法律、政策和品牌形象方面保持一致。」

專訪小扎

問：你將FAIR從Boz所負責的部門轉移到了Chris所負責的部門。這對Reality Labs有何影響？我覺得有些人可能會認為RL將會失去它。

小扎：這絕對不是我的看法。讓我詳細說明這個決定是如何形成的：這其實是Boz的建議。

在討論如何統一研究規劃和流程時，Chris、Boz和我進行了交談。Boz表示他在AI方面投入了大量時間。但他認為，與其讓這些問題不斷上報給Chris和Boz，不如讓他們直接參與協調工作。因此，他建議將FAIR移至Chris那里。

在以前的模式下，FAIR相對獨立地運作，盡管它屬于Boz負責的部門，但我不確定他們是否真的認為自己是Reality Labs的一部分。我們總是將AI工作和Reality Labs的工作視為兩個不同的領域。Reality Labs可以作為一個獨立的組織獨立運作，而AI則滲透到公司的各個方面。

這并不意味著所有的工作以前都集中在一個地方，或者現在都會集中在一個地方。這次調整更具體地說，是將我們的兩個主要研究實驗室并置，以便我們能在這些長期研究領域取得更多進展。在Reality Labs以前的模式中，我不認為FAIR的負責人們會參加Boz的員工會議，它們更像是被作為獨立項目來管理。

我認為這次組織內部的調整并不會帶來太大的不同感。而且，鑒于AI對公司的重要性，Boz無論如何都會在這方面投入大量時間，Reality Labs也將繼續涵蓋很多AI相關的項目。

問：你是否注意到，隨著生成式AI的興起，你的個人關注點也隨之轉移了？相對于Reality Labs，你是不是發現自己在AI方面投入了更多時間，還是說這種投入每周都在變化？

小扎：這不僅僅是兩者之間的選擇問題。在2023年，最耗費我時間的是關注如何提高效率，我們改變了公司的運作方式，使其更加高效精煉。這并不意味著我們會回到過去的狀態。但我覺得我們已經建立了一套新的操作規范，現在可以比較順利地繼續進行。這需要一定的工作量，但可能只有去年我在這方面投入的時間的十分之一。

對于今年而言，這部分工作減少了，這使得我有更多的時間來專注于產品開發。至于其他需要關注的事項，今年將是一個全球范圍內重要的選舉年。顯然，包括美國在內的選舉，但我認為，從歷史角度來看，今年可能是全球選舉最密集的一年。我認為確保我們在所有的誠信維護工作上做得出色也同樣重要。因此，這方面今年會比以前更受關注。

身處一種模式中頗為有趣，不是在削減事務，而是我們又可以專注于創造新的東西。這是一種令人愉悅的狀態。