ChatGPT大戰(zhàn)，Meta為何遲遲沒有動(dòng)作？

就在今天，路透社記者挖出了一個(gè)大瓜，原因讓人瞠目結(jié)舌——

相比谷歌、微軟等大廠，Meta跑AI時(shí)，用的竟然是CPU！

很難想象，在深度學(xué)習(xí)幾乎占機(jī)器學(xué)習(xí)半壁江山的時(shí)代，一個(gè)科技巨頭竟然能用CPU堅(jiān)持這么久。

雖然他們也曾嘗試過自研AI芯片，但最終遭遇滑鐵盧。

現(xiàn)在，ChatGPT引爆的生成式AI大戰(zhàn)打得昏天黑地，這就更加劇了Meta的產(chǎn)能緊縮。

用CPU訓(xùn)練AI，Meta怎么想的？

Meta遲遲不肯接受用GPU的原因，令人匪夷所思。

GPU芯片非常適合AI處理，因?yàn)樗鼈兛梢酝瑫r(shí)執(zhí)行大量任務(wù)，從而減少處理數(shù)十億條數(shù)據(jù)所需的時(shí)間。

然而，GPU 也比其他芯片更昂貴，英偉達(dá)控制著80%的市場份額，并在配套軟件上，也保持著絕對的領(lǐng)先地位。

直到去年，Meta在處理AI工作負(fù)載時(shí)，主要使用的還是CPU。CPU是計(jì)算機(jī)的主力芯片，幾十年來數(shù)據(jù)中心用的也是CPU，但它在AI工作上表現(xiàn)并不佳。

據(jù)悉，Meta還曾自研芯片，在內(nèi)部設(shè)計(jì)的定制芯片上進(jìn)行推理。

但在2021年，Meta還是失望地發(fā)現(xiàn)，比起GPU，這種雙管齊下的方法速度更慢、效率更低。而且GPU在運(yùn)行不同類型的模型上，遠(yuǎn)比Meta的芯片更靈活。

而且，小扎決定All In元宇宙這一舉措，也直接榨干了Meta的算力。不管是AI的部署，還是威脅的應(yīng)對上，都遭到了極大的削弱。

這些失誤，引起了前Meta董事會成員Peter Thiel的注意，隨后，他于2022年初辭職。

據(jù)內(nèi)部人士透露，在離開前的一次董事會會議上，Thiel告訴小扎和高管們，他們對Meta的社交媒體業(yè)務(wù)太自滿，并且過分關(guān)注元宇宙了，這讓公司很容易被TikTok的挑戰(zhàn)所撼動(dòng)。

Meta粗大事了

在去年夏天快要結(jié)束的時(shí)候，小扎曾召集了高級副手們，花了五個(gè)小時(shí)，對Meta的計(jì)算能力進(jìn)行分析。

他們需要知道，在開發(fā)尖端的AI方面，Meta有多大的能力？

出來的結(jié)果，讓所有人倒吸一口涼氣。

根據(jù)9月20日的公司備忘錄顯示，盡管Meta對AI研究進(jìn)行了大筆高調(diào)的投資，然而主要業(yè)務(wù)需要的AI友好型硬件和軟件系統(tǒng)都非常昂貴，在這些方面公司的進(jìn)展相當(dāng)緩慢。

緩慢到，已經(jīng)阻礙了Meta跟上大規(guī)模創(chuàng)新的步伐。

這可是個(gè)棘手的大麻煩，要知道，Meta的增長，越來越依賴AI。

基礎(chǔ)設(shè)施負(fù)責(zé)人Santosh Janardhan強(qiáng)調(diào)，無論是開發(fā)AI的工具，還是工作流程，Meta都已經(jīng)遠(yuǎn)遠(yuǎn)落后于其他對手。

「Meta需要從根本上改變物理基礎(chǔ)設(shè)施設(shè)計(jì)、軟件系統(tǒng)和提供穩(wěn)定平臺的方法?！?/span>

一年多來，Meta一直在搞的大項(xiàng)目，就是希望完善AI基礎(chǔ)設(shè)施。但經(jīng)歷過產(chǎn)能緊縮、領(lǐng)導(dǎo)層變動(dòng)和廢棄的AI芯片項(xiàng)目后，Meta的改革似乎不盡如人意。

所以，Meta徹底放棄AI芯片了？

對于外媒的這個(gè)提問，Meta發(fā)言人Jon Carvill表示，公司「在大規(guī)模創(chuàng)建和部署最先進(jìn)的基礎(chǔ)設(shè)施方面有著良好的記錄，并有著人工智能研究和工程方面的深厚專業(yè)知識?！?/span>

「隨著我們?yōu)閼?yīng)用程序和消費(fèi)產(chǎn)品系列帶來新的AI體驗(yàn)，我們有信心繼續(xù)擴(kuò)展基礎(chǔ)設(shè)施的能力，以滿足我們的近期和長期需求?！?/span>

總之，沒有正面回答。

但這次改革，已經(jīng)耗費(fèi)了大量的人力物力。

據(jù)悉，改革使Meta每季度的資本支出增加了約40億美元，幾乎是2021年支出的兩倍。而且Meta此前建設(shè)4個(gè)數(shù)據(jù)中心的計(jì)劃，也因此暫?；蛉∠?。

Meta的資本支出大增

而這些大筆支出，跟Meta嚴(yán)重的財(cái)務(wù)緊縮期又恰恰重合。

去年11月以來，硅谷的互聯(lián)網(wǎng)泡沫開始破滅，Meta一直在大規(guī)模裁員。

OpenAI的ChatGPT在11月30日亮相后，立馬引爆了科技巨頭之間的軍備競賽。

此后的生成式AI大戰(zhàn)，吞噬了大量的算力，這更逼得Meta加緊改革。

極力追趕

據(jù)悉，Meta在現(xiàn)實(shí)面前，不得不選擇低頭。

高管們?nèi)∠嗽?022年大規(guī)模推出自研芯片的計(jì)劃，轉(zhuǎn)頭訂購了價(jià)值數(shù)十億美元的英偉達(dá)GPU。

但此時(shí)，已經(jīng)為時(shí)已晚。

Meta已經(jīng)落后于谷歌等同行一大截，谷歌早在2015年就開始部署自己定制的GPU——TPU。

在2022年春天，高管們也同時(shí)開始著手重組Meta的AI部門。

這期間發(fā)生了長達(dá)數(shù)月的動(dòng)蕩，十幾位高管離開了。AI基礎(chǔ)設(shè)施領(lǐng)導(dǎo)層，整個(gè)經(jīng)歷了一次大換血。

接下來，Meta的工作也很棘手。

他們得費(fèi)老大勁重組數(shù)據(jù)中心，來適應(yīng)新的GPU，因?yàn)镚PU比CPU的功耗和產(chǎn)熱都更多，還必須用專用網(wǎng)絡(luò)把它們聚在一起。

為了管理集群的熱量，這些設(shè)施需要24到32倍的網(wǎng)絡(luò)容量和新的液冷系統(tǒng)，因此需要從頭設(shè)計(jì)。

即便如此，Meta似乎也并沒有放棄自研芯片的路線。

據(jù)悉，新的內(nèi)部芯片會和GPU一樣，能夠訓(xùn)練AI模型并執(zhí)行推理，將于2025年左右完成。

懸崖勒馬，回頭是岸

此前，微軟有ChatGPT，谷歌緊忙拉Bard出來對打，Meta卻似乎并不急于下場生成式AI競賽，推出的LLaMA也并不用作商用。

Meta CFO Susan Li在2月承認(rèn)，Meta并沒有將大部分計(jì)算資源投入到生成式AI中，而是基本上將所有的AI能力都用于廣告、feeds和Reels（類似于TikTok的短視頻）。

此前，同谷歌一樣，Meta并不重視生成式AI。Meta的FAIR實(shí)驗(yàn)室從21年底以來，就在發(fā)布這種AI技術(shù)的原型，研究成果也備受推崇，但Meta從未考慮過將其轉(zhuǎn)化為產(chǎn)品。

去年11月中旬，Meta的FAIR實(shí)驗(yàn)室曾提出Galactica模型

然而ChatGPT誕生后，一切都不一樣了。投資者的興趣開始飆升，小扎在今年二月官宣了全新的頂級團(tuán)隊(duì)，押寶生成式AI。

據(jù)悉，工作的重點(diǎn)是建成一個(gè)基礎(chǔ)模型，在這個(gè)核心的基礎(chǔ)上，可以針對不同產(chǎn)品進(jìn)行微調(diào)和調(diào)整。

All In AIGC？網(wǎng)友：改名MetAI吧

18個(gè)月前，小扎把Facebook的未來押在了元宇宙上，甚至還把公司的名字改成了Meta。最近，他又迷上了另一個(gè)非常燒錢的技術(shù)——AIGC。

本月早些時(shí)候，Meta首席技術(shù)官Andrew Bosworth表示，扎克伯格和其他高管現(xiàn)在把大部分時(shí)間都花在了人工智能上。

對此，Bernstein的分析師表示，照這個(gè)架勢下去，Meta很可能要改名叫——MetAI了。

不過，想要追上OpenAI、微軟和谷歌的步伐，Meta就必須為訓(xùn)練這些超大規(guī)模的生成式AI模型，大肆采購英偉達(dá)的芯片（單個(gè)組件1萬美金起跳）。

目前，耗時(shí)5個(gè)月訓(xùn)練出的「Meta版ChatGPT」LLaMa，用的是2048個(gè)80GB顯存的A100。

作為對比，微軟為OpenAI量身定做的超算，搭載的可是上萬塊A100。

而ChatGPT和Bard「決一死戰(zhàn)」的背后，正是英偉達(dá)CUDA支持的GPU（圖形處理單元）和谷歌定制的TPU（張量處理單元）。

換句話說，這已經(jīng)不再是關(guān)于ChatGPT與Bard的對抗，而是TPU與GPU之間的對決，以及它們?nèi)绾斡行У剡M(jìn)行矩陣乘法。

由于在硬件架構(gòu)方面的出色設(shè)計(jì)，英偉達(dá)的GPU非常適合矩陣乘法任務(wù)——能有效地在多個(gè)CUDA核心之間實(shí)現(xiàn)并行處理。

因此從2012年開始，在GPU上訓(xùn)練模型便成為了深度學(xué)習(xí)領(lǐng)域的共識，至今都未曾改變。

而隨著NVIDIA DGX的推出，英偉達(dá)能夠?yàn)閹缀跛械腁I任務(wù)提供一站式硬件和軟件解決方案，這是競爭對手由于缺乏知識產(chǎn)權(quán)而無法提供的。

相比之下，谷歌則在2016年推出了第一代張量處理單元（TPU），其中不僅包含了專門為張量計(jì)算優(yōu)化的定制ASIC（專用集成電路），并且還針對自家的TensorFlow框架進(jìn)行了優(yōu)化。

而這也讓TPU在矩陣乘法之外的其他AI計(jì)算任務(wù)中具有優(yōu)勢，甚至還可以加速微調(diào)和推理任務(wù)。

不過，微軟與英偉達(dá)長久以來的深度合作，讓各自在行業(yè)上的積累得到充分地利用，并以此同時(shí)擴(kuò)大了雙方的競爭優(yōu)勢。

尤其是當(dāng)ChatGPT開始橫掃整個(gè)AI圈時(shí)，兩家公司的市值也是一路狂飆。

而這波被ChatGPT帶起來的大模型煉丹潮，更是讓「煉丹爐」供應(yīng)商英偉達(dá)賺得盆滿缽滿。僅在今年的這幾個(gè)月里，市值就增長了超過80%。

裁員硅谷第二，野心如何支撐

然而，Meta現(xiàn)在好像并沒有足夠的資金來支撐自己的野心。

眾所周知，這段時(shí)間裁員潮繼續(xù)席卷了整個(gè)科技行業(yè)，但有些公司裁得比別人更多。

在比例上，裁掉80%員工的推特毫無疑問地占據(jù)了第一的位置，而送走近四分之一員工的Meta緊隨其后。

在數(shù)量上，Meta也憑借著高達(dá)2.1萬人的巨大優(yōu)勢位列第二，但這并沒包括即將進(jìn)行第三輪裁員。

2022年，在小扎宣布大裁員之前，Meta有差不多87,000名員工。但在11月時(shí)畢業(yè)了11,000人，3月又畢業(yè)了10,000人。

據(jù)Insider報(bào)道，Meta的第三輪裁員會直接影響數(shù)千人，而管理層職位更是首當(dāng)其沖。包括但不限于，現(xiàn)實(shí)實(shí)驗(yàn)室、Facebook和Instagram的技術(shù)產(chǎn)品經(jīng)理，以及人工智能研究科學(xué)家、軟件工程師、數(shù)據(jù)工程師等。

最新的一項(xiàng)分析顯示，從2018年到2022年，Meta的員工隊(duì)伍膨脹了143%，但每個(gè)員工的收入在這段時(shí)間內(nèi)下降了14%。

高管變動(dòng)、員工流失、資金不足、路線選錯(cuò)，Meta前方的路，似乎困難重重。

讓我們看看小扎接下來會怎么走。