可與H100一戰(zhàn)，微軟首款5納米自研芯片震撼發(fā)布！Copilot引爆辦公全家桶，Bing Chat改名
微軟深夜炸場(chǎng)，萬(wàn)物皆可Copilot！
Bing Chat，從此更名Copilot。
登錄微軟賬號(hào)，就可以在Copilot專屬網(wǎng)站上免費(fèi)使用GPT-4、DALL·E 3。
圖片
OpenAI的全新王牌爆款——自定義GPT，也被塞進(jìn)Copilot宇宙，變身為Copilot Studio。
打工人利器Office，也在Copilot的加持下全面升級(jí)。
而且，微軟終于也開(kāi)始制造定制芯片了！兩款為云基礎(chǔ)結(jié)構(gòu)設(shè)計(jì)的定制芯片——Azure Maia 100和Azure Cobalt 100在昨晚閃亮登場(chǎng)。
圖片
全線改名Copilot，自定義GPT來(lái)了
今天，微軟Copilot全面迎來(lái)了新時(shí)代。
在Ignite 2023 大會(huì)上，納德拉宣布Bing Chat和Bing Chat for Enterprise，正式更名為Copilot！
除了Edge，Copilot可以在Chrome，Safari瀏覽器上網(wǎng)頁(yè)運(yùn)行，并且很快上線移動(dòng)設(shè)備。
圖片
當(dāng)然，Copilot免費(fèi)版可以在必應(yīng)和Windows中直接訪問(wèn)，還有一個(gè)專門入口（https://copilot.microsoft.com/）。
Microsoft 365中的Copilot依舊需要付費(fèi)。
圖片
Microsoft 365的Copilot目前僅限于微軟最大的客戶，企業(yè)必須至少達(dá)到300個(gè)用戶，才能進(jìn)入AI驅(qū)動(dòng)的Office助手的名單，每位用戶每月收費(fèi)30美元。
今年年初，微軟還曾提到與谷歌搜索競(jìng)爭(zhēng)的AI野心，但現(xiàn)在看起來(lái)，這家老牌巨頭顯然把目光投向了ChatGPT。
在OpenAI宣布每周有1億人使用ChatGPT后，Bing Chat直接更名。
這不得不讓外界猜想，盡管有價(jià)值數(shù)十億美元的密切合作關(guān)系，但微軟和OpenAI仍在爭(zhēng)奪相同客戶，而Copilot，就是微軟試圖拋給消費(fèi)者和企業(yè)的最佳選擇。
值得一提的是，微軟大會(huì)還發(fā)布了低代碼工具——Microsoft Copilot Studio。
與OpenAI可以定制的GPT還是有所不同，它是可以擴(kuò)展到Microsoft 365。
其優(yōu)勢(shì)在于，Copilot Studio可以在同一網(wǎng)頁(yè)上進(jìn)行構(gòu)建、部署、分析、管理內(nèi)容。
圖片
更重磅的是，Copilot Studio無(wú)縫集成OpenAI的GPTs，允許開(kāi)發(fā)者構(gòu)建自己的GPT。
另外，Copilot Studio還有一個(gè)可以分析的儀表板，管理員可以集中監(jiān)視使用情況并進(jìn)行分析，在管理中心內(nèi)控制訪問(wèn)權(quán)限。
圖片
微軟還在Dynamics 365 Guides集成了Copilot，將生成式AI與混合現(xiàn)實(shí)相結(jié)合，幫助一線員工完成復(fù)雜的任務(wù)。
未來(lái)，工程師無(wú)需搜索大量文檔或紙質(zhì)手冊(cè)，僅通過(guò)自然語(yǔ)言和手勢(shì)就能查詢信息。
圖片
微軟自研芯片來(lái)了
此前，坊間曾傳出傳言：微軟在悄悄構(gòu)建自己的芯片，用于訓(xùn)練大語(yǔ)言模型，避免對(duì)英偉達(dá)過(guò)度依賴。
現(xiàn)在證實(shí)了——傳言是真的！
今年的大模型熱，讓H100的需求激增，單塊甚至在eBay上賣出了超過(guò)4w美元的價(jià)格。
這塊大蛋糕，微軟絕對(duì)不會(huì)放下，Azure Maia和Azure Cobalt CPU明年就會(huì)上市。
圖片
SemiAnalysis深度分析：https://www.semianalysis.com/p/microsoft-infrastructure-ai-and-cpu
Azure Maia GPU（Athena/雅典娜）
雖然微軟是四巨頭（亞馬遜、谷歌、Meta、微軟）里最后一個(gè)發(fā)布產(chǎn)品的，但這次的Maia 100 GPU卻毫不遜色——
在算力方面能與英偉達(dá)（H100）和AMD（MI300X）一戰(zhàn)，在網(wǎng)絡(luò)IO方面遙遙領(lǐng)先，而在顯存帶寬方面則稍顯落后。與目前使用第二代Trainium/Inferentia2芯片的亞馬遜相比，紙面上的各項(xiàng)指標(biāo)都實(shí)現(xiàn)了碾壓。
圖片
具體來(lái)說(shuō)，Maia采用的是臺(tái)積電5nm節(jié)點(diǎn)工藝，擁有1050億個(gè)晶體管的單片芯片。并支持微軟首次實(shí)現(xiàn)的8位以下數(shù)據(jù)類型，即MX數(shù)據(jù)類型。
算力方面，Maia在MXInt8格式下，算力可以達(dá)到1600 TFLOPS，在MXFP4格式下則為3200 TFLOPS。
由于是在LLM熱潮出現(xiàn)之前設(shè)計(jì)的，Maia的顯存帶寬只有1.6TB/s。雖然這比Trainium/Inferentia2高，但明顯低于TPUv5，更不用說(shuō)H100和MI300X了。此外，微軟采用的是4層HBM，而不是英偉達(dá)的6層，甚至AMD的8層。
據(jù)業(yè)內(nèi)人士分析，微軟當(dāng)時(shí)在芯片上加載了大量的SRAM，從而幫助減少所需的顯存帶寬，但這似乎并不適用于現(xiàn)在的大語(yǔ)言模型。
圖片
Maia的另一個(gè)有趣之處，便是微軟對(duì)網(wǎng)絡(luò)的處理。
就AMD和英偉達(dá)而言，它們都有自己的Infinity Fabric和NVLink，用于小范圍芯片的高速連接（通常為8個(gè)）。如果要將數(shù)以萬(wàn)計(jì)的GPU連接在一起，則需要將以太網(wǎng)/InfiniBand的PCIe網(wǎng)卡外接。
對(duì)此，微軟采取了完全不同的方式——每個(gè)芯片都有自己的內(nèi)置RDMA以太網(wǎng)IO。這樣，每個(gè)芯片的IO總量就達(dá)到了4.8Tbps，超過(guò)了英偉達(dá)和AMD。
圖片
為了充分發(fā)揮出Maia的性能，微軟專門打造了名為Ares的機(jī)架和集群，并首次采用了「Sidekick」全液冷設(shè)計(jì)。
這些機(jī)架是為Maia高度定制的，比標(biāo)準(zhǔn)的19"或OCP機(jī)架更寬。
具體來(lái)說(shuō)，微軟在一個(gè)機(jī)架上搭載了8臺(tái)服務(wù)器，其中每臺(tái)服務(wù)器有4個(gè)Maia加速器，也就是共計(jì)32個(gè)Maia芯片。除此之外，還會(huì)配備網(wǎng)絡(luò)交換機(jī)。
此外，Maia機(jī)架的功率可以達(dá)到約40KW，這比大多數(shù)仍只支持約12KW機(jī)架的傳統(tǒng)數(shù)據(jù)中心也要大得多。
Maia 100服務(wù)器機(jī)架和「Sidekick」液卻
值得注意的是，微軟使用的是自己從第三方獲得SerDes授權(quán)，并直接向臺(tái)積電提交設(shè)計(jì)，而不是依賴Broadcom或Marvell這樣的后端合作伙伴。
Sam Altman表示，第一次看到微軟Maia芯片的設(shè)計(jì)時(shí)，自己和同事感到非常興奮。而OpenAI也已經(jīng)用自己的模型（GPT-3.5 Turbo）對(duì)Maia進(jìn)行了改進(jìn)和測(cè)試。
圖片
就在昨天 ，Sam Altman剛剛宣布訪問(wèn)量激增超出承受能力，Plus賬號(hào)注冊(cè)暫停
Azure Cobalt CPU
CPU方面，Microsoft Azure Cobalt是一款基于Armv9架構(gòu)的云原生芯片，針對(duì)通用工作負(fù)載的性能、功率和成本效益進(jìn)行了優(yōu)化。
具體來(lái)說(shuō)，Azure Cobalt 100 CPU共有128個(gè)核心，并支持12條DDR5通道。
與微軟第一款基于Neoverse N1的Arm CPU相比，基于Neoverse N2的Cobalt 100在性能上提升了40%。
圖片
與Arm傳統(tǒng)的只授權(quán)IP的商業(yè)模式不同，Neoverse Genesis CSS（計(jì)算子系統(tǒng)）平臺(tái)可以使CPU的開(kāi)發(fā)更快、更容易，且成本更低。
圖片
圖片
圖片
就Cobalt 100而言，微軟采用的是2個(gè)Genesis計(jì)算子系統(tǒng)，并將它們連接成1個(gè)CPU。
圖片
圖片
圖片
Arm此前曾表示，有一個(gè)項(xiàng)目從啟動(dòng)到完成芯片只用了13個(gè)月。根據(jù)業(yè)界推測(cè)，這里提到的很可能就是微軟。
圖片
可以說(shuō)，微軟花了許多心思。在設(shè)計(jì)上的獨(dú)具匠心，不僅讓它具有高性能，還能控制每個(gè)內(nèi)核和每個(gè)虛擬機(jī)的性能和功耗。
用于測(cè)試Microsoft Azure Cobalt片上系統(tǒng)的探針臺(tái)
目前，微軟正在Microsoft Teams和SQL Server等工作負(fù)載上測(cè)試Cobalt CPU，計(jì)劃明年向客戶提供用于各種工作負(fù)載的虛擬機(jī)。
重新思考AI時(shí)代的云基礎(chǔ)設(shè)施
實(shí)際上，微軟在芯片開(kāi)發(fā)上有著悠久的歷史。
20多年前，微軟就和Xbox合作，還為Surface設(shè)備共同設(shè)計(jì)了芯片。17年，微軟就開(kāi)始構(gòu)建云硬件堆棧。
Azure Maia AI芯片和Azure Cobalt CPU都是在微軟內(nèi)部構(gòu)建的，微軟對(duì)整個(gè)云服務(wù)器堆棧進(jìn)行了深入檢修，以優(yōu)化性能，功耗和成本。
用微軟硬件系統(tǒng)負(fù)責(zé)人Rani Borkar的話說(shuō)，「我們正在重新思考人工智能時(shí)代的云基礎(chǔ)設(shè)施，并從字面上優(yōu)化該基礎(chǔ)設(shè)施的每一層。」
現(xiàn)在，微軟、AMD、Arm、英特爾、Meta、英偉達(dá)和高通在內(nèi)的集團(tuán)，都在標(biāo)準(zhǔn)化AI模型的下一代數(shù)據(jù)格式。
圖片
微軟：我們和英偉達(dá)是互補(bǔ)，不是競(jìng)爭(zhēng)
跟H100、H200，甚至是AMD最新的MI300X比較，Maia的性能如何呢？
Borkar回避了這個(gè)問(wèn)題，而是重申微軟與英偉達(dá)和AMD的合作對(duì)于Azure AI云的未來(lái)很重要。
「重要的是，在云運(yùn)行的規(guī)模上優(yōu)化和集成堆棧的每一層、最大限度地提高性能、使供應(yīng)鏈多樣化，為客戶提供基礎(chǔ)設(shè)施的選擇。」
據(jù)悉，要實(shí)現(xiàn)ChatGPT的商業(yè)化，OpenAI需要30,000塊A100，如果用微軟自研的芯片，顯然會(huì)降低AI成本。
圖片
考慮到目前AI領(lǐng)域的速度，Maia 100的繼任者很可能會(huì)和H200相同的速度推出，也就是大概20個(gè)月后。
隨著微軟本周推出更多的Copilot功能和Bing Chat的品牌重塑，Maia必然會(huì)大顯身手。
GPT性能/總擁有成本
對(duì)于芯片來(lái)說(shuō)，最重要的是性能。
在推理方面，需要注意的是，微軟所做的內(nèi)存權(quán)衡是非常不利的，這使得微軟很難與之競(jìng)爭(zhēng)。
H100的內(nèi)存帶寬是其2倍多，H200是其3倍，而MI300X甚至更高。
因此，在LLM推理方面，Maia 100的性能處于劣勢(shì)。就每秒處理更大批大小的token而言，GPT-4推理的性能大約是 H100的1/3。
值得注意的是，這本身并不是一個(gè)大問(wèn)題，因?yàn)橹圃斐杀九c英偉達(dá)的巨大利潤(rùn)率彌補(bǔ)了大部分差距。
問(wèn)題是，電源和散熱仍需要更多成本，而且token到token的延遲更差。
在聊天機(jī)器人和許多協(xié)同Copliot工具等對(duì)延遲敏感的應(yīng)用中，Maia無(wú)法與英偉達(dá)和AMD GPU競(jìng)爭(zhēng)。
后兩種GPU都可以使用更大的批處理量，同時(shí)可接受延遲，因此它們的利用率會(huì)更高，性能TCO也比Maia高得多。
在GPT-3.5 Turbo等較小的模型中，情況要好一些，但微軟不能只部署針對(duì)小模型的優(yōu)化硬件。因?yàn)殡S著時(shí)間的推移，GPT-3.5 Turbo等小模型將被逐步淘汰。
不僅在硬件上強(qiáng)強(qiáng)聯(lián)合，微軟會(huì)上還宣布將英偉達(dá)AI代工廠服務(wù)（Nvidia AI Foundry）引入Azure。
不僅有英偉達(dá)的基礎(chǔ)模型、NeMo框架、DGX Cloud AI超算以及服務(wù)全部集成到微軟Azure平臺(tái)，向企業(yè)和開(kāi)發(fā)者開(kāi)放。
圖片
數(shù)學(xué)推理飆升50%，27億參數(shù)Phi-2開(kāi)源
開(kāi)發(fā)者方面，微軟在自家的Azure AI上提供了從數(shù)十億到數(shù)萬(wàn)億不等的基礎(chǔ)模型。
納德拉現(xiàn)場(chǎng)激動(dòng)地表示，OpenAI團(tuán)隊(duì)做了非常出色的工作推動(dòng)AI的前進(jìn)，我們將繼續(xù)推進(jìn)深度合作。
他現(xiàn)場(chǎng)承諾：只要OpenAI一更新，微軟就會(huì)在平臺(tái)全部交付。
圖片
OpenAI首屆開(kāi)發(fā)者大會(huì)上的模型更新，同樣上線微軟開(kāi)發(fā)者平臺(tái)。其中，包括GPT-4 Turbo，以及GPT-4 Turbo with Vision，DALLE·3。
另外，微軟還將提供GPT-4的微調(diào)功能。這樣，開(kāi)發(fā)者可以調(diào)用自己的數(shù)據(jù)去微調(diào)自定義的GPT-4。
至于定價(jià)，微軟與OpenAI保持一致。
圖片
同樣，微軟Azure AI還支持開(kāi)源模型。
開(kāi)發(fā)者能夠輕松地將Stable Diffusion、Llama 2、G42 Jais等最新的模型，通過(guò)API集成到應(yīng)用中。
另外，微軟還宣布了全新的小體量模型——Phi-2，僅有27億參數(shù)，并將在未來(lái)開(kāi)源。
圖片
最新Phi-2模型，同樣是在教科書(shū)級(jí)數(shù)據(jù)上完成訓(xùn)練，比前身Phi-1.5更加強(qiáng)大，在數(shù)學(xué)推理上的性能飆升50%。
圖片
除了模型，為了進(jìn)一步降低開(kāi)發(fā)者門檻，微軟還推出了全鏈條開(kāi)發(fā)工具——Azure AI Studio。
它提供了完整周期的工具鏈，是一個(gè)端到端的平臺(tái)，包括模型的開(kāi)發(fā)、訓(xùn)練、評(píng)估、部署、定制等等。
圖片
參考資料：
https://www.semianalysis.com/p/microsoft-infrastructure-ai-and-cpu
https://www.theverge.com/2023/11/15/23960517/microsoft-copilot-bing-chat-rebranding-chatgpt-ai
