超越英偉達B200！AMD最強AI芯：1.6倍大內存、大模型推理快30%，奧特曼都來站臺
AMD大招逆襲，最強AI芯片號稱大模型推理比英偉達B200快30%！
CEO蘇姿豐與OpenAI奧特曼共同登臺發布。
這次AMD發布了MI350X和MI355X兩款GPU，采用3nm工藝，包含1850億晶體管，配備HBM3E內存。
相比前代的MI300X，MI350系列的算力提升了4倍，推理速度快了35倍。
MI350系列也是叫板英偉達B200，內存是B200的1.6倍，訓練推理速度相當或更快。
并且由于芯片功耗低于英偉達，在MI355X上每花費1美元，可以比B200多跑40%的tokens。
同時，AMD還預告明年將會發MI400系列，并且奧特曼也來給蘇媽站臺，透露OpenAI參與了MI400系列的聯合研發。
大模型運行更快，MI350系列叫板英偉達
MI350X和MI355X在核心設計上是相同的，二者的區別是針對不同的散熱方式設計，前者采用風冷，后者則和B200一樣采用了更先進的液冷。
它們都基于第四代Instinct架構（CDNA 4），并配備288GB的HBM3E內存和8TB每秒的內存帶寬，這一容量是英偉達GB200和B200 GPU的1.6倍。
功耗上，風冷的MI350X最高TBP為1000W，液冷的MI355X則達到了1400W，更高的TBP之下，MI355X的性能也高于同架構的MI350X。
在精度較高的FP64上，MI350X和MI355X的算力分別是72和78.6TFLOPs，據介紹是英偉達的2倍。
而在低精度格式（例如FP16、FP8和FP4）上，MI350系列的性能則與英偉達相當或略勝一籌。
值得注意的是，MI350系列上，FP6性能的運算可以以FP4的速率運行，這被AMD認為是一個差異化特征。
搭配AMD第五代EPYC（Turin）芯片，8個GPU通過153.6 GB/s的雙向Infinity Fabric鏈路進行通信，可以組成一個節點。
這些節點還將繼續組合成風冷或液冷機柜，形成最高128GPU的集群，FP8算力達到1.3EFLOPs。
除了列性能數據，AMD還直觀地介紹了MI350系列運行大模型應用的性能，并分別與自家前代產品和英偉達進行了對比。
相比于MI300X（FP8），MI355X（FP4）運行Llama 3.1 405B的速度達到了35倍。
運行DeepSeek R1、Llama 4 Maverick和Llama 3.3 70B的推理性能也均達到了3倍。
和英偉達的B200或GB200相比，MI355X也能達到相當或更高的性能（均為FP4精度，使用不同框架），DeepSeek R1和Llama 3.1 405B的性能分別比B200高20%和30%。
訓練和微調上，也是相比MI300X大幅提升，并擁有和B200/GB200相當或更高的性能。
成本方面，MI350系列也擁有較高的性能密度，同樣花費1美元，在MI355X上可以比B200上多處理40%的token。
AMD表示，MI350系列在本月初已經批量出貨，云服務商正在進行安裝。
微軟、Meta、xAI等正在使用AMD產品的AI大廠，也均對MI350表示了期待。
另外，為了搭配MI350系列，AMD還發布了全新的ROCm 7軟件棧，相比ROCm 6帶來了3.5倍的推理性能提升和3倍的訓練性能提升，同時引入了分布式推理支持。
ROCm 7還與VLM和SGLang等開源推理框架深度集成，并且支持超過180萬個Hugging Face模型的開箱即用。
AMD公布路線圖，MI400明年亮相
發布MI350系列的同時，蘇媽也公布了AMD在AI芯片上新的路線圖。
根據這張路線圖，AMD的下一代GPU，也就是MI400系列，將于明年亮相。
MI400系列由AMD和OpenAI聯合研發，OpenAI為MI400系列的訓練和推理需求提供了重要反饋。
奧特曼也來到現場為AMD站臺，表示MI400非常適合推理，并且也可能是訓練的絕佳選擇。
MI400系列將采用下一代CDNA架構，預計速度比MI300系列快10倍，FP4運行速度將達到40PFLOPs。
還將配備高達432GB的HBM4內存和19.6TB/s的內存帶寬，這個數字讓現場的奧特曼也為之一震。
搭配2nm的Venice CPU和Vulcano網卡，MI400可以組裝成完整的Helios AI機架。
Venice擁有多達256個Zen6高性能核心，計算性能預計比當前的Turin CPU提升70%。
代號為“Vulcano”的下一代擴展AI網卡，支持PCIe和UAL接口，并提供800GB/s的線速吞吐量。
整體上，Helios機架將連接多達72個GPU，擁有260TB/s的擴展帶寬。
另外，AMD還計劃到2027年推出MI500系列GPU和Verono CPU，將“進一步突破性能、效率和可擴展性的極限”。
那么你認為，AMD這次Yes了嗎？
