數字時代，云始終是企業實現數字化轉型和增長的關鍵底座。隨著新一輪公共云競爭的日漸火熱，新的基于算力和基礎設施的需求蓬勃生長。在這場上云熱潮中，什么樣的基礎設施產品能夠打出優勢，競得一方“云上天空”？

11月10日-24日，“乘云·向未來”火山引擎公共云·城市分享會先后走進北京、上海、深圳，會上火山引擎以“算力基礎設施護航業務平穩上云實踐”為題，分享了火山引擎算力基礎設施在高性能計算和存儲集群、云原生和計算協同調度、資源池化和在離線融合等方面的優勢，為企業業務平穩上云保駕護航。

以下為演講實錄：

從字節跳動內部業務演變看底層技術演進

一直以來，火山引擎都在認真做“云”。

作為云計算的“后來者”，火山引擎篤定“幫助客戶做業務和客戶的增長是很重要的事情”。在2021年底，火山引擎正式發布了云產品。從那時起，CPU、GPU等算力的大規模增長及配套存儲規模的提升，成為火山引擎基礎設施產品發展的“第一要義”。

回顧歷史，2003年到2010年期間，基礎網絡連接速度為10G。隨著AI的發展，如今的基礎網絡速度已經達到了200G甚至400G。這種增長無疑是驚人的。面對網絡的“提速”，為了更好地服務客戶，火山引擎始終在努力提煉和優化自身能力。

在過去的五六年里，火山引擎進行了大規模的服務器部署和深度系統建設，在IT成本、硬件服務器成本和運營成本等方面進行了系統、全面的優化。例如，在上百萬臺服務器上進行了強大的供應鏈備貨和組裝，并建立了硬件優化體系。這使得火山引擎的供應體系和硬件測試優化能力都達到了極致——無論是云服務器、GPU服務器、彈性裸金屬，都打出了性價比優勢。

基于這樣的先發優勢，火山引擎在內部和外部都采用了云原生架構，使得整個系統實現了同步和較高利用率。在這基礎之上，通過內外復用技術提高資源利用率，從而實現優化運行。如此一來，在冷啟動階段，火山引擎便處于行業領先水平。

幾年間，經過三代架構演進和大規模內部實踐，火山引擎有了非常大的進步。在資源覆蓋方面，公有云產品已經服務到了華北、華東、華南、東南亞等地區，基于性價比優勢和安全合規的基礎設施，與字節跳動業務等進行了深度融合。

而在這過程中，每一步的復制都不是簡單的“復制粘貼”，火山引擎要做的，是回歸到提高區域內的使用率和售賣率的目標上來。在滿足客戶需求的同時，也錘煉自身強勁的競爭力。

算力基礎設施進化之道

算力基礎設施具有系統工程優化、大規模訓練和推理優化、全天候技術支持、供應鏈穩定等特性。這些特性雖然在大體上相似，但每家供應商都有其獨特點。其中，供應鏈的穩定性是提升競爭力的關鍵要素之一。

當前，人工智能技術的推動，以及由此產生的對高性能計算和存儲能力的需求，使得整個供應鏈的不穩定性有所增加。因此，風險管理和對風險的容忍度成了至關重要的因素。

要應對這種不確定性，算力基礎設施需要支持各種不同體系架構的高性能算力單元，保持集群的穩定運行是一項極其重要的任務。我們現在所使用的機器，每臺都配備了兩顆CPU、8張GPU卡、4-8張網卡，這比傳統的服務器復雜度要高出一個數量級甚至更多。

正是這種硬件配置的復雜性，導致整個系統故障率是傳統CPU的10倍以上。當一個集群擁有上千張甚至上萬張GPU時候，故障的影響范圍將以指數形式增長。因此，如何確保百卡、千卡和萬卡規模的集群能夠長期穩定運行，成為了亟待解決的問題。

為了解決這一難題，火山引擎提出進行硬件的冷遷移。當發生故障時，可以保留現場，將狀態存儲在云端，并快速進行機器的冷遷移。這種做法能夠最大限度地優化加載和存儲過程。此外，還可以對網絡進行實時監控，包括對GPU故障碼進行區分等，都是有效措施。

從汽車行業和制造行業應用居多的算力組網來看，行業需要處理的數據往往是多模態的，因此除了對算力有高要求外，在存儲和帶寬方面需求也隨之升高。為了更好地監控網絡性能，火山引擎提供了毫秒級的網絡監控能力。200G的網絡和400G的網絡在數據傳輸過程中可能會出現峰值突發的情況，這種情況會持續1至2秒。而毫秒級的監控能夠有效解決這一難題。

對于萬卡規模的集群，火山引擎采用了三層架構的設計。通過使用自主研發的優勢，盡量消除了在計算方面可能出現的問題。同時，火山引擎在集群上掛載了400個存儲節點，運行文件系統的集群可以很好地提供存儲和帶寬能力。

針對存儲需求較高的任務，火山引擎在底層構建了獨立的存儲系統；而對于那些對性能要求較高且計算較為簡單的任務，火山引擎提供了更優化的方案——通過使用GPU本地盤以及后端緩存分離的技術實現分布式緩存架構。這種方法對于容量不大但帶寬需求較大的任務，可以提供性價比更高的解決方案。

總體而言，充分利用這些算力資源是AI開發體系中的關鍵所在。在訓練過程中，不同的任務可能需要從幾十卡到數千卡的不同計算資源。如果能夠通過云原生的能力將這些任務融合在一起，并將底層資源利用到最佳狀態，那么整個資源的利用率將會更加高效。

在此過程中，值得一提的是火山引擎自研的DPU卡。從2018年開始研發的DPU，至今已經可以實現幾千萬pps的性能，能夠完整地將虛擬化和存儲網絡能力卸載到卡上來，增強虛擬化的同時，很好地解決實際問題。

目前，火山引擎所有的GPU都已實現統一配置，并且接入到云上，以便實現更好的彈性。

靈活組網撬動云上增長杠桿

除了算力資源之外，火山引擎在網絡服務方面也取得了較好的進展。從功能上看，火山引擎公共云面向企業全面上云的網絡需求，能夠提供形態完整的網絡服務，幫助企業靈活組網，構建符合企業要求的高效、可控、合規的云上網絡環境。

同時，火山引擎將致力于實現異構機密可信，以及解決授信問題等技術挑戰，真正做到“將復雜的問題留給火山引擎，將更好的服務帶給客戶”。