2023年8月23日-25日，全國高性能計算學(xué)術(shù)年會（CCF HPC China 2023）在青島舉辦。 在本屆大會上，華為自研企業(yè)級超大規(guī)模集群分布式管理軟件-多瑙調(diào)度器憑借其高效調(diào)度能力、多樣性算力支持和極簡管理的先進(jìn)性和創(chuàng)新性，榮獲中國計算機(jī)學(xué)會高性能計算專業(yè)委員會頒發(fā)的技術(shù)創(chuàng)新獎。

高性能計算正在從高精尖科研創(chuàng)新領(lǐng)域走向千行百業(yè)。2022年，華為正式發(fā)布了鯤鵬高性能計算解決方案（鯤鵬HPC解決方案），該方案基于鯤鵬全棧（含硬件、基礎(chǔ)軟件、應(yīng)用優(yōu)化等），通過硬件開放和軟件開源，打造高性能、高算力的整機(jī)產(chǎn)品和完整的高性能計算基礎(chǔ)軟件棧。多瑙套件（含多瑙管理平臺和多瑙調(diào)度器）是鯤鵬HPC解決方案的核心軟件，多瑙調(diào)度器支持百萬核超大規(guī)模調(diào)度和異構(gòu)多集群統(tǒng)一管理，大幅提升集群管理效率和多核作業(yè)調(diào)度能力。

調(diào)度器作為集群計算的大腦，主要負(fù)責(zé)為任務(wù)分配相應(yīng)的系統(tǒng)資源。好的調(diào)度器可以充分發(fā)揮集群資源的有效算力，為用戶帶來極致的性價比；反之則會導(dǎo)致嚴(yán)重的資源浪費(fèi)，甚至是集群癱瘓。

華為自研企業(yè)級超大規(guī)模集群分布式管理軟件-多瑙調(diào)度器，支持融合應(yīng)用跨多樣性算力資源的統(tǒng)一調(diào)度和管理，實現(xiàn)大規(guī)模、高資源利用效率、高調(diào)度性能，為多樣性計算集群提供應(yīng)用和資源的最佳匹配。多瑙調(diào)度器基于前沿的架構(gòu)設(shè)計理念進(jìn)行設(shè)計開發(fā)，橫向支持HPC、AI、大數(shù)據(jù)多場景統(tǒng)一調(diào)度；縱向支持應(yīng)用、算力、存儲、網(wǎng)絡(luò)、能耗深度感知和多維度智能調(diào)度；跨數(shù)據(jù)中心支持?jǐn)?shù)據(jù)中心間資源協(xié)同，全局調(diào)度，并具備以下三大先進(jìn)性和創(chuàng)新性：

●高效調(diào)度：通過自研多線程事件引擎、IO技術(shù)優(yōu)化，支持單集群1萬節(jié)點(diǎn)/百萬核資源調(diào)度，資源利用率90%+，吞吐量超過400萬/小時；通過啟動作業(yè)多級樹狀分發(fā)關(guān)鍵技術(shù)創(chuàng)新，支持40萬RANK MPI作業(yè)調(diào)度啟動。

●多樣性支持：通過節(jié)點(diǎn)標(biāo)簽、資源模型抽象統(tǒng)一技術(shù)，支持鯤鵬/x86/GPU多樣性算力混合部署；通過架構(gòu)分層、接口適配，以不侵入修改三方集群方式支持異構(gòu)多集群統(tǒng)一管理，實現(xiàn)資源統(tǒng)籌規(guī)劃和高效利用。

●極簡管理：集成應(yīng)用、監(jiān)控、報表、計費(fèi)四大中心功能，通過Web界面可視化管理集群，管理效率提升30%；提供設(shè)計計算一體化集成能力，數(shù)據(jù)不出湖，端到端保障數(shù)據(jù)安全。

多瑙度器一經(jīng)推出，受到了廣大客戶的青睞，目前已經(jīng)在教育科研、制造、氣象、生命科學(xué)、高能物理、材料化學(xué)等各個行業(yè)應(yīng)用，幫助客戶打造性能更佳、成本更優(yōu)、效率更高的高性能計算基礎(chǔ)設(shè)施“底座”提供重要支撐，為高性能計算用戶提供更容易落地的產(chǎn)品和解決方案，加速構(gòu)建創(chuàng)新發(fā)展格局。