即使以大規模并發方式訪問數據集，128臺計算節點的模擬處理速度仍然不夠理想，這樣的難題該如何解決?

　　如果由DDN公司給出答案，那么結果必然是采用閃存緩存構建緩沖區; 當然，亦可嘗試選擇基于NVMe閃存驅動器的虛擬SAN，而這正是美國宇航局的解決思路。

　　美國宇航局的先進超級計算(簡稱NAS)設施位于美國宇航局艾姆斯研究中心之內。其高端計算能力項目(簡稱HECC)旨在幫助科學家與工程師們利用超大規模建模、模擬、分析與可視化方案確保美國航空局的各太空任務得以成功完成。

　　作為項目的組成部分，宇航局方面開發出Hyperwall系統，這是一臺縱向16列、橫向8排的超大顯示屏幕，用于顯示大規模場景下的可視化模擬結果。其模擬對象包括多個項目，例如涉及大量流場尋路計算的ECCO(即海洋循環與氣候評估)。此類模擬任務通常涉及規模龐大且由美國宇航局超級計算機與各類儀器生成的高維數據集。

　　科學家們能夠利用多種不同工具、視點以及參數以顯示同樣的數據或者數據集，并通過可視化機制檢查模擬結果。

　　目前的問題在于，Excelero的NVMesh存儲方案如何以理想速度支撐起Hyperwall龐大的128臺顯示器與130個計算節點(128臺計算節點加2臺后備節點)。之所以如此困難，是因為其中涉及龐大的數據集與大量規模較小且極為隨機的IO操作。磁盤驅動器采用的Lustre文件系統表現不力，這套理論性能可達每秒80 GB的文件系統在實際數據吞吐量方面僅可提供每秒100多MB的表現。

美國宇航局艾姆斯Hyperwall可視化多屏幕顯示器

　　Hyperwall中各計算節點都配合一塊2 TB閃存驅動器。程序員們會將整體數據集拆分為2 TB甚至更小的分塊，并將其復制至各計算節點當中。在此之后，整個可視化流程即可確保計算及交互操作利用本地數據進行，但這種作法會顯著提升編程復雜度。

　　場流尋路涉及兩項核心技術：

　　• 利用核內方法處理內存內或者閃存等高速本地介質中的數據。

　　• 當數據被移動至計算節點之外，即訪問時間更長時，使用核外技術進行處理。

　　緩慢的模擬速度意味著科學家與工程師們只能以較低效率使用Hyperwall可視化方案。正如excelero所言，這正是NVMesh技術的專長所在。

ECCO模擬顯示結果

　　NVMe 虛擬閃存SAN

　　如果全部128個節點上的2 TB閃存驅動器被整體匯總為單一資源池，即單一256 TB邏輯設備，并作為虛擬閃存SAN供RDMA訪問，那么每塊閃存驅動器在實質上都將成為各計算節點的本地存儲資源。對于計算節點應用而言，直接訪問網絡設備目標并利用RDMA能夠實現良好的并發讀取效果。

　　美國宇航局艾姆斯 研究中心的可視化小組安裝了NVMesh方案并借此獲得了中央塊存儲管理能力——包括邏輯分卷、數據保護與故障轉移等等——且無需受到傳統SAN的性能限制。Excelero公司指出，這將為可視化、分析/模擬以及突發性緩沖區使用等層面的各類用例提供理想的性能、經濟性與可行性提升效果。

　　NVMesh擁有以下三大主要模塊：

　　• 其中存儲管理模塊為一套集中式基于WebGUI的RESTful API，負責控制系統配置。

　　• 目標模塊可安裝在任意主機之上并共享其NVMe驅動器，通過客戶端對各驅動器進行初始連接驗證，而后保持這條數據路徑。

　　• 客戶端塊驅動器運行在各需要訪問NVMesh邏輯塊分卷的主機/鏡像之上。

　　在混合部署場景之下，客戶端與目標模塊可共存于同一服務器當中。

太空發射系統(簡稱SLS)可視化效果

　　臨時性閃存

　　Excelero公司指出，在此用例之下，由于模擬數據在主Lustre文件系統內得到嚴格保護，因此256 TB虛擬設備盡管由非易失性介質構成，但仍可作為臨時性存儲資源使用。

　　因此無需對全部128臺節點/設備進行RAID-0邏輯分卷串連即可實現數據保護。出于簡化要求，該設備被附加至單一節點中，采用XFS文件系統并填充各類數據。該文件系統隨后可隨意以只讀方式掛載及卸載于全部128個計算節點之上。

　　NVMesh邏輯塊分卷可由集群化文件系統利用，亦可在遭遇主機或驅動器故障時受到良好保護。

　　延遲至關重要

　　這套NVMesh方案的加入會令數據訪問延遲較本地NVMe驅動器延遲提升5微秒，大部分延遲由網絡造成。

　　科學家與工程師不需要在編程層面限制數據位置; 各計算節點上的全部數據訪問行為皆以本地方式實現。根據靈活IO測試工具(簡稱fio)給出的基準測試結果，全部128個節點皆可實現超過3000萬隨機4K讀取IOPS。這一IOPS水平下的平均延遲為199微秒，而***值則為8微秒。1 MB數據塊條件下的數據通量則為每秒140 GB。

　　Excelero公司指出，在利用原生NVMe隊列機制時，這種方法能夠完全回避目標主機CPU(配備有NVMe驅動器的主機)為應用程序預留處理資源的問題。

　　這一模擬結果意味著可視化任務的運行將更為順暢快速，而美國宇航局艾姆斯研究中心的科學家與工程師們則可更加自然地完成交互，從而顯著提升工作效率。

 　　了解更多熱點新聞，請關注51CTO《科技新聞早報》欄目!

[[178500]]