基因技術的發展正在使人類在消病延年的路上不斷向前。例如通過檢測腫瘤基因特征片段提早預防癌癥,對孕婦進行無創傷的產前先天遺傳缺陷檢測等,因此基因檢測技術被比作破解生命密碼的終極鑰匙。

基因測序最主要的下游應用是臨床檢測和科研服務,是精準醫療的重要落腳點。針對發病原因復雜的疾病,基因測序可以實現對個人的基因組分析,提供個性化診斷,在精準度和信息密度上遠超其他診斷方式。隨著基因測序技術發展至第三代,市場規模不斷擴大,進入高速發展期。

[[346542]]

為提升基因測序任務的速度,向更多客戶提供更高效的服務,提供該項服務的企業需要部署多套基因測序平臺和高性能計算平臺,來支撐海量下機數據的分析和存儲。這就面臨一個亟待解決的現實問題,在基因測序成本降低、測序樣本數量快速增大的前提下,基因測序行業特定需求對存儲系統和算力都提出了挑戰:

數據容量巨大

基因測序過程中產生的PB級海量文件數據,對業務的分析非常重要,需要長時間保留。存儲過程涉及到擴容、數據安全等問題。

性能瓶頸

基因測序往往采用多機集群計算,高通量并發訪問對存儲的帶寬和IO都有極高的要求,如果無法滿足,就會大大降低測序的效率,延長測序時間。

多樣性計算框架與服務挑戰

測序數據產出量很大,需要結合高性能計算技術來進行后續的測序數據處理。通常的高性能計算平臺來處理測序數據時,都面臨規模和效率問題。

為滿足客戶差異化需求,提供基因測序的企業一般會選擇建立多個實驗室和實驗基地,并運行多種測序平臺。這類多客戶端并發高通量測序對海量數據的高性能存儲、高性能計算以及數據的全天候在線提出了嚴苛要求。極道智能數據系統中的分布式存儲系統和ABC融合計算系統兩大組件,在基因測序行業多個客戶業務中保持著長期穩定運行。

破解生命科學密碼的“超存”問題

針對基因測序特定的數據特征,面向大容量、高帶寬應用的極道ALAMO文件存儲系統采用分布式架構,性能與容量隨物理節點擴展可實現線性增長,輕松擴展至上百節點,達到PB甚至EB級容量,適合測序過程中的高通量和高性能計算的文件應用。同時,ALAMO提供的高帶寬數據并行處理能力,實現了數據存儲與調用的快速讀入、寫出和傳輸。

用戶反饋:“極道ALAMO文件存儲系統輕松滿足多個客戶端的并發訪問需求,在長期的使用過程中,即使在承載大量測序客戶端并發訪問時,ALAMO的帶寬和讀寫性能也有極致的表現,沒有絲毫衰減。”

在保證數據安全可靠性方面,極道存儲系統中的每個文件都可跨多個硬盤組,通過編碼保護。為了降低核心元數據丟失的可能性,極道在存儲池不同的位置存儲三份關鍵元數據互為備份。實踐證明,極道ALAMO在客戶數據中心連續在線的60+月中,實現了零數據丟失。

融合計算系統為基因測序加速

在基因測序計算中,多樣性計算框架和服務無法同時被調度進行并行計算,作業超長延時難以匹端業務需求。為打破計算瓶頸,企業需要建立具有良好可擴展性的計算平臺,滿足業務對時間的嚴苛要求,同時減低部署和管理難度。

利用極道ABC融合計算系統,從根本上能夠解決多樣性計算框架融合問題。該系統由一個主集群和多個從集群組成一個調度空間,分布式的計算環境讓多調度器之間相互協作,突破了集群規模瓶頸。

ABC融合計算系統支持高強度計算分析的多種計算框架,可以按需動態構建計算框架,智能調度各種類型的數據計算、處理和分析任務。內嵌的執行引擎根據用戶定義的數據依賴關系將分析工具連接組織生成數據流,使各節點之間根據依賴關系完成多路并行計算或順序計算。將基因測序平臺分析軟件搭載在極道數據操作系統上,可使業務與計算資源完美結合,有效縮短計算和調度時間,最大程度提升業務分析效率。

ABC融合計算系統統一的資源池、融合多計算框架和可視化構建數據流等特性,不但保證了算力,而且還可以利用調優來不斷釋放系統的計算潛力。幫助基因測序行業客戶實現計算資源的按需調度,自動化構建工作流程,使復雜工作更加簡單化、智能化,這正是極道智能數據系統的價值所在。

值得一提的是,極道ALAMO分布式存儲系統和ABC融合計算平臺,通過極道獨有的存儲和計算的一體化協同設計,計算系統可以動態感知應用IO類型,根據數據流動態調節每一個節點所需的計算框架、分配計算資源,讓每一階段計算都極速高效。存儲也可以預判任務的IO模型,以做出策略選擇和定向優化,提供盡可能高的存儲效率和并行能力,為基因測序平臺提供了高效、穩定、可靠的支撐。

極道智能數據系統的高靈活和可擴展性滿足了基因測序行業客戶不斷增長的業務需求,并且做到了計算資源和數據資源的完全透明無縫擴展,從而解決客戶的數據存儲、數據分析和歸檔備份等問題,讓客戶更多的關注業務能力,發揮數據的價值,更好地通過基因測序服務社會,以技術驅動“精準醫療”的發展。