IT正在改變我們的生活。近年來，數據呈現爆炸性增長，根據Gartener分析，到2020年數據將增長到驚人的35ZB(1ZB=1,000,000,000 TB)，飛速增長的數據同人們的日常生活緊密相聯并且逐漸占據更大的比例。FaceBook，Twitter等社交網站日益火爆，電子帳單、Email、等傳統業務也將以新型的數據形式存儲，每天這些應用都在產生大量的數據。數據正在成為一種重要的資產，人們對它的需求和認知度越來越高，出于人類天然的私有資產保護心理，對數據的安全可靠需求呼之欲出，并且愈發顯得重要，數據可靠性也成為業界不斷熱議并持續加溫的一個課題。隨著海量數據已經成為了一種必然趨勢，在海量數據場景下充分保證個人的資產的安全，成為人們最關心的話題。

影響數據可靠性的“三宗罪”

傲慢，妒忌，暴怒，懶惰，貪婪，暴食以及色欲是圣經中的七宗罪，它總結了人類的7種劣根性，如果不加以控制就會嚴重影響人類的正常生活，在存儲領域也有七宗罪，它們分別是物理故障、人為誤操作、軟件問題、病毒、木馬和黑客攻擊，筆記本丟失和被盜、員工惡意破壞、自然災害，它們嚴重威脅數據可靠性。 據 Verizon Business公司統計表明， 全球在2004 ～ 2010的七年間發生數據丟失災難的企業中，有 38% 是物理故障，25% 是人為誤操作，16%是軟件問題，10%是病毒、木馬和黑客攻擊，剩余的11%有筆記本丟失和被盜、員工惡意破壞、自然災害。

在這里，我們簡單分析一下前三宗罪。

硬件故障引發數據丟失

眾所周知，記載人類信息的虛擬數據必須承載在實體設備中，才可以永久保存，從最初的結繩記事，到紙質印刷，再到現在的二進制存儲，數據存儲的硬件形態不斷進化。在當今IT世界的企業級應用中，磁盤成為承載數據的最小實體單元。所有數據存儲在磁盤上，一旦磁盤損壞引起數據丟失，對客戶造成傷害是無法彌補的，磁盤的可靠性是一切數據保存的基礎。前輩精英們通過不斷的研究，創造出了無數保存數據可靠性的方法，例如：集群，RAID等，但是這些技術都只是把磁盤當作一個存儲的“傻盒子”，讓它只知道“吃”(存/取數據)，并不知道“思考”(怎么存/取才最好?)，沒有解決存儲可靠性的根本問題。如何讓磁盤實現自管理，單盤故障不會影響到其它磁盤是我們迫切需要解決的問題。

人為誤操作不可避免

只要有人的地方，就有江湖。在IT江湖中，人的影響是如此之大，以至于數據丟失領域中四分之一的錯誤都是人為誤操作犯下的，從最簡單的文件誤刪除，到高深的數據庫記錄篡改，再到復雜又常見的設備管理。人們逐漸認識到自身的失誤對最終結果的惡劣影響，試圖使用機器精密的操作替代人為粗放式的管理，一方面，把人們從復雜繁重的管理工作中解放出來，另一方面，降低人為誤操作的可能，避免數據丟失。

成也軟件，敗也軟件

硬件是數據承載的基礎，軟件則是數據存儲的靈魂。從數據存儲誕生之日起，各種保障數據存儲可靠性的軟件就接踵而來，RAID，集群，快照，備份，鏡像等等，保障數據可靠性的手段越來越多，數據可用性的規格越來越高，99.9%,99.99%,99.999%........海量數據時代來臨，人們對數據資產保護等級的要求越來越嚴格，然而傳統存儲軟件的架構在海量數據場景下的能力捉衿見肘，多站點數據的統一調度，海量數據的統一管理，大并發環境下中央處理節點的生存壓力，云存儲數據的QoS等，這些都是傳統存儲軟件設計上不曾考慮的問題;在新業務環境下編寫的軟件，在數據分布式處理，多站點數據一致性，糾錯恢復等方面的bug也層出不窮，這些問題使存儲軟件可靠性面臨新挑戰，稍有不慎就會引起系統故障，保障數據可靠性軟件功能失效，最后引發數據丟失，造成嚴重的后果。

UDS可靠性方案

2012年9月，華為在HCC大會上發布了UDS(Universal Distributed Storage)海量存儲系統，采用創新技術架構，以存無止境、安全可信的存儲理念，為客戶提供高可靠、高擴展、低成本的海量存儲解決方案。該方案采用全新的Smartdisk設計理念，在存儲業界首次采用去中心化架構，建立多層級的數據保護體系。

全新的硬件設計理念解決物理上的不可靠

華為UDS海量存儲系統在磁盤設計上采用獨特的Smartdisk架構，給每塊磁盤都配上單獨的CPU,內存和GE網口，以這樣的Smartdisk為數據管理單位，每塊磁盤上的數據互相冗余，任意一個磁盤的故障不會影響到其它磁盤和存儲在上面的數據，有效避免單盤失效對整系統的影響。另一方面，由于Smartdisk的獨特設計，每塊磁盤單獨占據計算資源，相對于傳統多塊磁盤共用一個或者幾個CPU的設計，極大的縮短了發生故障后的數據恢復時間，更好的應對海量數據的挑戰。在存儲節點設計上，獨特的無源背板設計使得在背板發生故障時不影響整系統的可靠性，電源，風扇等非核心部件采用冗余配置，有效避免單一部件的損壞影響硬件可靠性;在整體設計上，采用去中心化架構，交換機和物理節點的分布式全交叉互聯組網，每個節點之間彼此信任，任意一個單獨節點的故障不影響整系統的可靠性。

多重機制降低人為誤操作對整系統可靠性的影響

數據中心的設備眾多，管理復雜，人為誤操作頻繁發生，對于一套存儲系統來講，控制設備、存儲設備、網絡設備等智能統一管理是客戶目前最期待的。華為UDS海量存儲系統通過完善的圖形化管理系統，可以為客戶提供拓撲、告警、配置、性能、日志、用戶等方面的全面自動化管理，并且提供 “自動部署及升級”、“一鍵擴容”，整個過程無需人工干預和控制，升級或擴容時不中斷業務，實現業務透明化，極大降低了系統部署、升級和擴容的難度。另一方面，整系統P2P的軟件架構設計，使得節點之間互相信任，任一節點的人為破壞(例如：硬盤誤插拔)，整系統數據可用性不會因此降低。同時，P2P架構配合Erasure Code算法，使得單盤失效后，數據可自動恢復到其它節點，在不影響數據可用性的前提下把損壞的硬盤從RAID組中剔除，數據分片不受影響，不會像傳統存儲出現RAID組降級的現象，更不會出現由于一塊盤的故障引發其它盤損壞的連鎖反應，對操作人員來說，可以免即時維護，降低了由于人為原因丟失數據的風險.并且當滿足以下兩個條件之一時,我們對所有壞盤進行批量維護.其一,當壞盤數達到臨界值時,UDS的告警信息會達到嚴重級別,通知客戶對硬盤進行批量更換，提高整系統可靠性;其二,通常建議客戶建立周期維護時間表,在一定時間周期內，可對所有壞盤進行批量維護，減少整系統發生故障的可能。壞盤批量更換后，數據分片重新分布到所有磁盤上，減輕前期未損壞磁盤的負荷，有效保障磁盤生命周期，減少壞盤率，降低數據丟失的可能，同時在數據恢復期間不影響數據的可用性，多重機制將人為誤操作對數據可用性的影響降到最低，提高整系統可靠性。

軟件可靠性實現多層級的數據保護

華為UDS海量存儲系統以Smartdisk為最小的數據管理單位，支持節點級，機柜級，數據中心級的數據冗余策略，實現全方位、立體式、逐層遞進的數據保護。通過多站點、跨地域的數據中心設計，數據可靠性達到業界領先的99.999999999%，滿足跨地域的數據備份和容災，保證數據存儲可靠性達到業界的最高級別。在存儲系統內采用去中心化設計架構，所有的存儲節點組成分布式數據存儲環，數據存儲時采用DHT算法分布在不同的存儲節點上，無須控制服務器參與，數據分片會自動偵測存儲節點的狀態，根據各個存儲節點不同的狀態，自適應的分配存儲到不同的存儲節點上，自動均衡每個存儲節點的負載，有效減輕每個數據節點的負荷分擔，及時避免了單點故障，應對海量數據存儲的挑戰，保證數據存儲可靠性;在存儲策略上，UDS支持多種數據冗余機制，例如：多副本、Erasure Code，支持不同策略之間的有效組合，用戶根據自身特點，設置不同的數據保護等級;在數據恢復方面，UDS自身擁有豐富的數據檢測和一致性機制，自動偵測數據存儲過程中的不一致(例如：某塊磁盤損壞)，在不影響數據可用的情況下，啟動數據自恢復機制，有效保證數據的可靠性。