序：飛機(jī)對(duì)飛行安全系數(shù)要求非常苛刻，要求能夠抵御任何故障或失效，具備Fail-in-place(FIP)高容錯(cuò)特性，即能夠做到包容故障、隔離故障、延遲故障修復(fù)，直到安全著陸，否則會(huì)出現(xiàn)機(jī)毀人亡的災(zāi)難性事故。分布式存儲(chǔ)承擔(dān)保障數(shù)據(jù)絕對(duì)安全與業(yè)務(wù)連續(xù)的重任，同樣需要具備FIP高容錯(cuò)特性，否則可能出現(xiàn)數(shù)據(jù)丟失及業(yè)務(wù)中斷等災(zāi)難性事件。 如何打造具備FIP高容錯(cuò)特性的分布式存儲(chǔ)?

存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)是構(gòu)成現(xiàn)代化信息系統(tǒng)的三大部件。在2021年3月中央發(fā)布的“十四五”規(guī)劃中，“大規(guī)模分布式存儲(chǔ)”被列為明確的發(fā)展重點(diǎn)。所謂分布式存儲(chǔ)，是相對(duì)于傳統(tǒng)集中式共享存儲(chǔ)的一種新技術(shù)概念。在過(guò)去30年里，中國(guó)企業(yè)普遍采用IBM、EMC、NetApp等國(guó)外知名廠商的磁盤(pán)陣列，其架構(gòu)體系主要是以RAID控制器為技術(shù)核心的集中式共享存儲(chǔ)架構(gòu)。分布式存儲(chǔ)是通過(guò)軟件定義存儲(chǔ)技術(shù)，把多臺(tái)x86服務(wù)器的CPU、內(nèi)存、固態(tài)硬盤(pán)(SSD)、機(jī)械硬盤(pán)(HDD)等存儲(chǔ)資源，進(jìn)行統(tǒng)一資源管理，通過(guò)高速網(wǎng)絡(luò)將數(shù)據(jù)分散存儲(chǔ)在各臺(tái)服務(wù)器中。

自云計(jì)算誕生以來(lái)，企業(yè)井噴式的數(shù)據(jù)處理業(yè)務(wù)量對(duì)IT的系統(tǒng)計(jì)算與存儲(chǔ)能力都提出了非常高的要求。傳統(tǒng)集中式存儲(chǔ)面臨數(shù)據(jù)孤島、擴(kuò)展困難、成本高昂等挑戰(zhàn)，與此同時(shí)，分布式存儲(chǔ)由于其易于擴(kuò)展和管理、成本低、硬件靈活度高、可快速集成等明顯優(yōu)勢(shì)，逐漸成為全球的技術(shù)發(fā)展趨勢(shì)，也將作為中國(guó)企業(yè)數(shù)字化轉(zhuǎn)型的重要基石。

分布式存儲(chǔ)是一個(gè)技術(shù)難度被顯著低估的技術(shù)領(lǐng)域。隨著HDFS、Lustre、GlusterFS、Ceph等開(kāi)源分布式軟件項(xiàng)目的興起，一個(gè)中等程度的軟件工程師可以在一天或一周時(shí)間內(nèi)搭建一個(gè)分布式存儲(chǔ)系統(tǒng)。包括華為、新華三、BAT、以及一些初創(chuàng)公司，在這些開(kāi)源項(xiàng)目基礎(chǔ)上通過(guò)魔改，推出分布式存儲(chǔ)相關(guān)產(chǎn)品和服務(wù)，給行業(yè)帶來(lái)嚴(yán)重假象，似乎存儲(chǔ)沒(méi)有什么技術(shù)門(mén)檻。然而，無(wú)論是互聯(lián)網(wǎng)公司，還是在企事業(yè)單位，由于使用分布式存儲(chǔ)導(dǎo)致的業(yè)務(wù)中斷、甚至數(shù)據(jù)丟失的報(bào)導(dǎo)屢見(jiàn)不鮮。

為什么(分布式)存儲(chǔ)是一個(gè)技術(shù)壁壘很高的行業(yè)?這是由于存儲(chǔ)最基本的核心訴求是數(shù)據(jù)不丟失、業(yè)務(wù)不中斷。一個(gè)典型的存儲(chǔ)系統(tǒng)包含上百萬(wàn)個(gè)電子元器件、上億行軟件代碼，里面任何一個(gè)元器件老化失效、電子信號(hào)干擾、軟件Bug、系統(tǒng)意外掉電，都有可能導(dǎo)致數(shù)據(jù)丟失。由此可見(jiàn)，要打造一個(gè)高可靠、高性能的分布式存儲(chǔ)系統(tǒng)絕非易事。

一個(gè)合格的存儲(chǔ)系統(tǒng)須具備高度容錯(cuò)能力，是能夠在線更換故障或老舊部件的軟硬件系統(tǒng)，需要同時(shí)滿足幾個(gè)方面的要求：高可靠性的數(shù)據(jù)存儲(chǔ)基礎(chǔ)、對(duì)數(shù)據(jù)錯(cuò)誤具有自愈能力、正常運(yùn)行和自愈過(guò)程均對(duì)前端應(yīng)用無(wú)性能影響、以及較高的存儲(chǔ)效率。存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全性就好比飛機(jī)的安全性，業(yè)務(wù)中斷就好比重大飛行事故，數(shù)據(jù)丟失對(duì)于一個(gè)存儲(chǔ)系統(tǒng)而言，就好比飛機(jī)失事，帶來(lái)災(zāi)難性的破壞和難以估量的重大影響。

飛機(jī)是一個(gè)典型的具有高度冗余、高容錯(cuò)性的機(jī)電系統(tǒng)，其安全性依賴(lài)于Fail-in-place(FIP)高容錯(cuò)技術(shù)，即在飛行過(guò)程中，飛機(jī)任何零部件發(fā)生故障或失效故障時(shí)，飛機(jī)仍然可以安全返回機(jī)場(chǎng)并平安著陸，然后才進(jìn)行必要的維修。FIP容錯(cuò)的一個(gè)重要特征是，允許故障延遲修復(fù)，而不是必須立即解決或以最快的速度修復(fù)故障，否則可能會(huì)發(fā)生災(zāi)難性事故。要實(shí)現(xiàn)FIP容錯(cuò)，飛機(jī)采用了高度冗余設(shè)計(jì)，具備極強(qiáng)的故障告警、自動(dòng)診斷、故障隔離，甚至自我修護(hù)的能力。

基于三副本架構(gòu)的分布式存儲(chǔ)是否具備FIP容錯(cuò)能力呢?答案是否定的。

三副本分布式存儲(chǔ)通過(guò)將數(shù)據(jù)的三個(gè)副本分散保存在三個(gè)不同節(jié)點(diǎn)上。這種純粹的網(wǎng)絡(luò)副本保護(hù)機(jī)制雖然實(shí)現(xiàn)簡(jiǎn)單，但其數(shù)據(jù)可靠性嚴(yán)重依賴(lài)數(shù)據(jù)修復(fù)的速度和系統(tǒng)規(guī)模。隨著硬盤(pán)數(shù)量增加，系統(tǒng)可靠性隨之降低，尤其是當(dāng)磁盤(pán)老化、硬件故障率上升，再加上網(wǎng)絡(luò)可能出現(xiàn)的不穩(wěn)定狀況，以及磁盤(pán)可能出現(xiàn)的隱形數(shù)據(jù)失真等，三副本架構(gòu)容易出現(xiàn)不穩(wěn)定，甚至數(shù)據(jù)丟失的情況。當(dāng)出現(xiàn)硬盤(pán)或節(jié)點(diǎn)故障時(shí)，三副本架構(gòu)需要盡快進(jìn)行數(shù)據(jù)重建恢復(fù)，以免出現(xiàn)多個(gè)硬盤(pán)同時(shí)出現(xiàn)損壞而導(dǎo)致數(shù)據(jù)丟失的情況。

三副本分布式存儲(chǔ)多節(jié)點(diǎn)硬盤(pán)損壞導(dǎo)致數(shù)據(jù)丟失

和三副本分布式存儲(chǔ)相比，雙重RAID架構(gòu)的分布式存儲(chǔ)則具有顯著的FIP高容錯(cuò)特性。雙重RAID架構(gòu)，采用節(jié)點(diǎn)內(nèi)RAID數(shù)據(jù)保護(hù)與節(jié)點(diǎn)間副本保護(hù)相結(jié)合的方式。每個(gè)節(jié)點(diǎn)采用RAID10或RAID50/60 實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)數(shù)據(jù)保護(hù)，可實(shí)現(xiàn)硬件故障隔離和本地?cái)?shù)據(jù)修護(hù)。每個(gè)節(jié)點(diǎn)相當(dāng)于一個(gè)小型的“磁盤(pán)陣列”，可抵御節(jié)點(diǎn)內(nèi)單個(gè)、甚至多個(gè)硬盤(pán)故障。在這些“磁盤(pán)陣列”之間，還有另外一層基于網(wǎng)絡(luò)副本的數(shù)據(jù)保護(hù)層，保證在極端情況下，即當(dāng)故障突破磁盤(pán)陣列的保護(hù)能力時(shí)，還可利用網(wǎng)絡(luò)副本技術(shù)來(lái)修復(fù)數(shù)據(jù)。

正因?yàn)檫@種雙層RAID保護(hù)機(jī)制，當(dāng)節(jié)點(diǎn)硬件出現(xiàn)故障時(shí)，可以通過(guò)本地RAID對(duì)故障進(jìn)行隔離，不影響業(yè)務(wù)正常運(yùn)行。故障修復(fù)可以采用延遲修復(fù)的策略，并且能自動(dòng)避讓業(yè)務(wù)，即當(dāng)業(yè)務(wù)繁忙時(shí)，數(shù)據(jù)修復(fù)減慢數(shù)據(jù);當(dāng)業(yè)務(wù)空閑時(shí)，數(shù)據(jù)修復(fù)可以適當(dāng)加快速度。

雙重RAID容忍多節(jié)點(diǎn)磁盤(pán)損壞

對(duì)比之下，三副本架構(gòu)的分布式存儲(chǔ)存在嚴(yán)重的數(shù)據(jù)安全隱患以及網(wǎng)絡(luò)導(dǎo)致的穩(wěn)定性問(wèn)題。雙重RAID架構(gòu)的分布式存儲(chǔ)，作為南京道熵的核心技術(shù)，因其具備獨(dú)特的FIP高容錯(cuò)特性，代表著未來(lái)分布式存儲(chǔ)的發(fā)展方向，也標(biāo)志著中國(guó)存儲(chǔ)企業(yè)已經(jīng)具備挑戰(zhàn)世界一流存儲(chǔ)企業(yè)的技術(shù)實(shí)力。