【51CTO.com綜合報(bào)道】構(gòu)建高可用性網(wǎng)絡(luò)是一個(gè)復(fù)雜的系統(tǒng)工程，如何不斷向著5個(gè)9的目標(biāo)邁進(jìn)，是所有網(wǎng)絡(luò)產(chǎn)品和解決方案提供者和使用者所面臨的永恒課題。

隨著網(wǎng)絡(luò)的快速普及和應(yīng)用的日益深入，各種核心及增值業(yè)務(wù)在網(wǎng)絡(luò)廣泛部署，網(wǎng)絡(luò)與業(yè)務(wù)的結(jié)合越來(lái)越深入。因此，短時(shí)間的網(wǎng)絡(luò)中斷將可能影響核心業(yè)務(wù)處理，給企業(yè)帶來(lái)巨大損失。在這種背景下，從運(yùn)營(yíng)商到各種類型的企業(yè)客戶，在構(gòu)建生產(chǎn)網(wǎng)絡(luò)（production network）時(shí)，5個(gè)9的網(wǎng)絡(luò)可用性（一年中不能提供服務(wù)的時(shí)間在5分鐘左右），已經(jīng)成為通常建網(wǎng)的追求。但在實(shí)際的網(wǎng)絡(luò)建設(shè)中，由于影響網(wǎng)絡(luò)系統(tǒng)可用性的因素眾多，往往很難滿足這一理論目標(biāo)，其中尤其以廣域網(wǎng)的高可用性最難控制。

度量網(wǎng)絡(luò)的可用性

首先，高可用的網(wǎng)絡(luò)肯定不能頻繁出現(xiàn)故障。IP承載網(wǎng)即使只出現(xiàn)很短時(shí)間的中斷，都會(huì)影響業(yè)務(wù)運(yùn)營(yíng)，特別是時(shí)性強(qiáng)、對(duì)丟包和時(shí)延敏感的業(yè)務(wù)，如語(yǔ)音、視頻和在線游戲等。

其次，高可用性的網(wǎng)絡(luò)即使出現(xiàn)故障，也應(yīng)該能很快恢復(fù)。如果一個(gè)網(wǎng)絡(luò)一年僅出一次故障，但這次故障需要幾個(gè)小時(shí)，甚至幾天才能恢復(fù)，那么這個(gè)網(wǎng)絡(luò)也算不上一個(gè)高可用的網(wǎng)絡(luò)。

故障次數(shù)少、恢復(fù)時(shí)間短兩個(gè)特征基本概括了高可用網(wǎng)絡(luò)的特點(diǎn)，再加入統(tǒng)計(jì)學(xué)的概念，就可以用“可靠性（Availability）”這一參數(shù)來(lái)度量網(wǎng)絡(luò)的可用性：

MTBF：平均無(wú)故障時(shí)間（Mean Time Between Failures）

MTTR：平均修復(fù)時(shí)間（Mean Time To Repair）                

可見(jiàn)，如果要提高網(wǎng)絡(luò)可用性，提高M(jìn)TBF或者降低MTTR都是有效的方法。MTBF取決于網(wǎng)絡(luò)設(shè)備硬件和軟件本身的質(zhì)量，而這一手段的作用是有極限的，無(wú)法一味的通過(guò)提高M(jìn)TBF數(shù)值來(lái)獲得高可用性，因此通過(guò)減小MTTR來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)高可靠性成為必然的選擇。

從MTTR的構(gòu)成來(lái)看，要想減小其數(shù)值需要從兩方面入手，一是以最快的速度發(fā)現(xiàn)故障，二是快速?gòu)墓收蠣顟B(tài)中恢復(fù)出來(lái)。因此構(gòu)建高可靠性網(wǎng)絡(luò)的基礎(chǔ)就是要實(shí)現(xiàn)快速故障檢測(cè)和快速故障恢復(fù)。

在實(shí)際的網(wǎng)絡(luò)運(yùn)行環(huán)境下，依靠以上的理論公式很難精確計(jì)算，因此網(wǎng)絡(luò)采用更具實(shí)際意義的工程經(jīng)驗(yàn)公式來(lái)表示網(wǎng)絡(luò)系統(tǒng)的可用性，舉例來(lái)說(shuō)：

某企業(yè)共n個(gè)分支節(jié)點(diǎn)，為5000用戶提供7*24接入，分支3在3月份網(wǎng)絡(luò)中斷10分鐘，分支9在同月網(wǎng)絡(luò)中斷5分鐘，現(xiàn)計(jì)算三月份的網(wǎng)絡(luò)可用性：

#p#

網(wǎng)絡(luò)高可用設(shè)計(jì)框架

構(gòu)建高可用性網(wǎng)絡(luò)是一個(gè)復(fù)雜的系統(tǒng)工程，必須從多方面入手，不僅要提升網(wǎng)元本身可用性，同時(shí)要縮短故障發(fā)生后的恢復(fù)時(shí)間。系統(tǒng)性的來(lái)看，在網(wǎng)絡(luò)規(guī)劃和設(shè)計(jì)階段如圖1所示。

圖1 高可用網(wǎng)絡(luò)設(shè)計(jì)架構(gòu)圖

網(wǎng)絡(luò)組件：網(wǎng)絡(luò)組件是構(gòu)成網(wǎng)絡(luò)系統(tǒng)的基本元素，核心的網(wǎng)絡(luò)組件完成網(wǎng)絡(luò)的基本連接，數(shù)據(jù)包的路由轉(zhuǎn)發(fā)，典型代表為各種交換機(jī)、路由器等網(wǎng)絡(luò)設(shè)備。網(wǎng)絡(luò)組件的可用性是決定整個(gè)網(wǎng)絡(luò)系統(tǒng)可用性的關(guān)鍵，因此在網(wǎng)絡(luò)設(shè)計(jì)時(shí)這部分內(nèi)容往往是最優(yōu)先考慮的部分。

網(wǎng)絡(luò)架構(gòu)：網(wǎng)絡(luò)架構(gòu)表明了網(wǎng)絡(luò)組件的連接關(guān)系，不同的連接方式影響到網(wǎng)絡(luò)系統(tǒng)可用性的計(jì)算方法選擇。對(duì)于廣域網(wǎng)鏈路，雖然單條鏈路會(huì)受各種自然條件的限制，但良好的拓?fù)湓O(shè)計(jì)可以最大程度的彌補(bǔ)這一不足。

網(wǎng)絡(luò)協(xié)議與配置：僅僅關(guān)注物理聯(lián)通的網(wǎng)絡(luò)可用性是無(wú)意義的，一個(gè)完善的網(wǎng)絡(luò)系統(tǒng)會(huì)部署大量的邏輯協(xié)議，如路由、鏈路檢測(cè)、VPN隧道等等，這些協(xié)議的部署也影響著網(wǎng)絡(luò)系統(tǒng)的可用性，尤其是對(duì)于網(wǎng)絡(luò)業(yè)務(wù)的快速回復(fù)方面。

網(wǎng)絡(luò)運(yùn)維：由于各種因素影響，網(wǎng)絡(luò)故障總是難免發(fā)生的，在發(fā)生事故時(shí)，高素質(zhì)的運(yùn)維水平，可以使影響范圍和恢復(fù)時(shí)間縮小到最小范圍，彌補(bǔ)對(duì)業(yè)務(wù)造成的影響，因此網(wǎng)絡(luò)的運(yùn)維對(duì)整體的高可用性至關(guān)重要。

網(wǎng)絡(luò)基礎(chǔ)支撐：網(wǎng)絡(luò)設(shè)備的運(yùn)行環(huán)境為網(wǎng)絡(luò)系統(tǒng)的正常運(yùn)轉(zhuǎn)提供電力、空調(diào)、防雷等各種支撐，良好的基礎(chǔ)支撐可以進(jìn)一步提升整體網(wǎng)絡(luò)的可用性。

針對(duì)廣域網(wǎng)我們著重強(qiáng)調(diào)前三個(gè)方面的設(shè)計(jì)考慮，并不是說(shuō)其他方面不重要，只不過(guò)這些內(nèi)容不是本文的重點(diǎn)而已。 #p#

廣域網(wǎng)網(wǎng)絡(luò)組件的高可用設(shè)計(jì)

網(wǎng)絡(luò)組件的高可用設(shè)計(jì)硬件結(jié)構(gòu)的高可用和軟件系統(tǒng)的高可用兩個(gè)層面。其結(jié)構(gòu)如圖2所示。

圖2 網(wǎng)絡(luò)組件高可用設(shè)計(jì)架構(gòu)圖

硬件高可用性主要技術(shù)點(diǎn)

主控冗余

主控冗余在控制和轉(zhuǎn)發(fā)分離的架構(gòu)下才能發(fā)揮最大的效用。在控制和轉(zhuǎn)發(fā)分離的架構(gòu)中，控制平面負(fù)責(zé)各種協(xié)議，如路由協(xié)議（如RIP/OSPF/IS-IS/BGP）、標(biāo)簽分發(fā)協(xié)議（如LDP/RSVP-TE/BGP）等的處理，形成路由信息表（RIB）和標(biāo)簽信息表（LIB），從中選擇最優(yōu)者，加上必要的二層信息，形成路由轉(zhuǎn)發(fā)信息表（FIB）和標(biāo)簽轉(zhuǎn)發(fā)信息表（LFIB），下發(fā)到轉(zhuǎn)發(fā)平面，轉(zhuǎn)發(fā)平面據(jù)此實(shí)現(xiàn)快速轉(zhuǎn)發(fā)。控制平面的處理在主控板上進(jìn)行，轉(zhuǎn)發(fā)平面的處理在業(yè)務(wù)板上。這樣，即使控制平面出現(xiàn)故障，轉(zhuǎn)發(fā)平面的轉(zhuǎn)發(fā)表項(xiàng)的內(nèi)容在短時(shí)間內(nèi)不會(huì)失效，因此可以繼續(xù)轉(zhuǎn)發(fā)數(shù)據(jù)而不會(huì)出現(xiàn)問(wèn)題（如環(huán)路）。當(dāng)然，控制平面必須能快速恢復(fù)并重新和鄰居建立協(xié)議會(huì)話，收斂后再對(duì)轉(zhuǎn)發(fā)平面進(jìn)行檢查，對(duì)表項(xiàng)作必要更新，刪除在新的會(huì)話環(huán)境下不再正確的轉(zhuǎn)發(fā)表項(xiàng)。主控冗余是指設(shè)備配置兩塊主控板，互為備份，一塊為Master，另一塊備用，稱為Slave。只有Master進(jìn)行控制平面的處理，并生成轉(zhuǎn)發(fā)表項(xiàng)。Slave上的映像文件雖然也充分啟動(dòng)，配置也從Master實(shí)時(shí)備份，但Slave不參與控制平面的處理。Master轉(zhuǎn)發(fā)平面的各種表項(xiàng)會(huì)以實(shí)時(shí)增量備份和定期完整備份相結(jié)合的方式持續(xù)備份到Slave上。雖然Slave上的控制平面對(duì)網(wǎng)絡(luò)狀況一無(wú)所知，但由于其在轉(zhuǎn)發(fā)平面上和Master同步，基本能反映當(dāng)時(shí)的網(wǎng)絡(luò)轉(zhuǎn)發(fā)狀態(tài)，因此隨時(shí)可以替換Master承擔(dān)起轉(zhuǎn)發(fā)任務(wù)，這就是轉(zhuǎn)發(fā)和控制分離帶來(lái)的效果。

設(shè)備實(shí)時(shí)檢測(cè)Master是否正常工作，檢測(cè)手段可以是檢測(cè)主備板之間的硬件心跳，也可以使用IPC通道或用其他方式進(jìn)行檢測(cè)。一旦發(fā)現(xiàn)Master異常，立即啟動(dòng)主備切換，由Slave接管Master的工作，Master和Slave的角色互換。和單主控相比，雙主控的收斂性能要好得多，因?yàn)樵陔p主控情況下，Slave已經(jīng)預(yù)先完成映象文件的加載和配置的初始化工作，主備切換時(shí)業(yè)務(wù)板不需要重新注冊(cè)，二三層接口也不會(huì)出現(xiàn)up/down。另外，因?yàn)镾lave上已經(jīng)備份有轉(zhuǎn)發(fā)表項(xiàng)，可以立即承擔(dān)轉(zhuǎn)發(fā)任務(wù)，在一定程度上可以避免業(yè)務(wù)中斷。

不過(guò)，因?yàn)樾碌腗aster在主備切換前不參與控制平面的處理，切換后需要重新和鄰居進(jìn)行會(huì)話協(xié)商，所以雖然保存了完整的轉(zhuǎn)發(fā)表項(xiàng)，但只能避免部分流量不中斷，如二層以及從本設(shè)備往外發(fā)送的流量；如果和鄰居之間配置的是靜態(tài)路由或靜態(tài)LSP的話，鄰居會(huì)繼續(xù)向進(jìn)行主備倒換的設(shè)備發(fā)送流量，流量也不會(huì)中斷。但如果和鄰居之間是動(dòng)態(tài)路由協(xié)議或動(dòng)態(tài)標(biāo)簽分發(fā)協(xié)議，則和鄰居之間的流量會(huì)中斷，這是因?yàn)樵诳刂破矫鏁?huì)話重置的情況下，鄰居的控制平面會(huì)重新計(jì)算，選擇它認(rèn)為合適的路徑。以O(shè)SPF協(xié)議為例，新Master在發(fā)出的Hello報(bào)文中沒(méi)有原來(lái)鄰居的RID，會(huì)導(dǎo)致鄰居把OSPF會(huì)話狀態(tài)重置，并把和發(fā)生切換的設(shè)備相關(guān)的LSA刪除，導(dǎo)致路由重新計(jì)算。如果有其他可選路徑的話，流量會(huì)繞開(kāi)主備切換的設(shè)備；如果沒(méi)有可選路徑，則需要等待OSPF重新收斂，在重新收斂之前，鄰居不會(huì)把流量發(fā)給該設(shè)備。

主備切換的前提條件，是檢測(cè)到Master故障。在Master故障但沒(méi)有被檢測(cè)到的時(shí)間內(nèi)，會(huì)導(dǎo)致報(bào)文丟失。其次，主備切換期間也會(huì)丟一部分報(bào)文。最后，主備切換完成后，設(shè)備需要和和鄰居重建協(xié)議會(huì)話，這也需要一定時(shí)間。總的來(lái)說(shuō)，主備切換的收斂時(shí)間為：Master故障檢測(cè)時(shí)間+切換時(shí)間+信令收斂時(shí)間。

單板熱插拔

單板熱插拔，是指在設(shè)備正常運(yùn)行時(shí)，在線插拔單板，而不影響其他單板的業(yè)務(wù)。一般的中高端機(jī)架式設(shè)備，均支持單板熱插拔。單板熱插拔功能包括：

往機(jī)框中新增單板不影響在線的單板業(yè)務(wù)；

可在線更換單板（即拔出老單板換一塊新單板或老板重新插入時(shí)，新單板能繼承原來(lái)的配置，并且不影響其他單板的工作；

對(duì)于分布式設(shè)備，在添加或插拔單板時(shí)，F(xiàn)IB表能同步到單板。

單板熱插拔和跨板的鏈路捆綁技術(shù)相結(jié)合，一定程度上提供了單板間的1：N備份功能。

單板熱插拔的收斂時(shí)間不好衡量，就以配置繼承和生效為例，收斂時(shí)間和配置的類型及配置的多少有極大的關(guān)系。如果和鏈路捆綁結(jié)合，收斂時(shí)間還和鏈路捆幫的收斂時(shí)間相關(guān)。

電源風(fēng)扇冗余

為了保證設(shè)備電源收入的穩(wěn)定，中高端設(shè)備一般提供雙路電源輸入，當(dāng)一路輸入出現(xiàn)故障時(shí)，能自動(dòng)切換到另一路，不影響設(shè)備功能。另外，中高端設(shè)備一般通過(guò)多個(gè)電源模塊供電，采取1：N備份方式，一個(gè)電源模塊為其他N個(gè)提供備份，在拔出某一個(gè)電源模塊時(shí)，其他模塊能提供足夠電源功率。

風(fēng)扇作為散熱的重要手段，中高端設(shè)備也提供風(fēng)扇冗余，一般提供多個(gè)風(fēng)扇框，可以在線更換其中的風(fēng)扇框，不影響產(chǎn)品功能。

電源和風(fēng)扇的切換和更換不應(yīng)該影響產(chǎn)品的轉(zhuǎn)發(fā)功能，可以認(rèn)為其收斂時(shí)間為0。

軟件系統(tǒng)高可用性主要技術(shù)點(diǎn)

動(dòng)態(tài)熱補(bǔ)丁

1.熱補(bǔ)丁原理

補(bǔ)丁是計(jì)算機(jī)軟件系統(tǒng)和軟件工程學(xué)中的一個(gè)術(shù)語(yǔ)，一般是為了對(duì)系統(tǒng)中的某些錯(cuò)誤進(jìn)行修正而發(fā)布的獨(dú)立的軟件單元。它能夠在不影響系統(tǒng)正常運(yùn)行的情況下完成對(duì)系統(tǒng)錯(cuò)誤的修正，也就是對(duì)系統(tǒng)進(jìn)行動(dòng)態(tài)升級(jí)。

其基本原理就是在系統(tǒng)中保留一段內(nèi)存空間，將新的函數(shù)實(shí)體以補(bǔ)丁文件的方式加載其中，根據(jù)要被替換函數(shù)的入口地址找到被替換函數(shù)的第一條執(zhí)行指令，將其改為一條跳轉(zhuǎn)指令，跳轉(zhuǎn)地址為新函數(shù)的入口地址；這樣當(dāng)其他函數(shù)要調(diào)用被替換函數(shù)時(shí)，CPU根據(jù)跳轉(zhuǎn)指令就會(huì)執(zhí)行新的函數(shù)實(shí)體。

2.熱補(bǔ)丁狀態(tài)轉(zhuǎn)換

各廠商實(shí)現(xiàn)熱補(bǔ)丁的基本原理大體相同，但具體實(shí)現(xiàn)上有一定差別。下面以H3C公司熱補(bǔ)丁技術(shù)為例簡(jiǎn)單介紹狀態(tài)機(jī)轉(zhuǎn)換和各狀態(tài)的作用。

補(bǔ)丁存在四種狀態(tài)：

空閑(IDLE)：初始狀態(tài)，補(bǔ)丁沒(méi)有被加載

去激活(DEACTIVE)：補(bǔ)丁已經(jīng)加載，但未被激活

激活(ACTIVE)：補(bǔ)丁處于試運(yùn)行狀態(tài)

運(yùn)行(RUNNING)：補(bǔ)丁處于正式運(yùn)行狀態(tài)

激活態(tài)與運(yùn)行態(tài)的最大區(qū)別在于系統(tǒng)重啟后，激活態(tài)的補(bǔ)丁轉(zhuǎn)換為去激活態(tài)，不再發(fā)揮作用，而運(yùn)行態(tài)的補(bǔ)丁在系統(tǒng)重啟后仍然保持為運(yùn)行態(tài)，繼續(xù)發(fā)揮作用。補(bǔ)丁的激活態(tài)主要是提供一個(gè)緩沖帶，以防止因?yàn)檠a(bǔ)丁錯(cuò)誤而導(dǎo)致系統(tǒng)連續(xù)運(yùn)行故障。補(bǔ)丁的狀態(tài)只有在用戶命令的干預(yù)下才會(huì)發(fā)生切換，命令與補(bǔ)丁狀態(tài)的切換關(guān)系如圖3所示

圖3 命令與補(bǔ)丁狀態(tài)切換關(guān)系#p#

廣域網(wǎng)網(wǎng)絡(luò)架構(gòu)高可用設(shè)計(jì)

物理拓?fù)鋵?duì)網(wǎng)絡(luò)可用性的影響

物理拓?fù)涞倪B接狀況決定了網(wǎng)絡(luò)可用性的計(jì)算方法。如圖4所示，f1和f2是網(wǎng)絡(luò)設(shè)備自身的可用性指標(biāo)，當(dāng)網(wǎng)絡(luò)設(shè)備串行連接時(shí)，其組成的部分網(wǎng)絡(luò)系統(tǒng)的計(jì)算為兩設(shè)備可靠性指標(biāo)相乘；當(dāng)網(wǎng)絡(luò)設(shè)備并行連接時(shí)，其組成部分網(wǎng)絡(luò)系統(tǒng)的計(jì)算為1減去設(shè)備可靠性指標(biāo)相乘后的反值。多條鏈路對(duì)網(wǎng)絡(luò)可用性的提升是顯而易見(jiàn)的，但對(duì)于廣域網(wǎng)來(lái)說(shuō)，鏈路資源是非常寶貴的，因此實(shí)際的部署方案是結(jié)合具體情況綜合考慮的結(jié)果。

圖4 不同拓?fù)溥B接方式的可用性計(jì)算方法

在條件允許的情況，一般都選用雙點(diǎn)雙歸的拓?fù)溥B接方式。其可用性指標(biāo)對(duì)比如表1所示：

表1 不同拓?fù)溥B接方式的典型可用性計(jì)算值#p#

廣域網(wǎng)路由協(xié)議部署高可用設(shè)計(jì)

廣域網(wǎng)網(wǎng)絡(luò)協(xié)議基本以路由協(xié)議為主，同時(shí)根據(jù)廣域網(wǎng)拓?fù)溥B接和鏈路種類，會(huì)附加部署不同的鏈路檢測(cè)協(xié)議。以典型的金融雙中心網(wǎng)絡(luò)為例，如圖5所示

圖5 金融雙中心網(wǎng)絡(luò)路由部署示意圖

設(shè)計(jì)原則：路由的高可用設(shè)計(jì)和所選擇的鏈路種類息息相關(guān)，對(duì)于大型分支之間鏈路連接一般選用高帶寬的SDH鏈路，鏈路的穩(wěn)定性較高，很少出現(xiàn)閃斷和震蕩的情況，而且分支之間作為骨干鏈路，承載著主要的業(yè)務(wù)流量，需要非常靈活的流量控制策略，因此可部署eBGP協(xié)議；對(duì)于小型分支與總部互聯(lián)這種情況，鏈路種類復(fù)雜，鏈路狀況不穩(wěn)定，因此在部署收斂時(shí)間相對(duì)較快的路由協(xié)議（如OSPF）時(shí)，通常會(huì)啟用BFD、NQA等輔助協(xié)議，完成對(duì)鏈路狀況的檢測(cè)，以提高路由協(xié)議的收斂速度。

結(jié)束語(yǔ)

構(gòu)建高可用性廣域網(wǎng)絡(luò)，需要從網(wǎng)絡(luò)組件、網(wǎng)絡(luò)架構(gòu)、網(wǎng)絡(luò)協(xié)議部署、網(wǎng)絡(luò)運(yùn)維及網(wǎng)絡(luò)基礎(chǔ)支撐等方面全盤考慮，所涉及的內(nèi)容及其豐富。本文僅針對(duì)前三個(gè)部分進(jìn)行部分重點(diǎn)的框架性描述，具體實(shí)踐還要根據(jù)不同的網(wǎng)絡(luò)使用場(chǎng)景做有針對(duì)性的部署。