引言

省級電網企業數據中心信息網絡是電網公司信息網中最核心的網絡部位，作為企業信息系統運行的重要支撐，數據中心信息網絡為電網公司的生產、經營和管理類系統提供基本的數據傳輸通道。隨著國家電網公司“三集五大”建設和改革發展的需要，作為改革發展重要支撐手段的信息系統建設取得了長足發展和重大突破，實現了企業關鍵系統在國網和省公司的兩級集中部署。省公司數據中心集中部署的重要信息系統越來越多，系統交換數據量越來越大。由于電網企業關乎國計民生，電力客戶和電網企業對信息系統的連續穩定運行要求非常高，十二五期間國家電網還將開展云計算和硬件資源池建設。所以，支撐核心系統運行的省公司數據中心信息網絡面臨著“高性能、高帶寬、高可靠、高靈活性”的應用需求。為適應電網企業這種新形勢下的網絡需求，數據中心網絡需要不斷優化結構。

網絡虛擬化是當前網絡發展中重要的研究內容，并且是下一代網絡的重要發展方向，其關鍵思想是實現網絡各層的橫向整合，將交換網絡每一層的多臺物理設備使用虛擬化技術形成一個統一的交換架構，減少了邏輯上的設備數量，增加網絡對業務部署的靈活性。

虛擬化整合后的網絡系統，對外表現為單臺物理設備，因此，在保持網絡基本互聯條件下(圖1左)，可將一對虛擬系統之間的多條線纜進行鏈路捆綁聚合動作(圖1中)，從而將不同網絡層之間的網狀互聯簡化成單條邏輯鏈路并增加帶寬(圖1右)。

圖1 網絡橫向虛擬化的整合過程

1 現狀分析

某省電網企業數據中心網絡經過多年的發展和建設，建成了分布在黃山路電網調度大樓、黃山路第二辦公樓、蕪湖路辦公樓三地信息機房的數據中心核心網絡。改造前省公司數據中心核心網絡是呈星型網絡結構，以黃山路數據中心為網絡核心節點，黃山路第二辦公樓和蕪湖路數據中心分別部署一套匯聚交換機，三地機房的接人層交換機經過本地機房匯聚交換機星狀接人網絡。

隨著省公司數據中心集中部署的應用系統不斷增加，現有數據中心網絡的技術缺陷和結構弊端日益凸顯，主要表現在以下幾個方面:

1)單網絡出口:雖然有三地數據中心，但是網絡出口只位于黃山路信息機房一處，一旦該節點核心交換機故障或停機檢修將造成整個數據中心網絡對外聯絡中斷。同時該節點核心交換機負載很高，業務板卡槽位已滿配，擴容有難度。

2)設備資源利用率不高:網絡核心節點、三地機房的網絡匯聚設備全部采用雙機部署。核心交換機雙機運行虛擬路由器冗余協議(virtualrouter redundancy protocol，VRRP)實現雙機熱備。受到VRRP技術制約，兩臺核心交換機在同一時刻其實只有一臺負責業務數據的轉發，另外一臺處于熱備狀態。

3)網絡結構復雜:整個網絡邏輯結構雖然是星狀，但是設備與設備之間的互聯鏈路是全連接(fullmesh)的結構，拓撲關系復雜。

4)鏈路資源利用率不高:由于網絡在二層轉發層面需要按照固定無環的網絡結構轉發，所以再復雜的物理連接鏈路最終在邏輯上通過生成樹算法協議(spanning tree protocol，STP)算法計算后只表現為單鏈路在發揮作用，故full mesh的二層鏈路只有一條鏈路在真正發揮作用。

5)網絡收斂慢:因為是星狀的二層交換網絡冗余全依賴STP協議二層收斂，網關依靠VRRP收斂，一旦網絡中有設備和鏈路異常，STP全網收斂時間至少在30秒以上。

2 改造方案

2. 1總體方案

該省電網數據中心網絡改造一方面對原有網絡架構改造，將原來的單核心網絡節點改造成分布式的三地機房分別部署核心交換機，三個網絡節點間的核心交換機背靠背互聯形成環狀網絡，并分別在黃山路數據中心和蕪湖路數據中心建立與廣域網的互聯出口，形成環網雙出口的核心網絡結構;另一方面引人網絡虛擬化技術，所有的核心節點使用H3 C12508 Tb級別的數據中心路由交換機雙機部署，所有的接入層交換機使用H3C 7500E系列交換機雙機部署，使用IRF2技術將每個節點的交換機虛擬成一臺邏輯交換機。虛擬后的核心交換機與虛擬后的接人交換機直連，摒棄了網絡核心層、匯聚層、接人層的傳統三層結構，使用核心層直連接人層方式，形成扁平化的統一虛擬化交換網絡。

圖2 省電網企業數據中心網絡改造方案

2. 2統一交換架構實現方案

因為該省電網企業三地數據中心機房互為備份關系，設計人員在設計網絡架構時保留三地互備關系，重點將各個機房的網絡資源進行整合。整合方案是以高端的H3C12508數據中心級交換機作為核心，雙機部署使用IRF2虛擬化形成一個邏輯的核心交換設備;以H3C 7500E系列交換機作為接入，在每機房的集中配線柜雙機部署并使用IRF2形成一個邏輯接人設備;邏輯接人交換機7500E與邏輯核心交換機12508使用雙萬兆鏈路互聯并通過鏈路聚合控制協議(link aggregation control protocol， LACP)捆綁成一個20G邏輯通道。因為所有節點設備都是通過虛擬化后對外互聯，所以每個機房就形成邏輯上純星型的高速交換網絡。

圖3 統一交換網絡示意圖

在這個網絡中，57500 E不開啟三層功能，僅提供二層轉發功能，所有的三層以上功能交由核心交換機12508處理。因為設備間有足夠的帶寬，整個機房內是一個高速的統一交換網絡。

根據三個數據中心全部改造需求，安徽省電力公司在三地機房10個分區總計部署了6臺12508交換機形成三個機房的核心節點，部署了20臺7500E交換機形成了10個接入節點。

2. 3設備間帶寬設計方案

數據中心網絡每兩個邏輯節點之間的4臺設備呈口字型互聯，2個邏輯節點鏈路通過LACP實現了雙鏈路邏輯捆綁，聚合后的雙鏈路同時轉發數據并使用HASH算法負載均衡。鏈路聚合實現了網絡邏輯節點間20G的高速網絡帶寬(如果有需要，可以聚合更多接口獲取更大帶寬)。

2. 4虛擬機接人和網絡動態遷移方案

網絡設備與終端主機的互聯接口工作方式因為主機的工作方式變化而有所不同。傳統上一個主機只運行一個應用系統，這時候其上聯交換機接口會明確地工作在接入(access)模式下。隨著虛擬主機(virtual machine ， VM )應用部署，物理服務器上可能運行多個虛擬服務器，而且物理主機上不同的VM可能用不同的子網IP。

網絡改造方案設計將子網的網關部署在12508核心交換機上，7500E交換機純做二層接入，系統間網絡通過ULAN技術實現邏輯分區，從而實現了整個物理機房的大二層交換。這時候再將VM宿主物理服務器與交換機接口工作模式配置為trunk模式，VM可以根據802. 1 Q協議中的VLAN標簽對進出的數據包按標簽識別處理，確保轉發給需要的VM。因為整個機房二層互通，所以VM可以在機房不同位置的宿主物理服務器上靈活遷移應用。

2. 5 MAD實現方案

因為數據中心全網的網絡節點通過IRF2虛擬化，當虛擬化堆疊鏈路發生斷裂的時候，原來的IRF堆疊系統可能會分裂成為兩臺上全局配置完全一致的IRF設備。這些IRF堆疊設備同時運行在網絡中可能會引起多種網絡故障，如IP地址沖突、STP協議計算出錯，而且原來跨設備的鏈路聚合也會出現問題。為了提高IRF系統的可用性則需要這樣一種機制:在IRF堆疊鏈路發生故障斷裂、堆疊分裂時，能夠檢測出組網環境中存在的多臺IRF堆疊設備，并提供相應的處理方式使得網絡能夠正常運行。這種機制就是MAD，即多Active檢測。

方案設計時在兩臺虛擬化設備上開啟建立專用的監測VLAN接口，用專用線路互聯，并使能基于雙向轉發檢測(bidirectional forwarding detection ， BFD)分裂檢測功能。BFD在兩臺設備間建立會話，會話建立后會周期性地快速發送BFD報文，如果在檢測時間內沒有收到BFD報文則認為該雙向轉發路徑發生了故障，通知被服務的上層MAD應用進行相應的處理。

MAD機制收到BFD通知后立即啟動措施為網絡只保留一個Active設備，而將其它的Active的業務口關閉，防止多臺配置相同的設備對組網環境產生影響。

3 基于虛擬化技術的數據中心網絡改造優勢

3. 1網絡簡化

數據中心網絡全面使用虛擬化技術組網后，網絡節點和鏈路的邏輯表現更加簡單。

(1)網絡節點簡化

網絡設備虛擬化后，IRF2技術屏蔽了IRF2系統內成員設備的物理差異，網絡節點內的兩臺物理交換機對外表現為一臺網絡設備在服務。不論在網管上還是設備操作配置上，完全可以通過IRF2的管理層面對設備一次性監視和管理。

(2)拓撲結構簡化

虛擬化后的網絡因為屏蔽了物理差異，所以傳統上LACP對跨設備鏈路聚合無法實現的問題迎刃而解。虛擬化設備整體表現為一臺設備，所以兩個網絡節點間4臺設備互聯完全可以當做兩個邏輯設備互聯。從而使原來復雜的full mesh鏈路在虛擬化網絡中通過跨設備的鏈路聚合變成了簡單的2個設備互聯。

3. 2網絡資源利用率提高

(1)設備全利用

使用IRF2虛擬化后的邏輯設備會從物理設備的主控板中進行角色選舉，選出master和slave，masto:統一指揮所有的物理交換機協同工作，其他的slave作為備用引擎，解決了VRRP中有一臺設備資源閑置的問題。

(2)通道全利用

使用IRF2虛擬化設備解決了跨設備鏈路聚合問題，所以網絡節點間的鏈路互聯可以依托LACP實現全部的聚合，網絡節點之間不運行STP協議，所有的互聯鏈路不再被STP阻塞，提高了鏈路利用率、增加了鏈路帶寬。

3. 3網絡收斂速度快

(1)設備故障的網路收斂

使用VRRP協議進行雙機熱備時，VRRP協議的切換速度取決于它的hello以及配置的搶占速度，不過至少是在秒級。而IRF對設備的切換檢測時間是毫秒級，用戶基本感覺不到網絡故障收斂時的鏈路中斷。

(2)鏈路故障的網路收斂

在網絡沒有虛擬化之前，二層網絡的收斂完全依靠STP協議對拓撲鏈路重新計算。根據STP切換狀態過程，備用鏈路切換需要經過從blocking一>listening一>learning一>forwarding過程，總計需要50秒時間。即時使用快速生成樹RSTP協議減少等待時間，但是仍然停留在秒級的切換。虛擬化后的鏈路使用了LACP協議捆綁，當其中一個鏈路故障時，其余的鏈路仍然正常發送數據，這種檢測時間在SOms內完成，用戶感覺不到網絡中斷，滿足電網企業網絡低延時需求。我們知道即使IP電話也只需要保證100ms內的延時即可實現無損通話。

3.4安全性更高

(1)網架更堅強

數據中心網架從星狀拓撲改造成三地核心互聯的環狀并設立了雙出口，不但增加了跨機房的數據交換路徑冗余性，而且鞏固了三體機房形成的整體數據中心網絡可靠性。即使任意一個機房發生意外，仍然有兩個機房的網絡能夠對外提供服務。另外，通過數據中心雙出口改造，數據中心與廣域網之間的對接更加可靠。

(2)網絡節點更加強

傳統的網絡節點是通過設備1 +1和引擎1 +1實現節點冗余。虛擬化后的網絡節點在設備同時發揮作用的基礎上仍保證設備級1十1冗余，同時IRF2系統內的兩臺設備的總計4塊引擎是1 +3冗余關系，網絡節點更可靠。

4 結語

該省電網企業成功地將網絡虛擬化技術應用于數據中心網絡改造，數據中心網絡更加安全、高效和扁平化，為信息系統向省公司的集中部署提供了良好的網絡基礎環境。今后電網企業數據中心的網絡發展還應當結合信息系統虛擬化和國家電網公司硬件資源池建設開展研究，為下一步國家電網電力云計算建設提供更可靠、更靈活的網絡服務。

核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設***的ERP管理軟件信賴品牌。