網絡已經成為企業IT運行的基石，隨著IT業務的不斷發展，企業的基礎網絡架構也不斷調整和演化，以支持上層不斷變化的應用要求。

在傳統數據中心網絡的性能、安全、永續基礎上，隨著企業IT應用的展開，業務類型快速增長,運行模式不斷變化，基礎網絡需要不斷變化結構、不斷擴展以適應這些變化，這給運維帶來極大壓力。傳統的網絡規劃設計依據高可靠思路，形成了冗余復雜的網狀網結構，如圖1所示。

圖1 企業數據中心IT基礎架構網狀網

結構化網狀網的物理拓撲在保持高可靠、故障容錯、提升性能上有著極好的優勢，是通用設計規則。這樣一種依賴于純物理冗余拓撲的架構，在實際的運行維護中卻同時也承擔了極其繁冗的工作量。

多環的二層接入、Full Mesh的路由互聯，網絡中各種鏈路狀態變化、節點運行故障都會引起預先規劃配置狀態的變遷，帶來運維診斷的復雜性；而應用的擴容、遷移對網絡涉及更多的改造，復雜的網絡環境下甚至可能影響無關業務系統的正常運行。

因此，傳統網絡技術在支撐業務發展的同時，對運維人員提出的挑戰是越來越嚴峻的。
隨著上層應用不斷發展，虛擬化技術、大規模集群技術廣泛應用到企業IT中，作為底層基礎架構的網絡，也進入新一輪技術革新時期。H3C IRF2以極大簡化網絡邏輯架構、整合物理節點、支撐上層應用快速變化為目標，實現IT網絡運行的簡捷化，改變了傳統網絡規劃與設計的繁冗規則。#p#

1.數據中心的應用架構與服務器網絡

對于上層應用系統而言，當前主流的業務架構主要基于C/S與B/S架構，從部署上，展現為多層架構的方式，如圖2所示，常見應用兩層、三層、四層的部署方式都有，依賴于服務器處理能力、業務要求和性能、擴展性等多種因素。

圖2 多層應用架構

基礎網絡的構建是為上層應用服務，因此，針對應用系統的不同要求，數據中心服務器區的網絡架構提供了多種適應結構，圖3展示了四種H3C提供的常用網絡拓撲結構：

圖3 多種數據中心ServerFarm結構

根據H3C的數據中心架構理解和產品組合能力，可提供獨立的網絡、安全、優化設備組網，也可以提供基于框式交換平臺集成安全、優化的網絡架構。ServerFarm 1和2是一種扁平化架構，多層應用服務器(WEB、APP、DB)群共用同一網關，適用于一般規模服務器群，可擴展性有一定限制，網關層控制策略比較復雜；ServerFarm 3和4是一種展開式架構，與應用的多層訪問架構保持了一致性，具有更清晰的數據流路徑，更強的業務擴展能力和良好的策略控制能力。

2.數據中心ServerFarm 交換網絡IRF2虛擬化設計方案

對于傳統的數據中心服務器區交換網絡(如圖4所示)，針對無環設計和有環設計有多種選擇方案。

圖4 傳統的多種服務器區接入網絡拓撲

在數據中心更為通用的是采用環路接入拓撲模式，以生成樹協議(MSTP)配合***跳網關冗余協議(VRRP)提供服務器接入的可靠性。同時，服務器以多網卡連接網絡以進一步提供冗余能力。圖5為常用的三種接入設計方法，雖然這幾種方式已經成為數據中心接入設計的***實踐，但從網絡的拓撲設計、環路規避、冗余備份等角度考慮，設計過程是極其復雜的。如VLAN的規劃、生成樹實例的拓撲阻塞、網關冗余選擇，包括相應技術的參數選擇、配置，故障切換的預期判斷等，需要一套十分詳細的流程，而在后期網絡運行維護過程中面臨的壓力和復雜度是顯而易見的。

圖5 生成樹+VRRP的設計方式

引入虛擬化設計方式之后，在不改變傳統設計的網絡物理拓撲、保證現有布線方式的前提下，以IRF2的技術實現網絡各層的橫向整合，即將交換網絡每一層的兩臺、多臺物理設備使用IRF2技術形成一個統一的交換架構，減少了邏輯的設備數量，如圖6所示

圖6 IRF2對網絡橫向虛擬化整合過程

在虛擬化整合過程中，被整合設備的互聯電纜成為IRF2的內部互聯電纜，對IRF2系統外部就不可見了.原來兩臺設備之間的捆綁互聯端口歸屬的VLAN三層接口網段均能被其它設備可達(如ping通)，而歸屬到IRF2系統內部后，不對互聯電纜接口進行IP配置，因此隔離于IRF2外部網絡。

虛擬化整合后的IRF2系統，對外表現為單臺物理設備，因此，在保持基本網絡互聯條件下(如圖6左圖所示)，可將一對IRF2系統之間的多條線纜進行鏈路捆綁聚合動作(如圖6中圖所示)，從而將不同網絡層之間的網狀互聯簡化成單條邏輯鏈路(如圖6右圖所示)。

以IRF2組網后，整個網絡的配置管理情況發生了很大變化。原來的多臺物理設備組成為一臺邏輯設備，所有IRF2成員可以統一管理配置。因為只有一個管理IP，所以不需要登陸到不同設備各自管理運維，可以直接對所有端口、VLAN等特性進行配置，如圖7所示。

圖7 IRF2組網的網絡配置管理方式

對于接入層設備來說，以Top of Rack接入為例：一般使用兩臺接入交換機對同類業務系統服務器進行接入，以滿足服務器雙網卡的上行要求。使用IRF2進行網絡簡化時，對網絡匯聚層或服務器網關層的虛擬化整合是必要的，因為這是消除生成樹和VRRP的關鍵網絡層。對接入層網絡來說，有如圖8所示的兩種選擇：

圖8 接入層不同的IRF2應對方式

***種，保持原有網絡拓撲和設備獨立性不變，如圖8方式A，通過IRF2將匯聚網關層虛擬化，Top of Rack交換機雙歸屬上聯的兩條鏈路直接進行捆綁，消除了環路，服務器網卡歸屬到獨立的兩臺交換機。

第二種，在Top of Rack兩臺交換機之間增加IRF2互聯線纜，使得接入層也實現虛擬化整合，如圖8方式B，服務器雙網卡連接的兩臺交換機虛擬化成一臺，這兩臺交換機的所有上聯線纜可實現跨設備的捆綁，進一步減少邏輯鏈路數。方式B還可實現更多的接入層設備整合，網絡物理設備與邏輯節點的整合比可大大超過2:1。#p#

對于服務器而言，上行到IRF2系統的所有網卡如同接入一臺交換機，可滿足各種工作模式，特別是服務器的雙網卡捆綁方式，如圖9所示。除了支持網卡主備模式，對于網卡需要捆綁(LACP功能)的業務要求，由于IRF2本身可支持跨設備的鏈路聚合，因此服務器多網卡上行到一個IRF2系統的不同交換機均可實現捆綁，實現網卡吞吐帶寬增強和提升可靠性。

圖9 基于IRF2的服務器多網卡適配

服務器雙網卡接入網絡有多種模式：網卡的主備、網卡雙活。雙網卡主備方式下，服務器兩個網卡分別接入IRF2的不同交換機成員，實際等同于接在同一臺交換機下，因此網卡鏈路狀態發生變化時，IRF2系統能夠立刻感知，網卡業務切換后，對交換機IRF2系統只是表現為網卡地址遷移到同一臺交換機的不同物理端口。由于IRF2交換系統對上層網絡隔離了地址端口遷移(對上層設備來說，服務器地址總是在與接入層IRF2的上行鏈路對應的網絡接口下，并沒有漂移)，表項變化只在接入層設備處理，因此網絡能夠快速適應網卡流量切換。網卡雙活模式下，兩塊網卡可以工作在聚合捆綁方式，則可將雙網卡分別連接IRF2的不同交換機成員接入端口，并可以基于IRF2將不同交換機上的端口進行聚合捆綁，由于雙網卡具有相同的MAC和IP地址，而IRF2將不同交換機端口聚合捆綁后，聚合組內不同端口下不會存在地址漂移，網卡地址在IRF2上只被作為分布式設備的虛擬聚合鏈路下的一個地址，優化了雙網卡組網方式。

在實施數據中心IRF2架構中，VLAN和IP的設計變得十分簡單，在網絡各層互聯上使用鏈路捆綁方式在多條物理鏈路上虛擬出了一個聚合層，也就是捆綁后的邏輯鏈路，因此聚合組替代了原來的物理端口成為VLAN設計的考慮因素，因為聚合/捆綁后的交換機端口群(可能分布在IRF2不同的成員上)被視為單個邏輯端口使用。

由于網絡采用IRF2設計中，已經消除了環路，在不考慮生成樹協議條件下，VLAN的設計在滿足業務連通性上已經十分簡單。

圖10 基于IRF2的VLAN、IP設計

如圖10所示，在接入層配置了A-H共8個接入VLAN，用于數據中心8類服務器接入，分屬到兩個業務網關層。核心層與網關層(匯聚層)均采用IRF2實現每層兩臺設備的虛擬化整合，接入層分別采用兩種方式：左邊模塊Top of  Rack接入不進行IRF2虛擬化；右邊模塊采用IRF2虛擬化橫向整合。

對于VLAN A，服務器上聯到兩臺Top of Rack交換機，每臺交換機雙上行捆綁到網關，邏輯上形成了一個倒V的拓撲，VLAN A在網關的IRF2系統上只需配置一個IP地址10.1.1.1/24。

對于VLAN H，由于右邊模塊下的Top of Rack交換機以IRF2形式接入服務器，服務器的雙網卡所在的兩個端口只表現為一臺交換機同一VLAN H的兩個端口，上行只有一個邏輯鏈路，因此VLAN H簡單地通過此鏈路終結在匯聚層網關上，只需配置一個IP地址10.2.4.1/24.
核心層與匯聚層之間的連接也簡化為只通過一個VLAN進行三層互聯了，將本來full mesh全連接的網狀網變成了簡單的單邏輯鏈路連接。

圖11 IRF2網絡架構對路由設計的簡化

圖11左圖的網絡結構中，三層互聯鏈路成網狀，所需網段多，且一般一條物理鏈路對應一個互聯網段，在運行動態路由、使能接入環路生成樹條件下，任意物理鏈路的故障(Up/Down)都會引起網絡路由的振蕩、VRRP狀態變化或生成樹的重新計算，同時可能引起應用系統業務流的中斷(在協議計算收斂條件下的業務恢復時間可達到數秒甚至分鐘級)。

而圖11右圖采用IRF2的網絡結構，網絡節點之間以多鏈路捆綁組模式互聯(普通方式下為1～4條物理鏈路)，捆綁組中任意一條物理鏈路發生故障(引起Up/Down)，由于整個捆綁組在邏輯上仍然有效，接口狀態正常，整個網絡拓撲沒有變化，因此不會引發上層路由協議重計算，極大保持了網絡穩定運行。同時基于IRF2的網絡架構所需互聯IP大量減少，減少了網絡可管理的IP對象，也消除了潛在隱患。此結構中，動態路由設計面對的網絡區域，也因架構橫向整合而使得動態路由區域可能變成了簡單的鏈狀，參與路由計算的節點大量減少，設計上更簡單和易穩定。

圖12 面向server farm多層應用架構的IRF2組網

對于數據中心應用的多層架構，按圖5的組網模式，采用IRF2技術進行改良。如圖12所示，端到端的IRF2設計可以將大規模數據中心網狀網變成線性/樹狀輻射網，在網絡每一層具有靈活擴展能力、簡單配置管理方式，提升網絡的運行管理效率。

對于數據中心已有核心，擴建業務模塊的網絡設計，可在匯聚/網關層以下的網絡層次使用IRF2技術進行構建。

圖13 在現有數據中心采用IRF2架構擴建新業務模塊

如圖13左圖，新建業務模塊的網絡連接與已有業務模塊區可采用相同連接拓撲，新建業務模塊通過IRF2消除本模塊內的環路設計，網關/匯聚節點創建兩個接口分別與核心兩臺設備連接，如圖15右圖，出入此新建業務模塊的訪問流量可通過兩條(或多條)等價路由實現連通。#p#

3.如何通過IRF2網絡構建適應VMotion的虛擬化應用

VMware的VMotion是當前服務器虛擬化技術的熱點內容，主要好處是解決了業務在運行過程中的動態遷移問題，使得應用可以根據計算容量需求動態調整計算資源。

圖14 VMoiton過程示意

如圖14所示，在VMotion過程中，選擇好目的物理服務器后，啟動遷移流程，VMWare虛擬系統將處于工作運行中的虛擬機(VM)的實時狀態，包括內存、寄存器狀態等信息同步拷貝到目的VM，并激活目的VM從而完成遷移。

VMotion過程對于網絡設計本無特殊要求，但遷移的范圍要求網絡二層連通，即源VM與目的VM在同一VLAN內，這就要求VM虛擬化應用所在的網絡是一個二層網絡。如圖15所示，VMotion的網絡中存在三種VLAN：管理VLAN如VLAN 10，遷移VMotion VLAN如VLAN 20，VM業務VLAN如VLAN 105/106。

圖15 VMotion的二層VLAN類型

傳統MSTP的二層設計在小范圍網絡環境也基本滿足VMotion的應用要求，但是隨著VM 二層域規模的不斷擴大，有些企業甚至要建數據中心范圍內的二層網絡，如果采用MSTP+VRRP構建數據中心網絡，不論是前期規劃還是建成后的運營都會極其復雜。

圖16 基于IRF2的大規模VMotion網絡架構

圖16提供了端到端全面構建VMotion網絡的方案。由于IRF2消除了環路和冗余網關協議帶來的問題，整個網絡可搭建一個大范圍的二層互聯平臺，在此平臺上合理部署相應的管理VLAN、VMotion VLAN和VM業務VLAN即可滿足虛擬化業務需求。

在虛擬化環境中遇到的另一個問題是安全策略問題，有外部流量訪問VM的安全策略，也有VM之間的安全策略。對此存在不同的部署意見，有的認為安全策略需要部署到服務器內部的vSwitch上，有的建議由安全設備如防火墻集中執行。

安全策略部署在服務器內的vsSwitch上，便于做到控制精細，并且在VM的遷移過程中，相應的控制策略也能跟隨虛擬化系統軟件的遷移功能隨著VM到達相應的vSwitch。但根據思博倫測試專家的觀點，策略在vSwitch上部署過多對于vSwitch性能有一定影響。同時，對大二層網絡，策略過于分散，不利于運行維護。并且在當前企業數據中心運維架構中，服務器虛擬化帶來的Switch管理歸屬成為問題。(是網絡運營部門？還是應用運營部門？)
另一種集中式的控制策略部署在網絡設備上。對IRF2構建的網絡，如果對外部訪問VM的流量進行策略控制，則可在所有VM的網關層設置入方向的ACL控制策略，如圖16所示，控制集中、便于策略維護。

IRF2虛擬化在數據中心建設的實施已經是一種必然趨勢，***實踐的設計是落實IRF2的有效途徑。IRF2并沒有完全摒棄傳統設計方法，而是對數據中心總體網絡架構的優化，同時，IRF2的實施結果也是實現數據中心的虛擬化價值。