服務器和網絡交換機，作為IT基礎架構中最為核心的功能組件，是每一位IT系統網絡工程技術人員日常接觸最多也是最為熟悉的設備類型。無論是負責售前方案設計的架構師，還是擔負系統部署和運維的現場工程師，雖然角色分工有所不同，但都有著一個共同的心愿：那就是希望自己設計、部署和運維的系統具有***的可用性，不但平日里能夠可靠、穩定和高效地承載上層業務應用，而且當故障發生時還能夠按照預先設計的冗余策略實現既定的故障轉移、自愈或容錯。

作為一個IT人，在我個人日常的技術部署實踐和問題診斷排錯過程中，經常會發現一些不正確的網絡配置，使得網絡鏈路故障時，網絡流量無法被正確引導至冗余路徑，致使通訊異常，乃至業務中斷。下面，將以Dell刀片系統的網絡拓撲結構為例，介紹一種被我稱為 “網絡黑洞”的故障現象及其解決方法。

首先，請看下面這張系統拓撲圖：

上圖中描繪了一個典型的刀片服務器網絡接入場景：在Dell M1000e刀片系統中，單臺刀片服務器（M630）通過兩個集成網口（網卡1和網卡2），分別與刀片機箱上的交換機相連接（刀箱交換機模塊A和刀箱交換機模塊B）。刀片服務器網卡1和網卡2配置為Teaming或Bond方式。刀箱交換機模塊A和B再通過各自的上行端口分別與核心交換機A和核心交換機B連接，每個刀箱交換機模塊出于鏈路冗余考慮，都采用2條上行鏈路到核心交換機，每個刀箱交換機用于上行鏈路的2個端口配置為聚合方式（Port Channel）。兩臺核心交換機之間通過堆疊方式實現互連。

通過上述方式，我們構建了一個物理層全冗余的網絡環境。那么，它真的能夠具備我們所希望的網絡冗余能力么？接下來，我們將一起分析看看，當這個系統中的某些網絡鏈路出現故障時，會發生什么？

有一條從刀箱交換機模塊A到核心交換機A的上行鏈路出現故障，如下圖所示：

此時，來自網卡1的流量到達刀箱交換機模塊A后，可以被刀箱交換機模塊A從另1條未發生故障的上行鏈路轉發到核心交換機B。來自于網卡2的流量到達刀箱交換機模塊B后，與此前一樣順利地被轉發到核心交換機。除了刀箱交換機模塊A到核心交換機的上行鏈路帶寬減少50%以外，不會有任何其他網絡訪問連通性方面的問題。

在假設1的基礎上：如果上圖中刀箱交換機模塊A與核心交換機B之間的上行鏈路也發生故障，如下圖所示：

此時，刀箱交換機模塊A的上行端口已全部變為“link-down”狀態，而它與刀片服務器網卡相連接的內部端口仍然保持“link-up”狀態。這種情況下，刀片服務器操作系統的teaming或bond服務組件，確認網卡1和網卡2都是“link-up”狀態，不會觸發任何網絡流量切換動作，一如此前的工作狀態，繼續發送數據流量到服務器網卡1和網卡2。請注意，此時問題出現了：被發送到網卡1的流量到達刀箱交換機模塊A后，因為刀箱交換機模塊A上行鏈路已全部中斷，無法被轉發至核心交換機，最終這部分數據流無法被送達目的主機，最終會因投遞超時被丟棄。這部分流量仿佛落入了“黑洞”一般，得不到任何回應，將導致嚴重的丟包或斷網情況發生。（注：究竟是完全斷網還是部分丟包，與刀片服務器上teaming和bond所設定的網卡冗余的具體模式有關。）

以上所描繪的場景，自然是我們不希望發生的。那么能否有一種方法，可以讓刀片服務器的網卡端口狀態，可以隨著刀箱交換機模塊的上行端口的狀態實現“聯動”呢？下圖描繪了我們最希望看到的沒有網絡“黑洞”愿景：

在上述場景中，我們假想，如果刀箱交換機模塊A的2條上行鏈路全部失效，刀箱交換機模塊A發現全部上行鏈路中斷后，可以自動的阻斷自己與刀片服務器相連接的交換機端口，使之變為“link-down”狀態，那么服務器網卡1也將同步變為“link-down”狀態。刀片服務器操作系統的teaming或bond服務組件，將監測到網卡1的狀態變化，隨時將網絡流量全部轉移至網卡2，網絡流量進一步會由刀箱交換機模塊B成功轉發給核心交換機，這樣就確保了刀片服務器網卡通訊正常，真正實現了原始方案中所設計的服務器網卡冗余的高可用功能，消除了網絡“黑洞”現象。

下面我們將繼續沿用Dell刀片系統的網絡架構作為例子，來說明防范網絡“黑洞”的方法。

在Dell M1000e刀片系統中目前可以配置下面幾款刀片交換機模塊：

在上面三款DellPowerConnect系列的交換機中，我們設計了一種端口狀態“聯動”機制，被稱之“連接依賴性（Link Dependency）”。我們可以在交換機配置中，通過建立一個“連接依賴性組”， 把具有依賴性關聯的端口添加到這個“連接依賴性組”中，并指明端口之間的“聯動”規則，即可實現端口智能聯動策略。例如，在前面的場景中，我們可以把“刀箱交換機模塊A”上和刀片服務器相連接的端口與和核心交換機連接的聚合端口（Port Channel）配置到同一個“連接依賴性組”中，并設定策略：當連接核心交換機的上行聚合端口（Port Channel）變為“link-down”時，所有與刀片服務器相連接的端口也強制變為“link-down”狀態。這個配置策略一旦激活生效，上行聚合端口（Port Channel）的連接狀態將持續處于被監視狀態，一經發現其鏈路中斷，PortChannel變為“link-down”，交換機與刀片服務器相連接的端口也會即可變為“link-down”，與刀箱交換機模塊A連接的服務器網卡1自然也會同步變為“link-down”，服務器端teaming或bond將會檢測到網卡1鏈路失效，并將網絡流量完全切換至網卡2。為保證對稱性，需要在刀箱交換機模塊B上同樣進行上述配置。這樣，我們就徹底防止了潛在網絡“黑洞”的出現，確保了網絡的可用性。

以上示例中涉及到的交換機的配置命令以及更詳細的使用說明，感興趣的朋友可以參考Dell官方技術支持站點提供的《用戶手冊和用戶指南》。通過support.dell.com站點，您只需選擇相應的交換機產品型號，在該產品的技術支持頁面中可以選擇直接在線閱覽或免費下載。

本文所探討的 “網絡黑洞”問題，是一個十分常見卻容易被忽視的問題。事實上，未經充分的鏈路切換測試演練的服務器網絡環境一旦交付上線投產，事前是很難發現這類潛在隱患的。通常都是在投產后發現了網絡連通性問題做故障排查時，才會略見端倪，而此時極有可能已經因此引發了計劃外生產業務中斷事件，代價高昂。所以，僅有服務器、網絡鏈路的物理冗余的前期設計是遠遠不夠的，必須輔之以全面優化的部署服務才能確保我們所交付的IT基礎架構具備真正意義上的高可用。

謹以此文與朋友們分享，在此感謝大家一直以來對Dell的支持和關注！