揭開網絡故障中斷的內幕
網絡是企業的戰略性業務資源，負責承載日常消息和關鍵任務數據，實現用戶與業務流程之間的通信。對公司內部的許多用戶來說，網絡都是像水電一樣無法看到的耗用型共用設施，一旦出現故障中斷，瞬間便會凸顯出來。
網絡不可用時會出現什么情況?網絡故障中斷會對公司形象及客戶產生嚴重影響。員工無法接入電子郵件、電話或關鍵業務應用，業務流程無法更新，客戶可能到別處去查找信息或者投入其他供應商的懷抱。據Infonetics Research早期開展的調查統計，網絡故障中斷每年使大型企業損失3.6%的年收入。
當然，提高網絡可用性只是IT和網絡機構的工作之一。隨著網絡逐漸成為業務戰略核心，企業的工作重點也朝著提供新業務、提高靈活性以及創新支持的方向轉移。 保持網絡的正常運行固然重要，但降低預算也同樣重要。為了管理好這組矛盾體，企業需要實施持續的系統方法。
網絡故障中斷的原因和影響
近期對技術決策人開展的調查顯示了對網絡故障中斷原因進行調查的重要性。Strategy Group2007年7月對Ziff Davis Enterprise數據庫中的173人開展了調查，他們都是員工在100人以上的企業中的經理人或更高級別的管理者。回答人稱他們對網絡故障中斷的容忍度越來越低，近1/3(32%)的回答人稱他們根本無法容忍故障中斷，這組回答人對網絡故障中斷的平均容忍時間僅為1.8小時。我們不難了解為什么回答人稱網絡修復的平均成本高達每天300萬美元，其中10%的回答人預計網絡故障中斷造成的損失和收入丟失高達每天1000萬美元。
網絡故障中斷的負面影響不僅限于經濟損失。公司形象受損是回答人最擔心的問題(69%)，其次是喪失客戶信任(47%)。考慮到這些潛在后果，公司將70%的IT預算用于維護網絡運行，只剩下30%用于實施戰略和創新活動不足為奇。總的來說，這組回答人希望這種格局在今后12-18個月中發生變化，達到60/40的比例。
近一半的回答人(46%)稱他們的公司采取被動方法來監控網絡并解決網絡問題。有趣的是，與采取被動的無序方法的公司相比，采取主動的戰略性方法的公司用于維護網絡運行的IT預算更少，分別是75-80%和60-65%。減少網絡運行開支能夠創造多個優勢，例如，與采取被動方法的競爭對手相比，采用主動方法的公司能夠持續創新、提高IT運行效率并實現更高的績效。
運行團隊在提高網絡可用性方面面臨多個挑戰。計劃內檢修、意外的硬件或軟件故障及人為錯誤等都可能導致網絡設備故障停機。這是一個復雜的問題，要想設計出能夠最大限度地提高可用性的系統，您需要更深入地了解基本要素。
設備檢修
供應商投入大量資源縮短產品的檢修時間。因此，檢修是網絡設備故障中斷的最次要的原因，約占到5-10%。一般產品現在都提供熱插拔線路卡和電源。冗余的容錯軟件和不中斷的硬件也很普遍。不中斷業務的軟件升級是最新發展趨勢，允許您在不影響現有業務運行的情況下添加或升級軟件模塊。
業界的一致關注使得網絡可用性得到了大幅度提高。雖然保持高性能仍是網絡供應商的關注焦點，但它并不能最大限度地提高網絡可用性。例如，假設計劃內檢修對網絡故障中斷負有5-10%的責任，將網絡設備的檢修時間縮短20%只能將網絡的故障中斷時間縮短1-2%。
圖1：網絡設備故障停機的根源
遺憾的是，這種方法將快速生成多個復雜的、分散的軟件版本。用戶必須謹慎選擇適當的軟件版本以便獲得重要的特性或硬件支持。有時，不同的軟件版本中可能會重復出現以前曾修復好的缺陷。需要全網絡特性的客戶必須仔細閱讀軟件文檔以確保版本適用于所有不同的硬件平臺。等到所有的版本完成編碼、測試和最終發行，可能需要等待一年或更長時間。許多時候，升級這些軟件可能會帶來其他問題，需要客戶先行降級，然后等到修復包提供時再實施升級。升級-降級-再升級的重復流程需要操作團隊處理不斷變化的一系列復雜的軟件版本，將會延長網絡的故障中斷時間。
系統錯誤對網絡故障中斷負有25%的責任，但如果供應商采取被動方法，將迫使客戶進入被動模式，進而必須提供更多資源來解決問題，甚至不惜動用其他領域的資源。您用在軟件版本評估及安裝補丁上的時間越長，用在創新上面的時間越短、資源越少;全新網絡服務的部署周期越長，人為錯誤的風險越大。對于25%的故障中斷因系統錯誤而起的公司來說，減少20%的系統錯誤將使網絡故障中斷時間縮短5%，但實現這個成效要求客戶投入大量資源或者長時間延期全新軟件特性和全新硬件的面市計劃。#p#
系統錯誤
供應商還高度重視減少硬件和軟件錯誤，據瞻博網絡的許多客戶稱，這部分占到網絡故障中斷的25%。然而，他們對此使用了兩種截然不同的方法：主動和被動。
被動方法
被動方法有利于市場宣傳，供應商承諾能夠快速響應重大問題，將傾其所有來解決此類問題，必要時可通過實施軟件補丁來解決問題。
主動方法
主動方法聽起來簡單，但卻需要非常嚴格的工程設計。由于某些問題在所難免，因此，這個方法論注重提前預測并解決潛在問題。對客戶來說，主動通知診斷信息可幫助他們縮短甚至避免某些類型的網絡故障中斷。通知時間越早，故障排除工作開始地越早，用于快速解決問題的可用方法越多。
對于供應商來說，主動方法允許他們集中精力確保按時推出全新的單一軟件版本。他們能夠逐漸積累一套高級的回歸測試腳本，以確保以前開發的所有特性都能繼續如期運行。通過避免安裝軟件補丁以及不斷添加軟件版本，客戶將騰出更多時間用在網絡特性和新平臺的研究上，縮短潛在的升級評估和測試時間。使用被動方法來解決問題的供應商看似優勢多多，但總抵不過不出現任何問題吧?
人為因素
據調查，人為錯誤對網絡故障中斷負有50-80%的責任。但在復雜的系統環境中，出現人為錯誤的原因往往不是能力欠缺。包含多個組件并涉及到多類互動活動的復雜系統創建了復雜的環境，在此，組件之間的微妙關系往往不為人知。
人為錯誤不是導致出現問題的直接原因，而是環境復雜性的征兆。因此，我們得出這樣的結論：降低和管理網絡復雜性將對網絡故障中斷時間產生最為巨大的影響。將人為錯誤減少20%可將網絡故障中斷總時間縮短10-16%，是減少系統錯誤的2-3倍，是縮短檢修時間的8-15倍。
是責備犯錯人還是從錯誤中吸取經驗教訓?
避免人為錯誤的傳統方法以責備和懲罰為主。這種方法的重點是找出犯錯人并評估后果，認為錯誤是人員不合格、判斷失誤或決策錯誤導致的意外事件，要是沒有人類活動參與其中，系統就是安全的。這種戰術基于對犯錯人進行嚴責，讓他們感到深深的挫敗感，鼓勵人們隱藏自己的錯誤而不是從錯誤中吸取經驗教訓。
現在的新方法趨向于檢測、糾正和防止錯誤，重點關注具體發生的事件、如何在將來防止它重復發生，以及在第一時間找到導致出現錯誤的系統組件(這一點最重要)。這種方法認為管理復雜的系統是一門需要持續改進的藝術，人類活動對于實現這種改進至關重要，錯誤常是一系列活動的綜合作用結果。本著持續改進的態度，這種方法鼓勵人們識別錯誤，積累經驗。
手動輸入復雜的配置命令是網絡中出現人為錯誤的最常見的原因。即便是資深工程師，也難免會將防火墻放置在錯誤的接口上(如他們用于與路由器進行通信的接口)、在過濾器列表中輸入錯誤的IP地址、或者在配置業務時犯下語法錯誤或丟失自變量。具體的操作指南和仔細的檢查可避免某些問題，但會減慢響應速度。緊急情況下，壓力和頻繁的中斷將會大幅度提高出錯幾率。
網絡供應商一直讓他們的客戶自己糾正人為錯誤，只提供基本的培訓和知識庫來幫助客戶管理錯誤。瞻博網絡始終高度重視JUNOS軟件中的人為錯誤，力求簡化并自動實施容易出現人為錯誤的主要程序。通過近期的創新成果，瞻博網絡將自動化功能應用到了大量的腳本編制工具中，以便進一步解決造成網絡故障中斷的人為因素。 #p#
系統的持續運行和自動運行
系統持續運行的工程基礎扎根于最早期的設計階段及開發原則，屬于事后無法改進的特性。模塊化軟件、開放的接口、獨立流程及受保護的資源都是前提要求。瞻博網絡從一開始就致力于采用這種方法。經過9年的持續改進和增強，瞻博網絡的開發成果不斷壯大，已經能夠通過定制方法來減少網絡問題的數量、降低嚴重性并縮短持續時間。
持續的系統運行
瞻博網絡的網絡平臺和JUNOS軟件素以持續的性能和運行穩定性著稱，這要歸功于單一操作系統、嚴格的單一版本開發流程以及嚴格分割每個程序的模塊化軟件架構。
JUNOS—嚴格的開發流程
JUNOS恪守嚴格的開發流程，從一開始便執行單一版本模式。新版本不允許忽視以前版本的特性，并且必須做到不存在任何重大的回歸錯誤。自JUNOS軟件9年前面市以來，瞻博網絡一直在按期提供新版本，從未出現過延期現象。這種方法的優勢在于穩定的模塊和一致地實施每個特性，不僅能夠減少意外系統事件，而且還能減少計劃內檢修和升級活動的次數并縮短時間。JUNOS版本測試流程更為全面，可將所有的資源和歷史經驗統統應用到一個代碼中。JUNOS的客戶能夠充滿自信地規劃網絡升級，只需很少的資源。當然，在出現問題時，我們會竭盡全力解決問題，但JUNOS軟件擁有公認的穩定性，很少出錯。
JUNOS軟件采用單一版本模式，每年定期推出4個新版本。如想升級軟件，客戶只需為基于JUNOS的所有平臺選擇并輸入更高版本的編號即可。由于每個版本中都提供全部的指定平臺特性，因此，如想向網絡中添加新服務，客戶只需打開所需特性即可。
圖2：JUNOS軟件的單一版本模式
JUNOS—模塊化架構
JUNOS軟件的程序運行在受保護的獨立內存空間中，您在停止運行或重啟程序模塊時不會影響其他系統組件。內存溢流是單片軟件架構的常見問題，導致產品頻繁中斷，JUNOS軟件不允許模塊之間意外重寫，進而能夠防止出現此類問題。
模塊化架構能夠為路由和數據包轉發引擎的核心網絡功能提供進一步的保護。它允許路由和數據包轉發引擎使用自己的專用資源，彼此不受影響。如果輔助程序消耗過多的CPU，系統將給制止，不運行核心功能的繼續運行。同樣，當遇到分布式拒絕服務(DDoS)攻擊等事件時，控制板和命令行接口(CLI)也可繼續運行，可用于故障排除，進而將問題解決。
模塊化架構和單一版本模式可減少人為錯誤的發生幾率，保護基本功能并減少操作人員對產品的操作次數。此外，簡化和自動化運行還能進一步減少人為錯誤。
人為因素與電信運營商
美國聯邦通信委員會(FCC)開展的調查顯示，對于電信運營商來說，人為或程序因素是導致網絡故障中斷的最嚴重的、增長速度最快的原因。鑒于大多數網絡設備供應商對這個領域長期置之不理，而是去關心硬件穩定性和軟件質量，因此，出現這種情況不足為奇。
JUNOScript Automation為電信運營商解決這個問題提供了寶貴工具，允許供應商遠離特定命令來實施配置變化，從而降低出現語法錯誤的風險，并允許他們從腳本中而不是書面上捕獲運行程序，從而利用整個公司的專業技術資源。早期警告腳本可幫助電信運營商加快故障排除速度、縮短修復周期并提高客戶滿意度。總的來說，JUNOScript Automation不僅能夠幫助電信運營商降低運行成本，而且還能幫助他們提高服務可用性。
自動運行
網絡產品的復雜性和廣泛性意味著即便企業實施單一供應商戰略，通常也會從多個供應商處購買網絡設備。即便產品購自同一家公司，如果是不同的系列，也會經常因為不同的開發原則或收購活動而使用不同的命令行接口和操作系統。因此，企業越來越難以簡化并自動化復雜網絡的運行。
瞻博網絡堅持在其網絡平臺上推行并部署開放標準和接口，旨在簡化這些多廠商網絡的管理和運行工作。例如，將XML(可擴展的標記語言)用作產品配置和狀態信息交付接口。這種結構化的文檔格式能夠跨越不同產品提供一致接口，并簡化與接口互動的應用開發工作。
XML在這個環境中能夠提供多個重要優勢。XML是被廣泛部署的開放標準，具有連接多類不同應用的潛力。這個格式允許用戶跨越不同產品對配置文件和腳本進行輕松比較。全新的JUNOScript Automation功能幫助瞻博網絡進一步增強了對XML格式和接口的廣泛部署。
提前捕獲錯誤
網絡系統越來越復雜，意味著配置錯誤成為網絡故障中斷的主要原因。隨著網絡在帶寬使用和覆蓋范圍方面快速增長，重復錯誤的影響將更加嚴重。您最好能夠在人為錯誤實際發生之前對其實施先行處理。JUNOS平臺上的配置命令使用兩階段流程。首先對備用配置而不是主用配置實施變化，以便逐漸積累配置變化然后在完成后提交它們。管理員可審核變化建議、驗證語法，并修改或丟棄任何不理想的變化，不會對運行中的軟件產生影響。此外，JUNOS軟件中的自動檢查功能能夠驗證句法并檢查沖突，將潛在問題通知給用戶。
最令人惱火的人為錯誤莫過于運行團隊完全可以設法避免的重復錯誤。JUNOS工具包中最新添加了提交腳本，用于最大限度地縮短故障中斷時間。這些腳本通過可定制性增強
了原有工具，允許在激活配置之前對其先行實施問題檢測。您可通過提交腳本解析配置文件以便在激活配置文件之前檢查錯誤和遺漏。公司資深網絡工程師還開發并維護腳本庫，用于確保配置滿足業務和網絡策略的要求。#p#
通過提交腳本捕獲錯誤
下面舉例說明JUNOS提交腳本能夠捕獲的潛在錯誤：
基本狀態測試：確保不會意外刪除編輯接口和編輯協議。
一致性檢查：確保您在編輯層配置的每個T1接口同時也在編輯協議層得到配置。
接口密度：確保不在信道化接口上配置過多的通道。
鏈路擴展：確保SONET/SDH接口的MTU規模永遠不會低于某個值，如4千字節。
輸入策略檢查：確保IGP不使用輸入整個路由表的輸入策略。
交叉協議檢查：確保基于LDP的所有接口都配置用于內部網關協議(IGP)，或者確保基于IGP的所有接口都配置用于LDP。
除發送警告消息或拒絕提交活動外，腳本還能修改或擴展配置。您可將所需的一組基本變量擴展到整個復雜配置中，從而確保跨越多個產品提供一致性。所有這些功能都使用XML文件和命令格式，因此具備開放性及可擴展性，能夠與客戶及第三方應用互操作。
在腳本運行之后、驗證好的配置被激活之前，JUNOS軟件將拷貝正在運行的配置，并將其保存在能夠容納50個先前配置的檔案中。JUNOS軟件還提供可選的確認工具。開啟后，路由器要求在新配置被激活后的特定時段內運行確認命令。如果路由器沒有接到確認消息，將自動重新激活以前的配置。管理員也可通過回退命令手動重新激活檔案中保存的任何配置，快速恢復到最初工作狀態。
搶先發現輕微錯誤，防止它們演變成重大錯誤錯誤的層疊效應是復雜系統的主要特征之一。小問題可快速演變成重大問題。因此，JUNOS運行腳本允許網絡工程師自動實施早期警告系統，以便檢測出新問題，采取適當措施來避免問題激化，并使系統快速恢復正常運行，而不是坐等小問題演變成大問題，觸發警報并向網絡操作人員發出通知。
運行腳本與提交腳本使用相同的軟件機制，但由系統日志事件觸發，不是由配置提交事件觸發。運行腳本也可定期運行，對狀態指示器、網絡連接和其他狀態指示器進行檢查。當腳本檢測出CPU利用率過高或者存在被丟棄的虛擬專網(VPN)連接等潛在問題時，將會采取一系列措施，如發送通知、檢查其他狀態指示器以及關閉低優先級程序等，甚至能夠更改路由器配置。運行腳本也可填充特定的MIB變量，允許它們與SNMP管理系統協作，從而對特定產品實施粒度更細的監控，而不是在整個系統上使用通用的閾值。
JUNOS腳本中包含由不同的事件策略所驅動的大量潛在條件。If-then-else構造允許它們擺脫簡單的被動響應機制，被特定條件觸發后，腳本將對其他的狀態指示器和變量進行評估、向操作人員發送高級通知、甚至采取適當行動。這些早期警報使網絡操作人員能夠更自信地診斷和解決新出現的問題，從而幫助縮短網絡故障中斷時間。
最大限度地延長運行時間
JUNOScript Automation提供靈活的腳本編制功能，允許客戶通過配置的定制驗證、故障排除以及特定條件的自動響應機制來提高網絡運行效率。這項功能允許用戶診斷網絡故障中斷的原因并據此編制腳本，以防此類故障再次出現或者在逐漸縮短故障持續時間，從而做到持續改進。
JUNOS工具包中的這些新工具如何影響網絡故障中斷?隨著腳本庫的構建以及在組織內外部的共享，網絡故障中斷將得到大幅度改進。與此同時，Lake Partners Strategy Consultants近期開展的調查也揭示了避免網絡故障中斷的某些潛在因素。
Lake Partners采訪了122名客戶，旨在了解他們在網絡中部署的產品類型、所用的操作系統以及具體的網絡運行行為。調查發現，路由器對網絡運行時間的作用最大，但存在較大差異，具體取決于操作系統。
下面，我們來具體介紹Lake Partner調查中涉及到的運行任務。監控網絡狀態和產品參數的操作約占總體操作時間的20%。據回答人報告，運行JUNOS軟件的網絡產品所需的監控時間比其他軟件短25%。構建運行腳本能夠進一步自動執行重復的監控任務，從而進一步減少監控活動。
據回答人稱，故障排除操作的時間占所有核心路由操作的21%。據調查，JUNOS軟件的一致性和模塊性能夠將故障排除時間和意外事件的發生頻率降低54%。早期警告腳本以
及對已知事件的一致響應(如CPU使用高峰或VPN故障)能夠進一步縮短故障排除時間，并降低意外事件的發生幾率。
參加調查人員還報告說，與其他軟件相比，在網絡設備上運行JUNOS軟件將意外事件的頻率平均降低了24%，并將故障持續時間平均縮短了30%。用于配置變化和輕松回退到原有配置狀態的提交程序功不可沒。JUNOS腳本的增強功能可進一步減少意外事件的頻率并縮短故障持續時間。提交腳本能夠根據網絡策略驗證配置變化并且跨越多個產品將一系列關鍵輸入一致地擴展到復雜的配置命令中，從而大幅度減少因人為錯誤導致的意外事件的數量。
表1：JUNOS軟件對意外事件的頻率和持續時間的影響(Lake Partners, 2007)
“JUNOS的模塊性確實能夠起到幫助作用……瞻博網絡允許系統持續運行，不受操作的影響。”
——Lake Partners培訓部IT總監《操作系統如何提高網絡效率》，2007年。
總結
網絡的覆蓋范圍和速度都在不斷提升，從而擴大了網絡故障中斷的影響。鑒于人為因素是導致網絡故障中斷的主要原因，因此，從人為錯誤中吸取經驗教訓并提高復雜網絡的管理能力將有助于大幅度提高網絡可用性。
JUNOS軟件采用模塊化設計并遵循嚴格的開發流程，為您持續改進系統方法，在復雜的網絡中考慮人為因素奠定堅實基礎。最新的JUNOScript Automation功能便是在這個基礎上構建的。企業和電信運營商可利用資深員工捕獲信息，并通過對以前的故障實施根源分析來開發腳本，用于降低故障的重復發生率。早期警告腳本能夠及早捕獲輕微問題，以防它們演變成嚴重問題，并使網絡操作人員能夠有更充裕的時間通過更多的選項來響應問題，從而有效降低網絡故障中斷的發生頻率并縮短持續時間。企業和電信運營商可利用這些經驗的積累來編制腳本庫，從而自動檢測并解決問題。縮短網絡的監控和故障排除時間允許企業和電信運營商將更多時間用在有助于提高競爭力的戰略性創新活動上。
隨著企業將不斷積累的網絡經驗轉變成腳本，他們將能夠與其他企業交換知識或者利用其他企業積累的專用或通用腳本庫。網絡操作人員將不再受限于公司內部知識，而是能夠利用更廣泛的大社區來獲取優勢。基于JUNOS平臺的網絡將迎來網絡運行時間的持續改進周期，滿足高績效企業對高性能網絡的需求。
【編輯推薦】
