嘉賓介紹

　　李洪亮，奇虎360網(wǎng)絡運維負責人。2007年加入360公司，目前已有11年的網(wǎng)絡與網(wǎng)絡安全工作經(jīng)驗，擁有CISSP和CCNP證書，帶領團隊實現(xiàn)了奇虎360網(wǎng)絡架構從1000臺服務器到10萬臺服務器的跨越式發(fā)展。

　　在我2007年加入360公司的時候，360公司的服務器數(shù)量是1000臺，經(jīng)過不同階段的發(fā)展，現(xiàn)在已經(jīng)達到了10萬臺服務器的規(guī)模。下面，我按照公司服務器發(fā)展的不同階段，分享在網(wǎng)絡建設和運維過程中遇到的哪些挑戰(zhàn)、陷阱、經(jīng)驗和收獲。

[[147570]]

　　階段一、1-1000臺服務器規(guī)模

　　1.需求：奇虎前期做的是社區(qū)搜索，規(guī)模不大。業(yè)務部門的需求是網(wǎng)絡能夠通暢運行就可以。

　　2.人員：沒有專職的網(wǎng)絡工程師

　　3.架構：核心與接入的二層結構，我們采用的是星型結構。

　　4.挑戰(zhàn)：工作量大，各方面的工作都要接觸。

　　5.陷阱：有缺陷的網(wǎng)絡設備，不靠譜的機房。

• 如果你買到有缺陷的網(wǎng)絡設備，就會對網(wǎng)絡造成很大的運行壓力。
• 如果碰到不靠譜的機房，從我的經(jīng)驗來看，機房泡水出現(xiàn)的大概頻次是3年左右。大家特別需要注意空調(diào)的冷凝水漏水，它造成的損害很大。

　　6.經(jīng)驗：綁定一家有實力的設備廠商，特別是對于體量不大的小型公司。

　　階段二、1000-5000臺服務器規(guī)模

　　1.需求：高可靠

　　2.人員：專職網(wǎng)絡工程師(CCIE) 大于2位

　　3.架構：簡單二層結構/多數(shù)據(jù)中心，其中數(shù)據(jù)中心通過光纖來互聯(lián)。

　　4.挑戰(zhàn)：工作量大，因為業(yè)務部門的需求增加，工作壓力加大。

　　5.陷阱：

• 業(yè)務復雜度挑戰(zhàn)網(wǎng)絡設備，比如業(yè)務部門根據(jù)業(yè)務發(fā)展的實際對于網(wǎng)絡提出特殊要求。
• 經(jīng)常中斷的光纖，需要選擇靠譜的供應商。比如某年7月份斷了22次光纖，這種狀況如出現(xiàn)，會讓網(wǎng)絡運維人員崩潰。
• 網(wǎng)絡斷了竟然不知道，這是很大的挑戰(zhàn)。網(wǎng)絡運維部門需要早于業(yè)務部門發(fā)現(xiàn)網(wǎng)絡問題。

　　6.經(jīng)驗：

• 與廠商溝通業(yè)務場景, 一定要選擇有余量的網(wǎng)絡設備。

　　   千萬不要把網(wǎng)絡設備的數(shù)據(jù)指標范圍卡的過于嚴格。

• 選擇靠譜的傳輸和光纖供應商
• 搭建網(wǎng)絡監(jiān)控和報警平臺

　　階段三、5000-10000臺服務器規(guī)模

　　1.需求：高可靠/不丟包

　　2.人員：網(wǎng)絡工程師/網(wǎng)絡架構師大于5人，這個階段就要融入至少一個網(wǎng)絡架構師的角色。

　　3.架構：大規(guī)模數(shù)據(jù)中心/異地多數(shù)據(jù)中心。這里提到的大規(guī)模數(shù)據(jù)中心的一個數(shù)據(jù)中心要有2-3千臺服務器規(guī)模。

　　4.挑戰(zhàn)：

• 工作量巨大，壓力山大。這個階段單人的工作量壓力***，如通過這個階段，你就會成為部門精英了。
• 人員誤操作增多。

　　   隨著業(yè)務需求增多，網(wǎng)絡運維人員相對也是增多，必然增加人員誤操作發(fā)生的幾率，一旦出現(xiàn)情況，網(wǎng)絡運維人員可能沒法向業(yè)務部門交代。

• 網(wǎng)絡設備故障增多

　　5.陷阱：業(yè)務沖擊網(wǎng)絡設備極限，公司上線搜索，Hadoop集群，存在很大概率出現(xiàn)丟包現(xiàn)象。

　　一個搜索需求的提出，會在一個集群的幾百臺服務器上進行request，產(chǎn)生結果會同時到達端口，遠遠超過10毫秒1.25MByte的端口處理上限。在這種情況下，如果交換機buffer下的話，肯定會出現(xiàn)丟包現(xiàn)象，這個情況就是我們遇到的一個“坑”。

　　6.經(jīng)驗：

• 擴充人員規(guī)模。

　　   隨著異地業(yè)務的開展，你的人員需要頻繁地出差。可是出差的工作效果不高，時間浪費在路上，還造成溝通成本增加。這個問題的解決辦法就是擴大人員規(guī)模。

• 找經(jīng)驗豐富的網(wǎng)絡架構師

　　   網(wǎng)絡架構師建議從5萬臺服務器規(guī)模以上公司來物色，可以節(jié)省很多試錯成本和快速找到合適資源，你懂得!

• 明確日常操作規(guī)范，避免誤操作發(fā)生的幾率。
• 專業(yè)的網(wǎng)管軟件。

　　   特別關注日常幾百臺網(wǎng)絡設備的狀態(tài)情況，比如電源、風扇和溫度，***能夠時刻關注這些數(shù)據(jù)的狀態(tài)，出現(xiàn)情況可以及時報警。

• 整理準確的設備登記列表，這是上市審計的必要工作，要求詳細記錄每個設備的機器號、場地和設備的運轉信息等。

　　   如果前期不做好這個工作，當網(wǎng)絡設備的規(guī)模達到1萬臺時，后期再做設備登記的工作將非常繁重，我們就經(jīng)歷了大概有小半年的時間來理清這些列表。如果有上市需求的公司，一定注意提前把這個工作做好。

#p#

　　階段四、10000-50000臺服務器規(guī)模

　　公司推出了搜索，業(yè)務蒸蒸日上。

　　1.需求：穩(wěn)定/靈活

　　2.人員：明確團隊分工，包括建設、架構和運維三方面。

　　3.架構：超大規(guī)模數(shù)據(jù)中心，實現(xiàn)多地多點大帶寬互聯(lián)。

　　4.挑戰(zhàn)：

• 業(yè)務對網(wǎng)絡的穩(wěn)定提出更高的要求，網(wǎng)絡不能老斷，不能出現(xiàn)丟包的情況。

　　   因基數(shù)增加導致設備故障頻發(fā)，2014年360損壞了十幾臺網(wǎng)絡設備，這種情況還是很嚴重。縮短網(wǎng)絡設備的故障修復時間對網(wǎng)絡運維工程師是一個挑戰(zhàn)。

• 上市審計

　　5.陷阱：廠商激烈競爭會給網(wǎng)絡運維工程師帶來壓力。

　　6.經(jīng)驗：

• 明確網(wǎng)絡設備測試標準

　　   各家廠商的競爭白熱化，出現(xiàn)設備間的對比，***的解決辦法是明確網(wǎng)絡設備的測試標準，所有的設備需要通過我們的測試標準才可以進入采購環(huán)節(jié)。

• 在架構設計時消除單點故障，包括設備的故障，甚至光纖和路由的故障。

　　   多個路由經(jīng)過一條光纖，如遇到野蠻施工，會出現(xiàn)多點中斷，造成的影響較大，所以網(wǎng)絡工程師要通過技術保障避免這種情況的發(fā)生。

• 制定備品備件庫和應急預案，把可能存在故障風險的設備進行列表，逐一排查，或者用其他設備進行替代，放置到備件庫。
• 網(wǎng)絡建設運維自動化提上日程。

　　階段五、50000-100000臺服務器規(guī)模

　　公司完成上市，有充足的資金來進行網(wǎng)絡的基礎建設，也有更多的業(yè)務去發(fā)展。

　　1.需求：彈性/前瞻/可視

　　(1)彈性業(yè)務部門出現(xiàn)對網(wǎng)絡的要求不明確現(xiàn)象。網(wǎng)絡運維人員需要自發(fā)考慮網(wǎng)絡彈性，更好適應業(yè)務的發(fā)展，或者根據(jù)不同部門業(yè)務發(fā)展情況的不同，進行內(nèi)部設備的部署調(diào)整。

　　(2)前瞻作為網(wǎng)絡架構師或者網(wǎng)絡運維負責人，需要預知業(yè)務的發(fā)展方向，并提前進行網(wǎng)絡準備，安排好工作的順序。

　　(3)可視業(yè)務部門對于網(wǎng)絡的運行情況實現(xiàn)實時可見，比如某業(yè)務的日常流量分布情況等。

　　2.人員：團隊分工/梯隊建設

　　團隊分工更加明確，需要進行人員的梯隊建設。

　　3.架構：

• 超大規(guī)模的云數(shù)據(jù)中心

   　　一個云數(shù)據(jù)中心定位在1萬臺以上的服務器規(guī)模。

• 多地多點光傳輸網(wǎng)絡
• 自有BGP業(yè)務

　　4.挑戰(zhàn)：

• 對業(yè)務和行業(yè)的發(fā)展方向有前瞻能力
• 業(yè)務彈性的支持

　　5.陷阱：SDN(服務定義網(wǎng)絡)

　　SDN的概念很火，個人認為有誤導的嫌疑;廠商為了做SDN而做SDN，沒有明確的目的性。這塊建議其他公司在做SDN的時候，提前考慮清楚業(yè)務對于網(wǎng)絡的真正需求是什么，然后現(xiàn)有的網(wǎng)絡有哪些是滿足不了業(yè)務的需求。可以明確看到云，網(wǎng)絡虛擬化的需求，傳統(tǒng)的網(wǎng)絡是滿足不了的，需要通過某種技術放到SDN下面去滿足，這才是一個比較好的發(fā)展方向。

　　6.經(jīng)驗：

• 通過自動化工具提高人員工作效率
• 提供網(wǎng)絡可視化接口，提前打好基礎，更好地看到網(wǎng)絡運營的情況。
• 更細粒度的故障監(jiān)控，考量是否做到精細化運維的一個點。
• BGP路由優(yōu)化

　　   當你的路由在國內(nèi)的運營商(中國移動、中國電信和中國聯(lián)通)網(wǎng)絡上跑起來以后，通過測試看起來網(wǎng)絡是通的，但是國外運營商的網(wǎng)絡接口可能存在問題，導致國外的用戶訪問不了360的BGP網(wǎng)絡資源。這里有兩個工具推薦使用，一個是Looking glass，大的運營商可以通過這個工具從他的AP網(wǎng)絡查看你的BGP的路由收取情況，如果沒有獲得這塊服務，需要跟運營商進行溝通。比如我們跟美國Sprint就出現(xiàn)過這個問題，業(yè)務運營一段，有用戶反映我們的網(wǎng)絡有問題。另一個工具是RADb，需要根據(jù)IP地址進行登記，歐洲的小運營商比較認可這個工具，費用大概一年400美元。

　　總結與討論

　　1.老板是否重視網(wǎng)絡團隊?

　　開玩笑的說，老板會在網(wǎng)絡出問題時，重視網(wǎng)絡。其實，老板本來就應該更關注公司業(yè)務，因為網(wǎng)絡是為了滿足公司業(yè)務的發(fā)展規(guī)模而生的，網(wǎng)絡運維工程師的責任就是要提供一個優(yōu)質(zhì)的網(wǎng)絡。

　　2.把網(wǎng)絡做好是否很難?

　　領導對網(wǎng)絡的重視程度是一個方面，拋開網(wǎng)絡基礎來說，把網(wǎng)絡做好不是很難，只要做好兩件事就好，一個是找到靠譜的人，一個是找到靠譜的設備。相對其他事情都簡單一些。