[[151855]]

分享人：

　　蘇永華：盛大游戲高級研究員，負責盛大游戲及G云網(wǎng)絡(luò)架構(gòu)規(guī)劃及運維。

　　在此之前先后就職于中國郵政負責綠卡系統(tǒng)運維、騰訊公司負責數(shù)據(jù)中心的建設(shè)及規(guī)劃。在網(wǎng)絡(luò)、數(shù)據(jù)中心規(guī)劃、建設(shè)方面擁有比較豐富的經(jīng)驗。

　　分享實錄

　　目前市面上的云產(chǎn)品層出不窮，對于用戶來說選擇一款適合于自己業(yè)務(wù)的云至關(guān)重要。這要求用戶選擇的云產(chǎn)品除了與自己的業(yè)務(wù)需求契合度高之外，還要運行穩(wěn)定、可用率高。

　　對于各種云平臺來講除了技術(shù)上的差異外，有一點是相同的，他們的資源都是部署在IDC機房和運營商網(wǎng)絡(luò)上的。因此選擇一個穩(wěn)定的IDC和網(wǎng)絡(luò)供應(yīng)商來承載各自的云平臺是各云服務(wù)提供商的首要任務(wù)。

　　之前力哥已share過G云COO馮總的相關(guān)IDC選擇的文章，在文中著重對個運營商網(wǎng)絡(luò)和節(jié)點做了闡述，因此，我會在其他方面多說一點，經(jīng)驗不足支持請大家多多包涵。

　　選擇運營商骨干節(jié)點所在地區(qū)的IDC、網(wǎng)絡(luò)一般為單線，電信和聯(lián)通骨干節(jié)點所在地一般都是省會城市，IDC和網(wǎng)絡(luò)普遍具有以下特點：

　　1.建設(shè)等級高，基礎(chǔ)設(shè)施好：所建設(shè)的IDC等級相對較高，屬于運營商4星級以上機房，電力、空調(diào)、柴發(fā)等基礎(chǔ)設(shè)施都具有N+1或N+N的冗余，高可用性較好。一般不會因基礎(chǔ)設(shè)施問題導(dǎo)致云平臺服務(wù)小時級別的中斷。

　　2.運維經(jīng)驗豐富、運維力量強：由于是骨干節(jié)點，IDC和網(wǎng)絡(luò)的重要性較強，運營商會配備本區(qū)域最富有經(jīng)驗的維護人員團隊，因此無論基礎(chǔ)設(shè)備問題還是網(wǎng)絡(luò)方面的問題，均可以得到比較迅速的定位或者協(xié)調(diào)資源來解決。

　　3.網(wǎng)絡(luò)接入層級高、擴展方便：網(wǎng)絡(luò)方面，骨干節(jié)點地區(qū)IDC一般一跳就會至省級或集團骨干網(wǎng)，甚至有的重點IDC核心設(shè)備直連骨干網(wǎng)C級設(shè)備。與其他地區(qū)相比減少了很多中間傳輸線路，降低了故障率且在帶寬擴展性也非常的便利。

　　4.運營規(guī)范、服務(wù)到位：與其他地區(qū)相比運營IDC的時間都比較長而且有比較規(guī)范和完善的SLA，在服務(wù)方面比較到位。可以為客戶省卻大量的前期溝通成本。

　　從客戶群體來看排名靠前的互聯(lián)網(wǎng)企業(yè)例如BAT等都在這些地區(qū)有大量的部署，經(jīng)過BAT對運營商服務(wù)質(zhì)量、IDC基礎(chǔ)條件、運營規(guī)范等方面的推動，運營商在服務(wù)意思和安全防范上無論從橫向還是縱向來講都是比較領(lǐng)先的。

　　G云部署在南京、上海、天津、廣州等地機房都屬于此類型的IDC，IDC和網(wǎng)絡(luò)運行多年都非常平穩(wěn)，每年基本可達到99.95%的可用率。

　　內(nèi)容包括三個主題：

　　◆BGP機房和網(wǎng)絡(luò)的選擇

　　◆BGP在G云中的應(yīng)用

　　◆墨菲定律對運維的啟示

　　一、BGP機房和網(wǎng)絡(luò)的選擇

　　BGP網(wǎng)絡(luò)融合了三大運營商甚至更多運營商線路，既可以解決國內(nèi)運營商之間互聯(lián)互通問題，也有效解決了有些業(yè)務(wù)對于多IP多線路架構(gòu)上的不支持。因此，對于用戶在不同時間段多運營商無縫接入的手游等類型業(yè)務(wù)特別適合。但是因BGP網(wǎng)絡(luò)融合了多運營商線路，故對于網(wǎng)絡(luò)故障率和故障后產(chǎn)生的影響都增大了很多，選擇一個比較靠譜的BGP機房和網(wǎng)絡(luò)非常重要!

　　對于BGP實現(xiàn)方式來講，國內(nèi)95%以上的BGP線路都不是全網(wǎng)穿透式BGP，一部分是與單個運營商網(wǎng)內(nèi)BGP廣播互聯(lián)，一般是與運營商進行靜態(tài)廣播完成的；有的線路是采用本地運營商的資源，有的則是通過長途鏈路從外地引入至本地的。因此不同的方式、不同的線路資源對于網(wǎng)絡(luò)的可用性、價格都影響較大。云平臺對BGP機房和網(wǎng)絡(luò)的選擇主要注意以下幾個方面：

　　1.BGP機房的選擇---機房等級高、基礎(chǔ)設(shè)施有冗余

　　國內(nèi)目前有能力承建IDC并很好的對外服務(wù)的運營商除三大基礎(chǔ)運營商外，僅有世紀互聯(lián)、鵬博士、萬國數(shù)據(jù)等少數(shù)運營商有實力。其他的二級運營商一般都是租用或與基礎(chǔ)運營商合作的方式來發(fā)展BGP機房業(yè)務(wù)，為了降低成本有些運營時間較久或建設(shè)等級不高的機房會推向市場。這些機房的基礎(chǔ)設(shè)施都比較老化甚至一些關(guān)鍵設(shè)施如UPS等都無冗余，運營隱患非常大，因此在選擇BGP機房時要注意IDC運營的年限、建設(shè)的等級和關(guān)鍵基礎(chǔ)設(shè)施的冗余。

　　2.BGP網(wǎng)絡(luò)的選擇---覆蓋好、本地線路資源

　　目前BGP網(wǎng)絡(luò)覆蓋全國資源較好的的確是北京，北京的基礎(chǔ)運營商相對比較開放也是BGP網(wǎng)絡(luò)發(fā)展和運營最好的地區(qū)。廣東地區(qū)發(fā)展次之。為保證BGP網(wǎng)絡(luò)的品質(zhì)，最好選擇北京當?shù)鼗A(chǔ)運營商廣播接入的運營商。二級運營商為了節(jié)省成本或規(guī)避當?shù)剡\營商的接入限制，有些線路資源從河北等地調(diào)度至北京，或把北京等地的資源調(diào)度至外地使用。除了造成延時大增外，還會有長途鏈路傳輸上的不可靠等隱患。這些都可以通過網(wǎng)絡(luò)檢測工具ping、tracert路由分析來判斷線路資源是否屬于本地。

　　3.客戶群體高端或垂直，防Ddos攻擊能力強

　　BGP網(wǎng)絡(luò)因成本、資源等原因抗Ddos攻擊能力比較弱，目前行業(yè)內(nèi)BGP機房防Ddos的能力一般在5G左右，目前國內(nèi)的攻擊成本較低，因此現(xiàn)在網(wǎng)絡(luò)遭受Ddos等安全攻擊已成為常態(tài)。對于BGP運營商來說機房內(nèi)客戶的規(guī)模和其業(yè)務(wù)的合規(guī)性對于減少Ddos攻擊數(shù)量有很大作用。

　　目前G云平臺一般選擇散戶少、垂直用戶多的BGP運營商作為合作伙伴，傳奇、九陰等眾多對端游、手游對網(wǎng)絡(luò)要求較高的業(yè)務(wù)都在上面運行的良好。

　　二、BGP在G云中的應(yīng)用

　　1.BGP簡介

　　BGP是一種路由協(xié)議，目前internet上大型網(wǎng)絡(luò)或者機構(gòu)運行的協(xié)議絕大多數(shù)都是BGP，他協(xié)議傳輸可靠，更新消耗小，而且具備豐富的路由選擇的策略，能夠支持數(shù)十萬甚至百萬路由條路。因此在面臨多出口路徑選擇且路由條路眾多的情景，一般情況下都是選擇使用BGP協(xié)議。

　　2.運營商BGP線路的那些事

　　由于國內(nèi)多運營商的存在及互聯(lián)互通問題，很多公司基于業(yè)務(wù)的特點希望所在的數(shù)據(jù)中心網(wǎng)絡(luò)能夠覆蓋越多用戶越好，且希望架構(gòu)簡單。因此選擇多線路接入的BGP資源成為其必然選擇。就運營商而言目前IDC出口類型主要分以下幾種：　

　　第一種：靜態(tài)鏈路，通過靜態(tài)路由與運營商互聯(lián)，運營商PE設(shè)備為城域網(wǎng)級別設(shè)備，這種方式最簡單，而且價格便宜，一般為十幾元至一百多元每兆，缺點是：無法穿透其他運營商且無法根據(jù)路由權(quán)值做路由選路策略。　　

#p#

　　第二種BGP廣播鏈路：與運營商進行對等互聯(lián)BGP連接，PE設(shè)備為骨干設(shè)備。需要擁有自己的IP地址和AS號，優(yōu)勢是，可以接受運營商的國內(nèi)所有路由及發(fā)送自己的公網(wǎng)業(yè)務(wù)路由，豐富路由策略權(quán)值做路由調(diào)整使用。

　　這種方式鏈路租費和廣播費用昂貴，且需要強大的運營商關(guān)系。每兆價格在幾百元甚至千元。

　　第三種：靜態(tài)代播，靜態(tài)鏈路的衍生版本，通過靜態(tài)路由與運營商互聯(lián)，接入PE設(shè)備為城域網(wǎng)級別設(shè)備，運營商用靜態(tài)路由指入互聯(lián)，并用OSPF重分布將靜態(tài)路由廣播至全網(wǎng)，要求接入商必須有自己的ip地址。

　　此種方式在操作時，在靜態(tài)鏈路的價格上還要付費給運營商IP廣播費用一般為十幾至幾十元每IP、每月。此種方式也無法靈活的根據(jù)路由的權(quán)值做路由的選路。

　　各機房間采用BGP協(xié)議，方便路由靈活、敏捷的切換及多協(xié)議的擴展。對于一些較為邊緣的機房則采用gre over ipsec的方式接入G云骨干網(wǎng)核心。G云機房還在根據(jù)業(yè)務(wù)的發(fā)展，與運營商進行BGP互聯(lián)，建設(shè)自有的BGP出口資源。

　　由于BGP協(xié)議和資源使用方面相對都比較成熟了，相關(guān)的優(yōu)缺點和走過的艱辛就不在此多說，因此在此僅僅與大家分享一下機房之間gre over ipsec備份線路互聯(lián)時值得注意的點：

　　1.MTU問題，機房間做了GRE IPSEC后，數(shù)據(jù)包頭大小是有變化的，需要考慮GRE和ipsec對包頭的大小的影響，因此在內(nèi)網(wǎng)傳輸數(shù)據(jù)或業(yè)務(wù)使用時一定要注意數(shù)據(jù)包分片問題，及時調(diào)整系統(tǒng)或者網(wǎng)絡(luò)設(shè)備的MTU值。

　　2.Ipsec加密對網(wǎng)絡(luò)設(shè)備是有消耗的，一般來說對數(shù)據(jù)進行des加密，對于cisco3945E設(shè)備，其效率是3des的4倍，當cisco 3945E運行 IPsec時；單向加或解密延時2.5ms，In+Out加解密延5ms，兩端雙向10ms ，ciscoASR路由器IPsec無延遲。Cisco 3945E 采用ESP-DES加密時內(nèi)存占650M，CPU 50%。因此請大家在實施是根據(jù)數(shù)據(jù)中心在內(nèi)網(wǎng)中的定位和需求靈活的對設(shè)備進行選型。

　　三、墨菲定律對運維的啟示

　　二十世紀西方文化中最杰出的三大發(fā)現(xiàn)就是墨菲定律、帕金森原理、彼得定理了，其中墨菲定律的主要意思是只要事情存在問題，他總會發(fā)生。我和很多朋友在數(shù)據(jù)中心和網(wǎng)絡(luò)、系統(tǒng)崗位掙扎多年，對此感受頗深，也有相當多的案例可以佐證。先說一個近期的案例，一朋友在機房搬遷時，大部分工作都操作完畢，最后僅僅是Ddos安全設(shè)備未與安全同事確認部署效果，加上連續(xù)奮戰(zhàn)太累就先回去休息了，以為安全攻擊是較小概率事件，因此即時有問題，下午也可以很快搞定。結(jié)果在上午休息過程中，該機房某款業(yè)務(wù)就遭受到數(shù)次了大流量Ddos攻擊，導(dǎo)致整機房業(yè)務(wù)受損嚴重。

　　近來的Ctrip事件、青云、阿里云運營事件的產(chǎn)生從某種角度來說都有墨菲定律的影子。因此對于我們來講主要有以下啟示：

　　1.重視細節(jié)、重視流程

　　無論做變更操作還是版本發(fā)布及其他運維操作，在細心的同時嚴格按照流程和規(guī)范操作，比如小到變更流程、回退操作，發(fā)布流程大到運營管理和項目管理，使規(guī)范流程的意識深深的烙印在心里。無論是人為操作或者系統(tǒng)自動操作都有出紕漏的可能，按照規(guī)范流程操作可以有效的保護我們，使我們免于背負不必要的黑鍋。

　　2.要有樂觀積極心態(tài)，千萬不能受負面情緒影響

　　在做運維過程中，任何操作都是戰(zhàn)戰(zhàn)兢兢、小心翼翼，若沒有積極樂觀的心態(tài)和強大的自信心，估計做不了幾年運維，精神上就無法負荷了，肯定會被壓垮，從而會導(dǎo)致更大的錯誤出現(xiàn)，乃至影響到自身的生活。因此，我們必須要有積極的心理暗示，強大的自信心來面對我們的工作，甚至客戶、老板，只有這樣才能在工作中游刃有余、穩(wěn)步推動。也希望各位做運維的兄弟能夠團結(jié)起來，進行資源、信息、知識共享降低運維的門檻。

　　提問環(huán)節(jié)：

　　問題1：運營商BGP線路里面，類型3和1相比的優(yōu)勢在哪？

　　答：類型1是目前單線或者雙線機房常用的方式就是與運營山谷進行靜態(tài)路由方式互聯(lián)就是我們所謂的雙線雙IP，類型3是所謂的假bgp，即一個IP分別讓幾個運營商進行靜態(tài)網(wǎng)內(nèi)代播，運營商之間不能穿越。

　　問題2：有無做過TCP OVER ANYCAST這種網(wǎng)絡(luò)架構(gòu)的測試？

　　答：暫時沒有進行測試，后續(xù)會有計劃對DNS over anycast的技術(shù)進行研究，屆時可以一起交流。

　　問題3：你們租機房的適合會考慮備份系統(tǒng)有效性嗎?

　　答：備份系統(tǒng)有效性更多是從業(yè)務(wù)層面驗證，對于基礎(chǔ)性機房選擇的話更多的我們會從基礎(chǔ)設(shè)施(電、制冷、柴發(fā))和網(wǎng)絡(luò)穩(wěn)定性去考慮。目前對于重要的業(yè)務(wù)系統(tǒng)例如計費認證類型的一般在同城都有災(zāi)備，而且同城各機房間會采用裸光纖進行環(huán)狀互聯(lián)，以保證關(guān)鍵數(shù)據(jù)傳輸?shù)母呖捎眯浴?/p>