?[[318096]]?

 本文根據中國銀行數據中心劉揚清老師在 GOPS 全球運維大會 2019 · 深圳站分享整理而成。

一、什么是反脆弱

什么是反脆弱?反脆弱的思想源于《黑天鵝》的作者塔勒布提出的新思想，他將黑天鵝的想法進行了提升，主要討論如何應對“黑天鵝”。作者想闡述的理論是在面對黑天鵝時如何在黑天鵝中獲利。

??

這本書很多專家給了非常高的評價，比如《思考快與慢》的作者丹尼爾?卡尼曼——“這本書改變了他對世界如何運作的看法”;樊登——“帶來了心靈和生理上的震撼”;邏輯思維羅振宇——“這是一本未來生存手冊”。

這個世界充滿很多不確定性，前段時間發生的波音 737 事件。為了防止飛機起飛時往上沖，刻意壓低飛機機頭，這本身是一個很好的安全措施，但是由于飛機的監控點發生故障，導致程序輸入的信息錯誤，自動化的程序沒有按照正常處理，本來是不確定的事件，結果導致嚴重的事故。

再說另一件事，2018年微軟的數據中心遭雷劈而導致服務中斷24小時，造成了很大影響。

英國脫歐，很多都人預計不會脫歐，就投脫歐好了，反正其他人都會投不脫歐，結果：脫歐了!

??

什么是脆弱?在面對不確定性事件時，如果會造成很大損失，這就是脆弱。中國經濟的高速發展讓很多人實現了中產，人民群眾覺得自己的經濟水平提高了。

2018 年有一篇帖子《流感下的北京中年》，其實帖子作者的家境不錯，但由于老丈人得了突發流感進了ICU，20多天花了幾十萬，最后他的老丈人也不幸去世了。

如果他老丈人繼續住的話可能就會賣房，如果再強一點可能會對他的家庭經濟造成很大的損失。

看起來他是一個中產，但在面對不確定事件時，他的家庭經濟是比較脆弱的，因為他并未做很多可以抵御風險的措施。

2008 年的次貸危機，由于當時美國經濟不斷放次貸，風險不斷擴大，雷曼兄弟有一筆賬收不回來，結果導致雷曼破產，引發整個美國經濟危機，進而因美國經濟崩潰導致全球經濟危機。這是小事件引發的大損失。

??

脆弱的反義詞是什么?一般我們會想到堅韌，比如汶川地震的“豬堅強”。脆弱的反義詞不是堅韌，堅韌可以保證我們不受傷，可以在糧食災荒時活下來，但這并不是脆弱的反面。

我們強調的是反脆弱，反脆弱的含義是當我們面對隨機事件沖擊時，獲得的有利結果要大于不利結果，當有特殊情況發生時不但不受傷反而變得更好。

相信大家經常聽到一個詞“機遇與挑戰并存”，如果把挑戰處理好可能會是一個機遇，如果沒處理好對人生可能是一個打擊。

如何應對不確定性?傳統做法是加強預防措施，研究意外可能造成的損失，推測最壞的情況是什么，以此做出準備。

??

反脆弱的思路不同，它對于意外和不確定性并不排斥，也不過度預防，而是相信意外和不確定性是人生的常態。意外肯定會發生，我們要做的是直接應對。我們希望的是，在面對不確定性時是得到一些，而非失去更多。

二、云時代的脆弱性

1、云計算時代-風起云涌

云計算時代的特殊性，云計算、大數據、人工智能最近十年的發展對傳統行業的沖擊非常大。有人說這是非常好的時代，因為技術飛速發展，對傳統企業來說這是最壞的時代。

??

對于傳統的銀行而言，過去由于政策優勢可以躺在政策上吃飯，隨著移動互聯網的發展，對傳統銀行的沖擊是非常大的，尤其是余額寶出來以后。余額寶類似于通過發理財的方式吸納存款，這對銀行來說有很大的沖擊。

Brettt King 寫了《BANK 4.0》，其中提到 Banking Everywhere，never at a bank。金融以后在任何場景、任何地方都會有，但是以后可能就沒有銀行這個詞了。

前段時間剛發了虛擬銀行的牌照，大家可以直接通過互聯網的方式創辦全新的銀行，不需要有網點。發信用卡、存款、貸款直接在網上做。

現在發工資時也只是銀行帳號多了一串數字，使用余額寶、支付寶消費也只是從一個地方挪到另外一個地方，大家身上都不帶錢包，很多朋友可能有幾年沒有去過銀行柜臺。

金融服務肯定會和大家結合在一起，但是銀行可能就沒有了，所以傳統銀行也在反思，四大行除了有國家政策保護沒有任何優勢，危機感很大。

2、云計算時代的脆弱性

??

2019年3月3日，阿里云發生宕機，很多服務受到影響超過 3 小時。大家在網上進行討論，云計算到底靠不靠譜。

圈子里還有一種聲音傳出，宕機的阿里云是在殺死運維行業嗎?聽說整個運維行業可能被干掉。很多運維的老前輩說《運維的恥辱感》，有一個專家寫了《運維的尊嚴》，大家聽過一首歌《運維駱駝》。

有一些專家說“不好意思，殺死運維行業可能沒那么容易”。大家可以看到，云計算服務有脆弱性在里面，運維行業在飛速發展的過程中，脆弱性可能更大。

比如 NoOps 概念，所有基礎環境全都是買AWS，開發版本的自動化部署平臺，通過自服務的方式部署版本，包括監控等等。

它發現我需要再有系統運維人員，開發正常開發程序，全部部署在我的云上。一天幾萬次的變更，運行的非常穩定。真正需要運維的只是十幾個 SRE，開發自動化運維平臺，其他的運維不需要了。

對于公司來說已經可以基本實現 NoOps，運維真的可以被殺死了，這對運維來說是一個警醒。

3、云服務的技術發展

??

現在的系統規模越來越大，以前銀行可能幾臺大機和幾臺小機就夠了，現在分布式。昨天老領導說亞馬遜有 500 萬臺服務器，阿里有 200 萬臺服務器，這個數量級和以前是完全不能比的。

技術架構越來越復雜，以前可能是一個單機，現在虛擬化加上容器，整個應用的復雜度呈指數級增長。

面對故障時實時性的要求越來越高。以前銀行ATM機取不了錢打個電話投訴我們處理，但是一天同時會有多少人在 ATM 機取錢?現在大家用手機隨時隨地進行交易、轉賬，一旦出現問題就會有投訴，如果幾分鐘之內解決不了還會有更大的投訴。比如錢要拿去炒股，影響我賺錢，要賠償損失，這都是真實的案例。

影響程度越來越大。阿里云出現一些小故障可能會導致整個地區的服務器用不了。程序員說這個應該沒什么問題吧，就手工執行了一個配置，結果都掛了，影響很大。

阿里云、AWS、微軟、騰訊、谷歌都出現過故障和問題，我們要做的是怎么去應對。規模化會導致脆弱性指數性增長，系統越復雜越容易導致失控的連鎖性的反應，我們對故障越來越難以預測，什么時候故障會出現，我們是無法預計的。

4、運維人壓力山大

對于運維人來說壓力特別大，監管要求越來越嚴格。在傳統銀行，一個故障超過30分鐘必須向銀監會報備，報備是行長帶著科技老大去解釋，這種壓力會傳導到底下做運維的人，我們會有一個生死線，如果30分鐘之內解決不了可能今年的績效就沒有了。

運維的資源越來越多，傳統銀行好一點5萬臺，互聯網公司百萬臺很正常。故障影響越來越大。

排查問題，以前就幾臺服務器很容易，現在靠人工去查根本不可能。業務要求越來越快，甚至今天上午提出的需求晚上能不能幫我實現，這是非常實際的案例。

5、反脆弱：運維人的反擊

??

我們對服務影響的要求越來越低，挑戰越來越大，如果還按照以前的思路做事情的話，到后來很多人到投產期間要去求神拜佛，求一下觀音。但我們學了新思想：要反擊。我們要相信科學，拒絕迷信。

《七龍珠》當中孫悟空每當快被打死一次，一旦復活都會比以前更強大。我們需要從每次失敗、故障中學習、成長、反擊、復盤。

三、如何提高反脆弱性

??

如何提高反脆弱性：減少不利因素、增加可選擇性、主動理性試錯、增強生物特性。

1、減少不利因素

??

我們首先需要降低自己暴露于負面“黑天鵝”的概率之中。“負面黑天鵝”：可能會大概率出現問題的，或者可能會對你帶來比較大損失。

比如去爬北京的箭扣長城，因為特別險，如果一不小心就會被摔下去。從反脆弱角度來講，大家可以不去爬箭扣，可以去爬八達嶺。

從運維角度來看，負面“黑天鵝”是人工操作，人是最不靠譜的。

大家之前做運維時，靠人去做事情的時候很容易發生錯誤，如果我們能將手工去做的事情自動化，這樣就可以減少由手工操作帶來的負面黑天鵝事件的概率，可以降低人工操作的風險。

微服務拆分，如果我們的業務不是那么大，而且我們的業務訪問量也不是那么多，其實我們完全可以把它當成一個單點服務，我們沒有必要為了微服務而微服務。

微服務以后，把一個大的應用拆成十幾個微服務，這對運維來說成本是大大增多的，如果微服務治理能力和工具沒有跟上，這對運維人來說是災難，根本 hold 不住。

我們要根據我們的業務場景和業務應用特點去看要不要做微服務拆分，如果有必要，像阿里就必須要拆。

普通轉型避免被動。傳統銀行在面對互聯網金融攻擊時會反思，包括我們自己的運維能力研究也一直在按照傳統的方式在做，很可能過幾天傳統銀行就沒有了。

虛擬銀行上市以后，大家的錢都轉到虛擬銀行當中，因為很方便大家的使用。

很多銀行都有了手機銀行，移動支付很方便，但是傳統銀行不去跟進，大家會說中國銀行手機銀行都沒有嗎?于是把錢都轉走了，去了別的銀行。

對于傳統銀行來說要主動轉型，避免自己處于負面“黑天鵝”事件中。

一個系統的反脆弱性，往往來源于若干脆弱的單位和個人，競爭帶來反脆弱性，互聯網金融的發展對傳統金融行業其實是好事，其倒逼傳統金融往前創新。

國家一直在推動金融開放，即使加入WTO這么多年，金融一直是封閉的。

通過互聯網金融的發展、推動、促進，傳統銀行一直在自我迭代和升級，能力也一直在變強。再過幾年我們的能力在與互聯網行業PK時得到了提升，這個時候我們的反脆弱性得到了很大的提高。

2、增加可選擇性

??

杠鈴策略，讓自己避免出現在負面黑天鵝事件，同時又要想辦法把自己擠到正面黑天鵝的收益當中。

我們做理財，比如有100萬元的閑余資金，買余額寶收益低(3%)，另一種買基金，收益率高，但是風險很高，這個時候大家會如何投資?

聽眾：投資完全根據個人對風險的決策，以我的情況為例，我風險承受力比較低，我會把40%、50%投入到高收益的股票，把其他投入到余額寶。如果錢對我只是數字，我會把更多的錢投入到股票當中。

按照杠鈴策略，我們可以先保住本金，把80%、90%的資金放入風險比較低的理財當中，可以用剩下20%的錢投入到有可能帶來很大收益的股票當中。假設20%的錢都沒有了，對我們也還OK。

我們需要兩頭下注，我們在做風險管理時將大量資金放在風險比較小的地方，拿出小部分放在收益可能很大的地方。

杠鈴策略最典型的是創新，我們可以投資創新，通過創新以小搏大。我們現在面臨互聯網發展，現在也能過的下去，如果這個時候能拿出人、精力、資金投資到區塊鏈、云平臺建設、AlOps建設，我們這部分投入即使沒有立刻產生產出，但是對于我們的未來來說就是小投入帶來大收入的地方，我們需要不斷投入到創新當中，這是我們用小的投入來獲取大收益的點。

冗余，高可用架構備份。我們要避免發生單點風險，比如阿里云。阿里云北方區服務器掛了，如果我們提前考慮，我們在騰訊上也部署一個云，如果阿里云出現問題一點問題都沒有。

在阿里云當中我們可以部署一個集群，數據庫做備份，我們在同一個城市會有一個本地備份，同時我們會在異地也建立一個備份，現在互聯網都是多地多中心同時提供服務，一旦某技術中心掛了也不會有影響。

某大廠之前有一個案例，有一個員工把磁盤弄壞了，結果磁盤上的備份數據都找不回來了，有些小公司說我們公司所有的價值都在數據上，要求賠償1000萬元。我們對數據的備份是很關鍵的，如果那個公司的數據不僅備份在騰訊云上，同時也做了異地備份，即使騰訊云掛了，公司業務是不會受到影響。

AB Test 增加用戶的可選擇性，AB Test做的最好的是頭條。它的每一個業務場景和功能都會做兩個版本，同時發布到用戶中，不同用戶看到不同的頁面，根據用戶的反饋決定哪個功能更好，不斷通過這種方式迭代、優化。

頭條通過這種方式增加用戶選擇性，最終實現自己功能的快速迭代和優化，這讓它自己得到了很多正向黑天鵝。

3、主動理性試錯

??

我們需要用開放的態度對待錯誤，錯誤可以帶來進步，同時能夠提高系統健壯性。如果錯誤不夠，我們甚至可以在可控范圍內創造一些人為錯誤。主動理性試錯其實是三個詞：“試錯”認為創作困難和發現錯誤;“主動”即使沒有錯誤主動去做制造;“理性”在可控的范圍內。

持續交付，我們需要快速對用戶體驗進行迭代，以前做需求分析的時候大家把腦子里面的事情想的非常清楚，想的特別明白后再投產部署，但是后來發現用戶根本不買單。我不知道其他人怎么想怎么用，我先投出去一版，先看大家反饋。

臉書當年上新功能時被全網吐槽，扎克?伯格又更新了一版。對于臉書來說，這個功能如果一直在內部研究根本沒有用，只有扔出去給客戶反饋才能知道對還是不對，好還是不好，這其實是一個好的想法，可能是角度不一樣，如果換個角度就能給用戶帶來很好的提高，是騾子是馬拉出來溜溜。

Netflix 混沌工程，系統軟件做到沒有?做到了。于是假設現在有一只猴子來到了機房當中，猴子到機房中做什么事情?把網線拔了，把電源線拔了，你還能不能做到?試過才知道，當然這個事情是在可控范圍內。

從別人的錯誤中學習。人們經常是從自己的錯誤中學習，我摔了一跤我學到了，以后不再摔跤了，但我們更多應該是從別人的錯誤中學習。創業者是非常值得尊重的，因為大部分創業者什么也沒得到，但是卻為別人貢獻了“什么是不可行”的知識。

最近這幾年，中國互聯網發展迅速，這與總理提出萬眾創業有很大關系，大家可以做很多新的事情。活下來的肯定是好的，存在一定有它的價值。失敗的肯定是當時有問題或者不適應，但是這給了其他人指示，這條路不通。

4、增強生物特質

??

任何有生命的物體在一定程度上都具有反脆弱性。人體免疫系統具有非常強的反脆弱性，我們的扁桃體可以防御細菌攻擊我們，白細胞在身體內巡檢，它會清理異常細胞和病毒，它還有很強的學習能力，還能優化自身免疫能力。

比如我們打疫苗，牛痘是跟天花很像的病毒，但是它對人體的傷害非常小，我們注重牛痘以后會讓免疫系統認識天花是病毒，當有天花病毒侵入人體的時候白細胞會把它干掉，所有疫苗都是這種原理，用對身體比較小的錯誤來對大錯誤進行防范。對于運維來說，我們要做好防火墻，要做好異常自愈能力。

提高免疫力的方法有三個：打疫苗，通過刺激形成抗體;休息好，心情好;定期體檢。我們可以利用混沌工程做檢測，我們可以做自動巡檢來檢查身體是否有問題。

??

我們可以利用人工智能和大數據技術實現 AIOps，提升整個系統的生物性，最終我們的目標是無人運維，實現高度反脆弱。神經可以感知外界信息，大腦可以對收集到的信息進行決策后行動。

反饋到運維 AlOps，我們通過大數據技術收集海量信息，感知到數據后會聚在大數據平臺中，我們將這些信息數據進行分析后做關聯影響分析、故障預警等事情，可以跟專家數據庫關聯，針對這個故障應該采取什么方式解決，再利用自動化運維的工具和平臺實現工具優化。

四、運維如何轉型：意識轉型、技術轉型、人員轉型

??

1、意識轉型

??

利用反脆弱思想正確對待故障，故障是系統的常態，沒有故障只是系統運行的一個特例，任何時候都有可能發生故障。我們需要做的是采取有效手段應對故障，提高系統反脆弱性，讓故障不會造成影響和服務的損失;積極擁抱新技術，參與到技術變更中。

鼓勵創新與競爭，個體的脆弱能帶來組織的反脆弱，海爾將自己的組織打散，它將自己的企業由死做活;改變對錯誤的態度，錯誤不等于失敗，錯誤是成長的點。

2、技術轉型

??

建設多地多中心的云中心架構;采用基于容器和K8s的微服務架構，通過K8s可以提高應用架構的轉型;建設 DevOps 持續交付流水線;建設基于機器學習和AlOps的平臺。

中行的智能化運維轉型，我們有開發的工具平臺，有自動化運維，以及流程管控平臺、監控。

??

如何實施?將所有配置、基礎設施標準化，在此基礎上做自動化，自動收集CMDB，自動完成技術環境變更，與流程打通;平臺化，對外支持服務，人工智能平臺、云管理平臺、安全平臺，最后實現智能化，實現多維監控、容量預測、趨勢預警。

3、人員轉型

??

云計算時代，如果運維還靠手工做事情是九死一生。我們首先要做運維開發，谷歌提出SRE，我們需要用軟件工程的方式實現人工操作的事情。我們學習開發能力，至少掌握一門開發的語言。

轉型做產品運營，可以對業務進行指導。《終身成長》是非常好的一本書，每個人的潛力是無窮的，我們需要讓自己的思維開放，把遠方看的更遠一點，一直朝著自己的方向前進，將自己的時間、精力、金錢投入到遠方，總有一天會到達。

搞IT都不容易，我們需要不斷提高身體反脆弱性，同時提高技能的反脆弱性。

??

薄世寧提到“真正的健康，是暴露于病毒細菌的危險之下，還依然健康”。我們現在的生活當中遍地是細菌和病毒，有細菌沒有關系，進入我們體內我們把它殺死就可以。真正的反脆弱是暴露于各項不確定性的事件中，還依然保持成長。我們不懼怕任何風險，這就是反脆弱。