目錄

一、云原生時代背景下的穩(wěn)定性挑戰(zhàn)

二、數據驅動的系統(tǒng)穩(wěn)定性保障體系

三、穩(wěn)保落地實踐——君巡智檢平臺建設

四、總結與思考

一、云原生時代背景下的穩(wěn)定性挑戰(zhàn)

當我們談論金融證券行業(yè)的數字化轉型，其實我們每個人手中都握著三個關鍵訴求：

• 業(yè)務連續(xù)性：每秒百萬級的交易指令不能中斷
• 客戶信任度：行情數據延遲超過500ms就會引發(fā)客戶投訴
• 架構演進壓力：軟件系統(tǒng)拓撲復雜度爆發(fā)性增長

去年9月底，當國慶前突發(fā)行情引發(fā)全網交易量激增300%時，我們見證了公司架構的韌性價值——短時間完成了應用系統(tǒng)的極速擴容，最終實現國慶前后行情爆發(fā)期間：零交易阻塞、零監(jiān)管客訴、全自動應急干預。

這背后，正是我們突破傳統(tǒng)運維邊界構建的"全面質量保障體系"效力，正是這些必要性和痛點，推動我們構建了：

1、運維左移，介入軟件全生命周期

從需求評審開始，我們就帶著運維驗收清單深度參與：

• 架構設計階段：植入熔斷降級基因
• 開發(fā)階段：埋入實時監(jiān)控探針
• 測試階段：用生產流量影子驗證

2、智能協(xié)同防線

聯動開發(fā)、測試、供應商等多方平臺構建三重防護網的智能協(xié)同防線：

• 第一重：開發(fā)自驗的韌性代碼規(guī)范
• 第二重：測試環(huán)境的故障注入演練
• 第三重：投產前的SIT&UAT測試關卡

從各個維度提升系統(tǒng)架構的韌性、應用設計的可靠性、業(yè)務運行的可觀測性、應用部署的持續(xù)穩(wěn)定性。

圖片

二、數據驅動的系統(tǒng)穩(wěn)定性保障體系

如何構建主動式的穩(wěn)定性保障體系？參照google SRE模型，梳理包含的幾類要點：

第一層：被動防御層——夯實故障兜底能力

1）監(jiān)控可視化。畢竟沒有可觀測性就談不上可控性。從基礎資源監(jiān)控（CPU/內存）到黃金信號監(jiān)控（延遲、流量、錯誤、飽和度）；從單點告警到動態(tài)基線告警（AI驅動的閾值自適應調整）。

2）應急止血。故障響應速度決定業(yè)務損失上限。包含應急預案、標準化SOP、熔斷、限流、流量調度等動作從人工決策升級為平臺自動執(zhí)行等。

3）深度復盤。復盤的目標不是追責，而是將“個體經驗”轉化為“組織智慧”。從簡單的5Why分析到因果圖+ 故障樹聯合歸因，通過缺陷模式庫沉淀共性根因，驅動架構韌性改造。

第二層：主動預防層——構建風險攔截網絡

1）變更防控及容量規(guī)劃。70%的故障源于變更，防控的核心是“讓錯誤進不來”。識別運行瓶頸識別與彈性設計。

頂層設計：架構免疫層——從源頭構建可靠性

頂層設計：架構免疫層——從源頭構建可靠性

2）構建可信架構，讓穩(wěn)定性內生于產品基因，而不是事后修補。

通過分層防御體系，將被動止血轉化為主動免疫。

然而，在云原生動態(tài)復雜的環(huán)境下，僅靠人工串聯這些能力遠遠不夠——我們需要一個中樞神經系統(tǒng)，將分散的防御手段整合為智能化的穩(wěn)定性評估平臺。

圖片

穩(wěn)定性評估可以助力企業(yè)傳統(tǒng)救火式運維到預防性保障的轉變。實現：

• 可觀測：打破數據黑箱，實時掌握系統(tǒng)健康；
• 可評估：量化風險等級，精準定位隱患；
• 可優(yōu)化：驅動自動治理，從根源提升韌性。

圖片

系統(tǒng)性量化評估應用穩(wěn)定性正面臨數據分散、標準不一、整合困難與人工依賴四大核心挑戰(zhàn)。盡管其對保障金融機構的運營效率與客戶滿意度至關重要，但在實踐中，評估工作仍步履維艱。

君巡智檢平臺旨在建立一套科學、高效的系統(tǒng)穩(wěn)定性保障能力自動化評估辦法，分解影響業(yè)務連續(xù)性因素節(jié)點，量化評估節(jié)點的有效性或運作質量，通過可量化指標及工作流程機制驅動組織能力、流程協(xié)同機制、工具的完善，提升業(yè)務連續(xù)性。

圖片

君巡智檢平臺以中國信通院DevOps標準為基石，深度融合技術運營、敏捷開發(fā)及持續(xù)交付等能力模塊，構建覆蓋十余個關鍵領域的評估體系，為行業(yè)提供可復制的成熟度診斷模型。

同時，公司積極響應數字化轉型浪潮，將金融科技作為創(chuàng)新發(fā)展核心，持續(xù)加大信息技術投入，明確將全面數字化轉型列為國企改革的“頭號工程”，致力于打造“數字金融”領先優(yōu)勢，并正式提出“SMART投行”這一全面轉型愿景。

在部門層面，我們通過階段性成果檢驗、優(yōu)勢強化與短板改進，結合行業(yè)先進經驗的持續(xù)借鑒，實現技術運營能力在管理、技術、平臺、人員及應用等方面的逐年迭代提升。

基于DevOps技術運營標準與企業(yè)內部實踐，我們進一步制定了契合自身需求的DevOps技術運營內控標準，推動體系化、標準化建設持續(xù)深化。

圖片

構建貫穿研運全流程的穩(wěn)定性保障體系

系統(tǒng)穩(wěn)定性保障要求我們深度參與軟件開發(fā)的完整生命周期，從項目立項、需求評審，到架構設計、核心功能實現，始終將可運維性作為關鍵考量，系統(tǒng)化構建具備高可運維性的軟件交付機制。

本體系將穩(wěn)定性保障能力劃分為兩個維度：

1）在開發(fā)階段形成的“系統(tǒng)原生性指標”；

2）在技術運營階段積累的“系統(tǒng)維護性指標”。

兩者并非彼此孤立，而是通過統(tǒng)一模型實現貫通，覆蓋從系統(tǒng)設計、上線評審、技術運營到運行治理的全流程穩(wěn)定性管理。該模型不僅實現了各階段能力的量化評估，也顯著降低了管理側與應用側的協(xié)作成本，明確團隊分工，提升跨部門協(xié)同效率。

圖片

三、穩(wěn)保落地實踐——君巡智檢平臺建設

1、平臺建設三大策略：數據整合、指標量化與智能評估

首先，異構域數據整合。 打通監(jiān)控、日志、鏈路等共12類異構數據源，通過實時流處理技術構建統(tǒng)一的指標數據池；

其次，運維指標的量化和標準化。 基于管理標準、行業(yè)規(guī)范及自身實踐，我們利用數據樣本進行訓練，并通過智能調度編排對指標進行量化處理；

最后，多模態(tài)評估模型構建。 我們建立了涵蓋5類業(yè)務系統(tǒng)內部級別和5類能力級別的評估模型，形成多維度的評估體系，精準刻畫系統(tǒng)狀態(tài)與能力成熟度。

圖片

2、平臺設計思路

君巡平臺基于前述系統(tǒng)穩(wěn)定性保障體系構建，致力于系統(tǒng)性解決穩(wěn)定性評估耗時過長、能力提升周期緩慢的痛點。平臺通過定期對系統(tǒng)開展穩(wěn)定性能力評估，顯著提升評估與管理效率。

評估涵蓋自動指標掃描與人工條目評審兩大模式。用戶可靈活選用掃描策略，包括僅執(zhí)行指標掃描，或結合指標與條目進行綜合掃描。

• 指標掃描：為保障對生產系統(tǒng)無侵入，平臺依托證券系統(tǒng)存儲特性，于每日夜間計算資源充裕時段，自動采集各后臺工具平臺中的系統(tǒng)運行數據并進行統(tǒng)一處理，將能力數據轉化為標準化指標存儲。用戶發(fā)起掃描后，平臺自動執(zhí)行能力目標與實測值的規(guī)則匹配，生成評估報告與分析結論，并通過郵件推送相關責任人。
• 條目評估：該部分不受時間限制，需由評審人員依據條目要求，手工上傳相關證明材料。專家根據預定規(guī)則進行評審、打分并提出改進建議，最終結合指標數據生成綜合性掃描報告。

圖片

3、平臺數據流

平臺數據流涵蓋采集、預處理、規(guī)則匹配及展示四個核心環(huán)節(jié)。重點對采集預處理與規(guī)則匹配進行了解耦設計。隨著接入數據規(guī)模與時間維度的擴展，系統(tǒng)需應對數據處理復雜度及體量的挑戰(zhàn)。鑒于穩(wěn)定性評估對實時性要求不高，平臺將采集與預處理前置，既緩解了數據源側的IO壓力，也大幅降低了平臺內部存儲開銷。此外，獨立模塊化的采集預處理設計，使數據接入更便捷——關聯團隊無需適配平臺API，通過腳本即可完成對接，技術門檻顯著降低，真正實現“人人可寫、人人可用”。這一架構改進為平臺長期穩(wěn)定運行奠定了堅實基礎。

4、數據整合

以占比15%的監(jiān)控告警能力子域為例，其當前能力得分為3級。該子域主要由七個能力項構成，各能力項權重分配如下：數據采集、數據處理和數據可視化各占20%；數據存儲、數據服務、告警管控和監(jiān)控巡檢各占10%。

依據專家經驗和源數據的訓練，為每個能力項均定義了清晰的量化指標與目標等級。這些指標不僅評估應用系統(tǒng)本身，也涵蓋對基礎工具平臺的能力分析，從而實現全方位的度量。通過將運維能力全面量化，并借助自動化平臺進行直觀展示，使團隊能夠清晰識別系統(tǒng)在各能力維度的短板，明確改進方向，精準、高效地推動穩(wěn)定性運營工作的持續(xù)優(yōu)化。

5、評估模型與風險等級

圖片

圖片

四、總結與思考

穩(wěn)定性保障的本質并非追求完全消除故障，而是通過融合多元數據、構建智能分析能力，提升系統(tǒng)對風險的提前感知與高效應急響應水平。

圖片

我們依托工具平臺提取量化指標，持續(xù)沉淀和鞏固穩(wěn)定性能力底座，并通過能力分析體系的建設，驅動組織協(xié)同、流程優(yōu)化與平臺能力的閉環(huán)演進，具體體現在：

• 事前智能防御：以數據驅動預測，替代傳統(tǒng)經驗判斷，實現風險的精準識別與主動干預；
• 事中快速止血：貫通故障發(fā)現、定位、處置與恢復流程，提升應急響應的自動化與協(xié)同效率；
• 事后閉環(huán)進化：通過深度復盤與改進機制，將經驗沉淀為能力，持續(xù)強化系統(tǒng)韌性與可觀測性。

我們最終實現的不僅是穩(wěn)定性的量變提升，更是系統(tǒng)在面對持續(xù)熵增與復雜不確定性時，實現自主適應、無感知修復的質變跨越。

作者介紹

胡霞，國泰海通資深運維工程師。負責君巡智檢平臺建設，擁有豐富IT運維開發(fā)經驗，專注運維自動化、系統(tǒng)監(jiān)控、故障診斷與應急響應等技術領域，致力于通過技術創(chuàng)新提升系統(tǒng)穩(wěn)定性和運維效率，全面推進系統(tǒng)穩(wěn)定性保障體系規(guī)劃建設和落地。