可觀測性不是一個新鮮的名詞，但是近年來隨著云原生技術的發展，在帶來效率、可用性提升的同時也增加了復雜度，而可觀測性成為降低這種復雜度的唯一手段，因此被推到了前所未有的重要地位。

Gartner將應用可觀測性（Applied Observability）列為“2023年十大戰略技術趨勢”之一，并指出，到2026年，70%成功實現可觀測性的企業機構，將能夠降低決策延遲，幫助目標業務或IT流程建立競爭優勢。

那么，云原生時代的可觀測性有哪些新挑戰和新趨勢？

1.云原生帶來可觀測性變革

可觀測性，是指通過分析系統的Metrics（指標）、Traces（鏈路）、Logs（日志）等數據，構建完整的觀測模型，從而實現故障診斷、根因分析和快速恢復。

對此，谷歌有一個很簡單的表述，快速排障（troubleshooting），即可觀測性的核心價值。

盡管近年來可觀測性頗有一點“網紅”氣質，但可觀測性也是由傳統監控演進而來的。

傳統監控是面向運維視角的，從系統外部視角去觀察系統的運行狀態，應用規模普遍較小且服務之間沒有互相依賴，更多是通過閾值來監控單體主機的日志和性能指標。

隨著云原生技術的發展，基于容器和微服務化的應用規模更加龐大，服務之間依賴呈現為網狀結構，復雜的云上環境以及分布式系統的復雜性、動態性，使得故障定界、調用追蹤非常不明朗。

例如，雖然很多容器化應用上線有著開箱即用、快速發布的這些好處，但也有很多的網絡流量抓取不到。

在這種情況下，其實很難通過傳統的方式進行網絡流量抓包分析，云環境網絡流量監控“黑盒”的短板也逐步暴露了出來。

以往的日志、性能指標監控能力，就需要補充面向云網絡的流量日志與性能指標，同時結合動態的全鏈路追蹤能力，實現多維數據的關聯分析，提供整體應用的可靠性保障。

因此，云原生可觀測性被提出來了，要求從系統內部出發，基于“白盒化”的思路去監測系統內部的運行情況，不僅發現問題，更對于問題現象背后本質給出明晰解釋。

而可觀測性背后的指標、日志、事件、鏈路數據，以及診斷工具的結合使用，就為事前預防、事中處理、事后復盤提供了重要決策依據。

可以說，可觀測性是基礎設施自動化的基石，優秀的可觀測性是確保云原生紅利高效釋放的前提條件。

2.可觀測性的三大維度

云原生計算基金會CNCF將可觀測性分解為三個更具體方向進行研究，分別是：事件日志、鏈路追蹤和聚合度量。

• 日志（Logging）

日志的職責是記錄離散事件，通過這些記錄事后分析出程序的行為，譬如曾經調用過什么方法，曾經操作過哪些數據等等。

輸出日志的確很容易，但收集和分析日志卻可能會很復雜。面對成千上萬的集群節點，迅速滾動的事件信息，數以TB計算的文本，傳輸與歸集都并不簡單。

目前，事件日志可觀測產品已經是一片紅海。

日志管理方案大都包含日志收集、日志聚合、日志存儲與分析幾個模塊，具體過程是日志收集工具與應用程序容器一起運行，并直接從應用程序收集消息，然后將消息轉發到中央日志存儲以進行匯總和分析。

常見的日志管理工具包括ELK Stack、Fluentd、Loki等。其中，Elastic Stack日志解決方案幾乎覆蓋了日志管理的全流程。

• 度量（Metrics）

度量是指對系統中某一類信息的統計聚合，主要目的是監控和預警，如某些度量指標達到風險閾值時觸發事件，以便自動處理或者提醒管理員介入。

度量常用的工具包括：Zabbix、Nagios、Prometheus，及相關高可用部署方案如Prometheus-operator、Thanos。

• 追蹤（Tracing）

追蹤的主要目的是排查故障如：分析調用鏈的哪一部分、哪個方法出現錯誤或阻塞，輸入輸出是否符合預期等等。

云原生時代，追蹤不只局限于調用棧了，一個外部請求需要內部若干服務的聯動響應，這時候完整的調用軌跡將跨越多個服務，同時包括服務間的網絡傳輸信息與各個服務內部的調用堆棧信息。因此，分布式系統中的追蹤常被稱為“全鏈路追蹤”。

同時，追蹤方面的情況與日志、度量也有所不同。

追蹤是與具體網絡協議、程序語言密切相關的，各個服務之間是使用HTTP還是gRPC來進行通信，會直接影響追蹤的實現，各個服務是使用Java、Golang還是Node.js來編寫，也會直接影響到進程內調用棧的追蹤方式。

這決定了追蹤工具本身有較強的侵入性，通常是以插件式的探針來實現，也決定了追蹤領域很難出現一家獨大的情況，通常要有多種產品來針對不同的語言和網絡。

近年來各種鏈路追蹤產品層出不窮，市面上主流的工具既有像Datadog這樣的一攬子商業方案，也有AWS X-Ray和Google Stackdriver Trace這樣的云計算廠商產品，還有像SkyWalking、Zipkin、Jaeger這樣來自開源社區的優秀產品。

總的來說，日志、度量、追蹤三者打通，最大的價值是能做到全鏈路錯誤尋根，即從發現請求Metric指標異常，通過指標關聯分析，并逐層下鉆到明細Trace追蹤和具體Error Log，全流程自動化從宏觀到明細的錯誤發現和根因定位。

3.可觀測性將走向何方？

不難發現，可觀測性問題相對復雜，沒有開箱即用的最佳方案。

為了應對云原生場景下復雜的可觀測性問題，各大廠商采用了不同的策略。

有的采用多種產品組合的方式，針對不同場景，為客戶提供不同的解決方案，比如AWS有CloudWatch、AMP、AMG等產品組合，阿里云有ARMS、鏈路追蹤、日志服務SLS等；

有的廠商則提供了統一的解決方案，比如Azure monitor,Vmware Tanzu Wavefront,華為云CIE等。

隨著各大廠商和開源項目的發展和推進，在可預見的未來，可觀測領域正在呈現新的趨勢：

• 趨勢一：形成可觀測性行業標準

首先是指標，Prometheus作為云原生時代指標數據標準已經形成共識。

鏈路標準也隨著OpenTracing和OpenTelemetry的推行而逐漸占據主流。

OpenTelemetry作為一套由CNCF主導的云原生可觀測性的標準協議，目前已經是海外企業在該領域的實踐標準。

反觀國內，雖未形成類似的標準，卻也涌現了諸如 CAT 和 SkyWalking 等一系列國產開源的 APM 系統。得益于對業務代碼無侵入，性能表現優秀，社區活躍，中文文檔齊全等眾多優秀特性，SkyWalking在國內異常火爆。

在日志領域，雖然其數據結構化程度較低難以形成數據標準，但采集存儲分析側涌現出Fluentd、Loki等開源新秀；另一方面，Grafana作為可觀測數據展示標準也愈加明朗。

•  趨勢二：構建以應用為中心的觀測視角

可觀測性比較好的觀測視角是應用視角，以應用為單位關聯指標、鏈路與日志，利用逐漸成熟的eBPF探針技術快速實現全局應用可觀測，無侵入應用探針為主，OpenTelemetry為輔實現代碼級可觀測能力。

• 趨勢三：聚焦業務成敗

在“業務至上”的時代，技術工程師們保障的核心其實并不是這套IT系統或軟件，核心其實是業務。

一筆業務可能會涉及到多個微服務系統，需要追蹤到整個API關聯的訂單、用戶甚至具體到哪一筆交易，這也是可觀測性和業務結合的一個重要發展趨勢。

• 趨勢四：加大IT投入

“可觀測性”被定義為是一個降本增效的好工具，這讓許多開發者認為安裝了可觀測性平臺，就可以降低成本、為業務創造價值。

事實上，可觀測性工具從來不是一個“便宜”的東西，可觀測性平臺除了基本的工具投入，還需要有一套完整的數據存儲方案，企業自研一套優秀的可觀測性解決方案投入成本并不低。

以美國企業的可觀測性相關投入為例，其占企業整體IT支出的5%-10%。

因此，可觀測性產品的“降本增效”不是短時間內就可以顯現出來的，而是通過長時間的應用產生價值，企業將做好加大投入的準備。

• 趨勢五：可觀測性與安全融合

安全和可觀測性的合并，已在全球范圍內形成一種趨勢。

摩根士丹利《安全分析和可觀測性》一文中提到，在國外，以DataDog為代表的公司在上市之后發布的新增功能中有70%都是安全相關的。

這其中的道理非常簡單，可觀測性是通過檢查其輸出來衡量系統內部狀態的能力，它收集了系統的方方面面，通過這些數據可以分析出系統的故障，自然也就能夠分析出系統有沒有被入侵。

比如DataDog就提供了通過分析當前訪問請求，區分哪些可能是黑客在嗅探，或者準備未來做DDoS攻擊的接口的功能。

也就是說，采集的數據在安全方面也能夠發揮作用，而不像傳統安全工具那樣，需要針對安全場景再進行一次數據采集。

所以，安全和可觀測性的合并在全球范圍內已經成為一種趨勢。

針對攻擊現場的追蹤，比如國內的態勢感知、SIEM這些安全產品都選擇了和可觀測性進行融合。

4.結語

總體來說，真正的可觀測性平臺應該是，能夠將各種各樣對于系統的形態、實時的狀態進行有結構性的收集并提供一系列的觀察、測量手段的平臺。

就像傳感器一樣，能夠讓開發者們的開發、測試、運維過程變的更容易，能夠即時了解系統的運行狀態，而并不是簡簡單單的“監控”。