你可能會奇怪，為什么要為 Kubernetes 的日志管理工具而煩惱？

Kubernetes 是容器編排市場的主導者，經常被用來托管微服務。微服務的每個實例都會生成大量的日志事件，并且這些事件很快就會變得難以管理。但是，更糟糕的是，當問題發生時，由于服務之間的復雜的交互以及幾乎無窮無盡的可能故障模式，很難找到問題根源。這種潛在的問題推動了 Kubernetes 日志管理工具的流行。

但是為什么我們有如此多的工具呢？是否存在一種完美的工具，能夠滿足每一種需求，并盡可能高效、快速地進行監控、日志記錄和根源分析？你可能已經猜到了，答案是否定的。

大多數 Kubernetes 日志管理工具都是 ELK 的變體，具有相似的功能并且具有相似的局限性。這些工具可以幫助你訪問日志并搜索信息，但問題是，你需要知道要查找的內容。這些工具中的大多數還需要解析規則和警報規則才能正常工作。但我遇到了一個例外，它不需要手動創建規則就可以自動檢測問題。

下面是我列出的 2020 年 Kubernetes 最佳日志管理工具清單。

1. Zebrium

你認為會先出現其他工具嗎？還是 Prometheus 或者 ELK？沒有，我將 Zebrium 放在第一位，是因為我看到這個東西有潛力成為 Kubernetes 日志管理的下一個大殺器。

最近，這家新成立的初創公司被評為“Gartner 2020 年最值得關注的 25 家企業軟件初創公司”，并被評為“Forbes 人工智能 50 強：美國最有前途的人工智能公司”。

談到成功，Zebrium 最近還幫助 Sweetwater 將事件跟蹤時間 從 3 小時縮短到僅僅幾分鐘。Zebrium 甚至能發現以前沒有注意到的隱藏問題。這個功能非常棒，因為它能夠在問題影響客戶之前就發現問題。

那又是什么讓 Zebrium 的方法在競爭中脫穎而出呢？嗯，他們利用人工智能來發現問題，并自動找出問題根源，而所有其他的工具都依靠用戶手動添加規則。Zebrium 還可以用作一個獨立的日志管理平臺，也可以與 ELK Stack（他們稱之為 ZELK 棧）或其他日志管理器集成。

這聽起來像是夢想成真，所以我在一個非常簡單的項目上對它進行了測試。在這個測試中，Zebrium 自動檢測到網絡調用超時的問題。而我并沒有為此建立任何規則，也沒有手動監視系統。Zebrium 剛剛通過其基于機器學習算法就發現了這個問題，并立即通知了我。

還需要指出的是，我并非專業的 DevOps 工程師，況且我也沒有在更大的項目中測試過 Zebrium。

優點

易于上手；只需復制 / 粘貼自定義的 helm 或 kubectl 命令即可。

自動檢測問題和問題根源，無需手動添加規則。

可以用作獨立的日志管理工具，也可以作為現有日志管理工具（如 ELK 棧）的機器學習附加組件。

缺點

沒有競爭對手那么出名。

免費套餐每天限 500MB，有效期 3 天。

支持 Kubernetes、Docker 和大多數常用平臺，但對 Windows 尚未提供原生支持。

官網：https://www.zebrium.com/

2. Sematext

這是一個用于日志管理和應用程序性能監視的解決方案。Sematext 提供了系統狀態的全棧可見性。

Sematext 并不僅限于 Kubernetes 日志，它還根據度量標準和日志對 Kubernetes 進行監控和報警。收集的日志針對幾種不同的已知日志格式自動解析 / 結構化，并且用戶還可以提供自定義日志的模式。它還公開了 Elasticesarch API，因此，你可以使用任何支持 Elasticsearch 的工具，比如 FileBeat 以及帶有 Sematext 的 Logstash。你可以將它用作 ELK 的變體，也可以與原生 Sematext 生態系統一起使用。該工具有助于創建特定的規則來監視特定的案例并捕獲異常情況。客戶端可以控制和監控所有服務，這要歸功于 Sematext 全面實時儀表板。

優點

與其他 Sematext Cloud 工具集成（如 Experience 和 Infrastructure Monitoring）集成。

可配置的超時控制通過組織日志被接收來控制成本。

ELK 的靈活性。

缺點

Sematext 小工具和 Kibana 無法在一個儀表板上混合使用。

需要在日志傳遞程序中進行自定義解析，Sematext 僅在服務器端解析 Syslog 和 JSON。

盡管他們計劃改進跟蹤功能，但跟蹤功能較弱。

官網：https://sematext.com/

3. Grafana Loki

Kubernetes 日志監視工具列表的第三位并不是 ELK，而是 Loki。受 Prometheus 的啟發，Loki 是一個多租戶、高可用的日志聚合工具。該工具可以幫助收集日志，但用戶需要為其構建手動規則。Loki 和 Grafana、Prometheus 和 Kubernetes 一起使用。Loki 可以讓你的內部流程更加高效。舉例來說，它為 Paytm Insider 節省了 75% 的記錄和監控成本。由于沒有對日志內容進行索引，而只是為每個事件流索引一組標簽，因此 Loki 實現了很高的效率。

優點

大型生態系統。

豐富的格式化功能。

由于日志內容沒有被索引，所以效率很高。

缺點

沒有針對 Kubernetes 日志管理進行優化。

構建規則需要大量的手工工作。

缺少內容索引可能會限制搜索性能。

官網：https://grafana.com/oss/loki/

4. Elastic Stack

ELK 最終名列第四。總的來說，ELK 可能是最為著名的開源日志管理工具。ELK 是 Elasticsearch、Logstash 和 Kibana 的首字母縮寫。每個組件負責日志記錄過程的不同部分。Elasticsearch 是一個功能強大的、且可擴展的搜索系統，Logstash 聚合和處理日志，Kibana 提供分析和可視化界面，幫助用戶理解數據。它們共同為 Kubernetes 提供了全面的日志記錄解決方案。請注意，ELK 棧還有許多其他變體（如 EFK 棧：Elasticsearch、Flunentd 和 Kibana）。

許多大公司都在使用 ELK，比如 Adobe、T-Mobile 和 Walmart 等等，因此你可以確定它的健壯性。總的說來，這是一個可靠且經過充分驗證的工具。我之所以將它放在第四位，是因為它的復雜性和工作所需的大量資源。

優點

該工具廣為人知，并擁有一個龐大的社區。

非常廣泛的平臺支持。

在 Kibana 中具有豐富的分析和可視化功能。

需要對日志進行復雜的分析，并手動定義警報規則。

缺點

難以維持規模。

需要進行大量調優，特別是對于大型環境。

需要大量的資源請求。

有些功能需要付費許可。

官網：https://www.elastic.co/what-is/elk-stack

5. Google Operations（前身為 Stackdriver）

Google Operations，也就是你可能知道的 StackDriver，是用于在科技巨擘 Google 的環境中監控、故障排除和提高應用程序性能的原生工具。它收集 Google Cloud 和你的應用程序上的度量指標、日志和跟蹤。Google Operations 相當于 AWS 的 CloudWatch，而且和 CloudWatch 一樣，它也有日志記錄和監控解決方案。

Cloud Logging 與 GKE 深度集成，并將默認情況下添加到你創建的每個 GKE 集群中。你的日志存儲在 Logging 的數據存儲中，并被索引用于搜索和可視化。Cloud Logging 支持靈活的查詢（可保存）、簡單的字段探索和直方圖可視化，并能與 Google 基礎設施的其他工具無縫集成。

優點

實時日志管理和分析。

度量指標本身就具有可觀測性。

大量的集成。

缺點

由于請求需經過不同級別的 Google Cloud Platform（GCP），因此很難跟蹤真正的延遲。

僅適用于 GCP 環境。

價格體系復雜，很難預估出某些東西的成本。

官網：https://cloud.google.com/products/operations

6. CloudWatch

CloudWatch 是 Amazon Web Service 提供的 AWS 原生產品。它從 AWS 收集監控和運營數據，并在一個自動化儀表板上將其進行可視化。這使你能夠查看并關聯日志和指標，以了解問題的根本原因。日志可以使用 CloudWatch 自己專門構建的查詢語言來分析，該語言支持聚合、過濾器和正則表達式。你也可以通過 Lambda 將日志發送到 Elasticsearch。

總的來說，如果你已經在使用 Amazon 服務，那么 CloudWatch 就是一個很不錯的選擇。它還可以在混合云架構中使用，并使用代理或 API 來監控內部資源。很多知名公司，如 Airbnb、Deliveroo、9GAG 等，都在使用 CloudWatch。由于 DynamoDB TTL 的存在，它每年還可以為公司節省數百萬美元的開支。

優點

專門為監視 AWS 資源而構建。

具有最高容許實例度量指標（t2 CPU 積分余額）。

詳細的監視和自動伸縮組。

缺點

它只能用于 AWS 服務。

儀表板的自定義選項并不多。

不支持事務跟蹤。

官網：https://aws.amazon.com/cloudwatch/

7. Fluentd

Fluentd 是一個跨平臺的開源數據收集器，提供了統一的日志記錄層（但它并不是獨立的日志管理器）。這是一個非常流行的工具，擁有超過 5000 名用戶，包括 Atlassian、Microso 和 Amazon。從客戶端來看，我們可以得出高水平的可靠性和性能。此外，Fluentd 還創建了一個統一的日志記錄層，幫助你更有效地使用數據，并在軟件上對數據進行快速的迭代。這個工具可以幫助你每秒處理 120000 條記錄，就像處理 LINE 一樣。

優點

大型社區和插件生態系統。

統一的日志記錄層。

經驗證的可靠性和性能。

啟動簡單，可以在十分鐘內完成安裝。

缺點

配置困難。

對轉換數據的支持有限。

不是完整的日志解決方案。

官網：https://www.fluentd.org/

8. 結論：如何選擇合格的工具

首先，我應該解釋一下我為何沒有將 Prometheus 列入名單，因為我肯定你會看到的。這是因為本文主要討論日志監視工具，而 Prometheus 處理的是度量指標，并不支持日志管理。

因此，如果你厭倦了手動查找日志以查找問題根源，或厭倦了構建和管理警報規則，那么你應該嘗試使用 Zebrium 及其基于人工智能和機器學習的算法。這可能會為你節省大量時間，讓你從制定大量規則的艱巨任務中解脫出來。這看起來是一種非常有趣的日志記錄方法。

不過，如果你正在尋找一些更主流的工具，并且知道要創建哪些警報規則，或者你不信任人工智能，那么可以試試 Loki 或 Sematext，如果你以前沒有使用過日志監視工具的話，它們都是非常有效的工具。如果你已經使用 Grafana 或者 Sematext Cloud/Enterprise 產品，它們將會特別有用。

如果你的項目使用 Google 的 GCP 產品，那么，一個很好的、并且相當明顯的變體可能就是 Google Operations。

如果你有多個或外來的日志源，可以嘗試 Fluentd 的統一日志記錄層，但你仍然需要日志記錄工具。當然，如果你是 AWS 用戶的話，CloudWatch 將是你的自然選擇。