九款日志采集&管理工具對比，選型必備！

作者：悟空聊架構(gòu) 2023-02-09 18:00:00

對于日志管理當(dāng)前網(wǎng)絡(luò)上提供了大量的日志工具，今天就給大家分析總結(jié)一下這些常用工具的特點(diǎn)

你好，我是悟空。

Java架構(gòu)進(jìn)階網(wǎng)站：passjava.cn原文：https://sourl.cn/WmX6SD

對于日志管理當(dāng)前網(wǎng)絡(luò)上提供了大量的日志工具，今天就給大家分析總結(jié)一下這些常用工具的特點(diǎn)，希望對你們在選型時有所幫助，

如果有用記得一鍵三連

1、Filebeat

Filebeat是用于轉(zhuǎn)發(fā)和集中日志數(shù)據(jù)的輕量級傳送程序。作為服務(wù)器上的代理安裝，F(xiàn)ilebeat監(jiān)視您指定的日志文件或位置，收集日志事件，并將它們轉(zhuǎn)發(fā)到Elasticsearch或Logstash進(jìn)行索引。

Filebeat的工作方式如下：啟動Filebeat時，它將啟動一個或多個輸入，這些輸入將在為日志數(shù)據(jù)指定的位置中查找。對于Filebeat所找到的每個日志，F(xiàn)ilebeat都會啟動收集器。每個收集器都讀取一個日志以獲取新內(nèi)容，并將新日志數(shù)據(jù)發(fā)送到libbeat，libbeat會匯總事件并將匯總的數(shù)據(jù)發(fā)送到您為Filebeat配置的輸出。

1.1 主要特點(diǎn)

輕量級并且易使用
模塊可用于常見用例（例如 Apache 訪問日志）。您可以使用它們來設(shè)置 Filebeat、Ingest 和 Kibana 儀表板，只需幾個命令

1.2 價格

免費(fèi)開源

1.3 優(yōu)點(diǎn)

資源使用率低
良好的性能

1.4 缺點(diǎn)

有限的解析和豐富功能

2、Graylog

Graylog是一個開源的日志聚合、分析、審計、展現(xiàn)和預(yù)警工具。功能上和ELK類似，但又比ELK要簡單，依靠著更加簡潔，高效，部署使用簡單的優(yōu)勢很快受到許多人的青睞。

2.1 主要特點(diǎn)

一個包含日志處理所有要素的軟件包：收集、解析、緩沖、索引、搜索、分析。
開源 ELK 堆棧無法提供的其他功能，例如基于角色的訪問控制和警報

2.2 價格

免費(fèi)和開源，不過也有企業(yè)版(根據(jù)要求提供價格)

2.3 優(yōu)點(diǎn)

在一個軟件包中滿足大多數(shù)集中式日志管理用例的需求
輕松擴(kuò)展存儲 (Elasticsearch) 和獲取通道

2.4 缺點(diǎn)

可視化能力是有限的，至少與ELK的Kibana相比是如此
不能使用整個ELK生態(tài)系統(tǒng)，因?yàn)樗麄儾荒苤苯釉L問Elasticsearch API。相反，Graylog有自己的API

3、LogDNA

LogDNA是日志管理領(lǐng)域的新成員。LogDNA可作為SaaS和內(nèi)部使用，提供所有日志基礎(chǔ):通過syslog和HTTP(S)以及全文搜索和可視化，提供基于代理和無代理的日志收集，并提供清晰且具有競爭力的價格。

3.1 主要特點(diǎn)

用于在組織外部共享日志的嵌入式視圖
自動解析常用日志格式

3.2 價格

免費(fèi)：無存儲
收費(fèi)：付費(fèi)計劃起價為每月每GB 1.50 美元，保留 7 天

3.3 優(yōu)點(diǎn)

用于搜索日志的簡單 UI，類似于 Papertrail
易于理解的計劃

3.4 缺點(diǎn)

可視化能力有限
保留期取決于計劃（從 7 天到 30 天）。用戶數(shù)量也是如此（最便宜的計劃只允許 5 個）

4、ELK

4.1 主要特點(diǎn)

ELK堆棧包含了日志管理解決方案所需的大多數(shù)工具:

Log shippers：如Logstash和Filebeat
Elasticsearch是一個可擴(kuò)展的搜索引擎
Kibana作為搜索日志或構(gòu)建可視化的UI

它在集中日志方面非常流行，有很多關(guān)于如何在網(wǎng)絡(luò)上使用它的教程。有一個龐大的工具生態(tài)系統(tǒng)，您可以在基本設(shè)置之上使用這些工具，通過警報、基于角色的訪問控制等來增強(qiáng)它。我們將在這篇博文中詳細(xì)介紹這些額外的附加功能，我們將在其中討論 Elastic Stack 功能的替代方案。

Elasticsearch默認(rèn)情況下對每個字段進(jìn)行索引，使搜索速度更快
通過API和Kibana實(shí)現(xiàn)實(shí)時可視化
索引前的數(shù)據(jù)解析和充實(shí)

4.2 價格

免費(fèi)和開源。一些公司提供托管 ELK 的形式，見上文。還有 Elastic Cloud，它是云中 ELK 的一種純粹形式，您主要需要自己管理。

4.3 優(yōu)點(diǎn)

可擴(kuò)展的搜索引擎作為日志存儲
成熟的log shippers
Kibana 中的 Web UI 和可視化

4.4 缺點(diǎn)

在規(guī)模上，它可能變得難以維護(hù)。這就是 Sematext 提供 ELK 堆棧咨詢、生產(chǎn)支持和培訓(xùn)的原因
ELK Stack 的開源版本缺少一些功能，例如基于角色的訪問控制和警報。您可以通過商業(yè)“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 獲得這些功能。

5、Grafana Loki

Loki 及其生態(tài)系統(tǒng)是 ELK 堆棧的替代方案，但它做出了不同的權(quán)衡。通過僅索引某些字段（標(biāo)簽），它可以具有完全不同的架構(gòu)。也就是說，主要的寫入組件（Ingester）會將大量日志保存在內(nèi)存中，從而使最近的查詢速度更快。隨著塊變老，它們被寫入兩個地方：用于標(biāo)簽的鍵值存儲（例如 Cassandra）和用于塊數(shù)據(jù)的對象存儲（例如 Amazon S3）。當(dāng)您添加數(shù)據(jù)時，它們都不需要后臺維護(hù)（例如 Elasticsearch/Solr 需要合并）。
如果您查詢較舊的數(shù)據(jù)，您通常會按標(biāo)簽和時間范圍進(jìn)行過濾。這限制了必須從長期存儲中檢索的塊的數(shù)量。

5.1 主要特點(diǎn)

同一 UI 中的日志和指標(biāo) (Grafana)
Loki 標(biāo)簽可以與 Prometheus 標(biāo)簽保持一致

5.2 價格

免費(fèi)：免費(fèi)開源
收費(fèi)：還有Grafana Cloud，提供Loki的SaaS服務(wù)(也有內(nèi)部部署的選項)。價格從49美元起，包括100GB的日志存儲(30天保留)和3000個度量系列

5.3 優(yōu)點(diǎn)

與 ELK 相比，攝取速度更快：索引更少，無需合并
小存儲占用：較小的索引，數(shù)據(jù)只寫入一次到長期存儲（通常具有內(nèi)置復(fù)制）
使用更便宜的存儲（例如 AWS S3）

5.4 缺點(diǎn)

與 ELK 相比，較長時間范圍內(nèi)的查詢和分析速度較慢
與 ELK 相比，log shippers選項更少（例如 Promtail 或 Fluentd）
不如 ELK 成熟（例如更難安裝）

6、Datadog

Datadog 是一種 SaaS，最初是作為監(jiān)控 (APM) 工具，后來還添加了日志管理功能。您可以通過 HTTP(S) 或 syslog，通過現(xiàn)有的日志傳送器（rsyslog、syslog-ng、Logstash 等）或通過 Datadog 自己的代理發(fā)送日志。它的特點(diǎn)是 Logging without Limits?，這是一把雙刃劍：更難預(yù)測和管理成本，但您可以獲得即用即付定價（見下文）以及您可以存檔和從存檔中恢復(fù)的事實(shí)。

6.1 主要特點(diǎn)

用于解析和豐富日志的服務(wù)器端處理管道
自動檢測常見的日志模式
可以將日志歸檔到 AWS/Azure/Google Cloud 存儲并在以后重新使用它們

6.2 價格

處理起價為每月每GB 0.10 美元（例如 1GB 每天 3 美元）
處理也適用于從檔案中獲取，盡管這里的數(shù)據(jù)是壓縮的
100 萬個事件的存儲起價為 1.59 美元，為期 3 天（例如，47.7 美元，1GB/天，每個 1K，存儲 3 天）

6.3 優(yōu)點(diǎn)

容易搜索，良好的自動完成(基于facet)
與DataDog指標(biāo)和跟蹤的集成
負(fù)擔(dān)得起，特別是對于短期保留和/或如果你依靠存檔進(jìn)行一些搜索

6.4 缺點(diǎn)

現(xiàn)場不可用。一些用戶抱怨成本失控（由于定價靈活）。雖然您可以設(shè)置每日處理配額

7、Logstash

Logstash 是一個日志收集和處理引擎，它帶有各種各樣的插件，使您能夠輕松地從各種來源攝取數(shù)據(jù)，將其轉(zhuǎn)換并轉(zhuǎn)發(fā)到定義的目的地。它與 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分，這就是為什么它最常用于將數(shù)據(jù)傳送到 Elasticsearch。

7.1 主要特點(diǎn)

許多內(nèi)置的輸入、過濾/轉(zhuǎn)換和輸出插件
靈活的配置格式:您可以添加內(nèi)聯(lián)腳本，包括其他配置文件等

7.2 價格

免費(fèi)開源

7.3 優(yōu)點(diǎn)

容易開始和移動到復(fù)雜的配置
靈活:Logstash用于各種日志記錄用例，甚至用于非日志記錄數(shù)據(jù)
寫得很好的文檔和大量的操作指南

7.4 缺點(diǎn)

與其他日志shippers相比，資源使用率高
與替代品相比，性能較差

8、Fluentd

作為一個很好的 Logstash 替代品，F(xiàn)luentd 是 DevOps 的最愛，特別是對于 Kubernetes 部署，因?yàn)樗哂胸S富的插件庫。與 Logstash 一樣，它可以將數(shù)據(jù)結(jié)構(gòu)化為 JSON，并涉及日志數(shù)據(jù)處理的所有方面：收集、解析、緩沖和輸出跨各種來源和目的地的數(shù)據(jù)。