Filebeat on k8s 日志采集實戰操作
一、概述
Filebeat 是一個輕量級的開源日志文件和數據收集器，由 Elastic 公司開發，用于采集、解析和發送日志數據。在 Kubernetes 中，Filebeat通常用于采集容器日志，并將其發送到中央日志存儲、分析或搜索工具，如 Elasticsearch、Logstash 或 Fluentd。
以下是 Filebeat 在 Kubernetes 中日志采集的工作原理：
- Filebeat 容器部署：首先，在 Kubernetes 集群中創建一個或多個 Filebeat 容器的 Pod。這些 Pod 可以位于同一節點上，也可以分布在多個節點上，具體取決于您的部署方式和需求。
- Filebeat 配置文件：每個 Filebeat 容器需要一個配置文件，該文件定義了 Filebeat 要監視的日志源、采集策略、日志過濾規則和目標輸出等。配置文件通常以 YAML 格式定義。
- Kubernetes ConfigMap：Filebeat 配置文件通常存儲在 Kubernetes ConfigMap 中。ConfigMap 是 Kubernetes 中的資源，用于存儲配置數據，以便它可以被多個容器訪問。Filebeat 容器將掛載包含配置文件的 ConfigMap，并將其用作配置源。
- Filebeat 啟動：Filebeat 容器啟動后，它會讀取配置文件并按照配置定義的規則開始采集日志。這包括監視容器的日志文件、容器日志目錄或其他數據源。
- 日志采集和解析：Filebeat 會定期掃描配置的日志源，并將新的日志行采集到內部隊列中。它還可以對采集的日志進行解析，以提取有用的信息，如時間戳、日志級別、標簽等。Filebeat 可以根據您的配置對日志數據進行結構化處理。
- 輸出到目標：Filebeat 會將采集的日志數據發送到指定的輸出目標，通常是中央日志存儲、分析或搜索工具。常見的輸出目標包括 Elasticsearch、Logstash、Kafka 或各種云日志服務。
- 數據傳輸和處理：輸出目標將接收到的日志數據進行存儲、處理、分析或可視化。這通常涉及到對數據的索引、搜索、過濾和可視化，以便用戶可以查詢和分析日志數據。
Filebeat 提供了豐富的配置選項，可以根據您的需求對日志數據進行高度定制和篩選。它還支持自動發現新容器、節點和服務，并動態調整采集策略。這使得它成為 Kubernetes 環境中日志采集的有力工具。
總的來說，Filebeat 的工作原理是不斷監視和采集容器生成的日志，然后將這些日志數據發送到中央處理工具，以便分析和可視化。這有助于集中管理和分析容器日志，以便更好地了解應用程序的狀態和性能。
Filebeat 官方文檔：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html
以前也寫過關于 filebeat 更詳細的介紹和實戰操作的文章，只不過 filebeat 不是部署在 k8s 上，感興趣的小伙伴可以先查閱我之前的文章：
- 輕量級的日志采集組件 Filebeat 講解與實戰操作
- Filebeat 采集 k8s Pod 和 Events 日志實戰操作
二、K8s 集群部署
k8s 環境安裝之前寫過很多文檔，可以參考我以下幾篇文章：
- 【云原生】k8s 離線部署講解和實戰操作
- 【云原生】k8s 環境快速部署（一小時以內部署完）
三、ElasticSearch 和 kibana 環境部署
這里可以選擇以下部署方式：
- 通過docker-compose部署：通過 docker-compose 快速部署 Elasticsearch 和 Kibana 保姆級教程
- on k8s 部署：ElasticSearch+Kibana on K8s 講解與實戰操作（版本7.17.3）
這里我選擇 docker-compose 部署方式。
1）部署 docker
# 安裝yum-config-manager配置工具
yum -y install yum-utils
# 建議使用阿里云yum源：（推薦）
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安裝docker-ce版本
yum install -y docker-ce
# 啟動并開機啟動
systemctl enable --now docker
docker --version2）部署 docker-compose
curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose --version3）創建網絡
# 創建
docker network create bigdata
# 查看
docker network ls4）修改 Linux 句柄數和最大線程數
#查看當前最大句柄數
sysctl -a | grep vm.max_map_count
#修改句柄數
vi /etc/sysctl.conf
vm.max_map_count=262144
#臨時生效，修改后需要重啟才能生效，不想重啟可以設置臨時生效
sysctl -w vm.max_map_count=262144
#修改后需要重新登錄生效
vi /etc/security/limits.conf
# 添加以下內容
* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096
# 重啟服務，-h 立刻重啟，默認間隔一段時間才會開始重啟
reboot -h now5）下載部署包開始部署
# 這里選擇 docker-compose 部署方式
git clone https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git
cd docker-compose-es-kibana
chmod -R 777 es kibana
docker-compose -f docker-compose.yaml up -d
docker-compose ps四、Filebeat on k8s 部署（daemonset）
部署包下載地址：https://artifacthub.io/packages/helm/elastic/filebeat
1）安裝 helm
# 下載包
wget https://get.helm.sh/helm-v3.9.4-linux-amd64.tar.gz
# 解壓壓縮包
tar -xf helm-v3.9.4-linux-amd64.tar.gz
# 制作軟連接
cp ./linux-amd64/helm /usr/local/bin/helm
# 驗證
helm version
helm help2）下載部署包進行安裝
1、下載安裝包
helm repo add elastic https://helm.elastic.co
helm pull elastic/filebeat --version 7.17.3
tar -xf filebeat-7.17.3.tgz2、修改配置
# 修改配置 filebeat/values.yaml，主要把 ELasticsearch 地址更換
vi filebeat/values.yaml
# 主要修改filebeat配置
filebeatConfig:
filebeat.yml: |
filebeat.inputs:
- type: container
paths:
- /var/log/containers/*.log
fields:
index: k8s-pod-log
processors:
- add_kubernetes_metadata:
host: ${NODE_NAME}
matchers:
- logs_path:
logs_path: "/var/log/containers/"
output.elasticsearch:
host: '${NODE_NAME}'
hosts: '192.168.182.110:9200'
index: "filebeat-%{[fields][index]}-%{+yyyy.MM.dd}"
setup.template.name: "default@template"
setup.template.pattern: "filebeat-k8s-*"
setup.ilm.enabled: false3、開始安裝 filebeat
helm install filebeat ./filebeat -n logging --create-namespace
kubectl get pods -n logging3）檢查數據是否正常采集到 ES
訪問 kibana：http://ip:5601/
1、Stack Management
圖片
2、索引模式
圖片
3、開始創建索引模式
圖片
4、Discover 查詢數據
圖片
其實采集原理是非常簡單的，就是通過掛載宿主機的容器日志目錄 /var/lib/docker/containers 到容器的 /var/lib/docker/containers。
圖片
但是通過這種掛載宿主機容器目錄有個弊端，就是只能采集 pod 標準輸出的日志，其它日志是收集不到的，下篇文章將介紹另外兩種方式采集來解決這個問題。
