通過 Docker-Compose 快速部署 Elasticsearch 和 Kibana 保姆級教程

作者：liugp 2023-10-23 00:06:29

Elasticsearch 是一個開源的分布式搜索和分析引擎，最初由 Elasticsearch N.V.（現(xiàn)在是 Elastic N.V.）開發(fā)并維護。它是基于 Apache Lucene 搜索引擎構建的，專門設計用于處理和分析大規(guī)模的數(shù)據(jù)，提供了強大的全文搜索、結構化數(shù)據(jù)存儲、分析和可視化功能。

一、概述

使用 Docker Compose 快速部署 Elasticsearch 和 Kibana 可以幫助您在本地或開發(fā)環(huán)境中輕松設置和管理這兩個重要的工具，用于存儲和可視化日志數(shù)據(jù)、監(jiān)控和搜索。以下是一個概述的步驟：

準備 Docker 和 Docker Compose：確保您已經(jīng)安裝了 Docker 和 Docker Compose。您可以從 Docker 官方網(wǎng)站上獲取它們的安裝程序。
創(chuàng)建 Docker Compose 配置文件：創(chuàng)建一個名為 docker-compose.yml 的文件，它將定義 Elasticsearch 和 Kibana 的容器配置。這個文件應該包括服務名稱、映像、環(huán)境變量、端口映射等信息。
配置 Elasticsearch：在 docker-compose.yml 文件中，配置 Elasticsearch 容器。您通常需要指定節(jié)點名稱、發(fā)現(xiàn)類型等設置。使用容器版本的 Elasticsearch 鏡像。
配置 Kibana：在 docker-compose.yml 文件中，配置 Kibana 容器。指定要監(jiān)聽的端口，并確保它依賴于 Elasticsearch 服務。
數(shù)據(jù)卷設置：在 docker-compose.yml 文件中，通常會使用數(shù)據(jù)卷來保存 Elasticsearch 數(shù)據(jù)。這確保了數(shù)據(jù)的持久性。
啟動容器：在終端中，導航到包含 docker-compose.yml 文件的目錄，并運行以下命令以啟動 Elasticsearch 和 Kibana。

docker-compose up -d
# -d 選項用于在后臺運行容器。

等待服務啟動：容器啟動后，等待一段時間以確保 Elasticsearch 和 Kibana 完全啟動。
訪問 Kibana 控制臺：打開您的瀏覽器，訪問 Kibana 控制臺的地址，默認情況下是：http://localhost:5601。默認情況下，Kibana 不需要用戶名和密碼。
開始使用：現(xiàn)在，您可以使用 Kibana 控制臺來管理和可視化 Elasticsearch 中的數(shù)據(jù)，執(zhí)行查詢、創(chuàng)建儀表板等操作。

這些步驟將幫助您快速部署 Elasticsearch 和 Kibana，以便進行日志分析、數(shù)據(jù)可視化和搜索等操作。請注意，您可以根據(jù)需要在 docker-compose.yml 文件中更改版本和配置選項。確保您的系統(tǒng)資源足夠以支持 Elasticsearch 和 Kibana 的運行。

圖片

二、開始編排部署（Elasticsearch 和 Kibana）

分布式和實時：Elasticsearch是一個分布式系統(tǒng)，可以輕松地擴展到數(shù)百臺服務器，以處理大量數(shù)據(jù)。它提供了實時搜索和分析，可以在毫秒級別內響應查詢。
全文搜索：Elasticsearch 以其卓越的全文搜索能力而聞名，可以對大量文本數(shù)據(jù)進行高效的搜索。它支持分詞、模糊查詢、通配符搜索、近似匹配等功能。
結構化和非結構化數(shù)據(jù)：Elasticsearch 不僅支持全文搜索，還能夠存儲和索引結構化數(shù)據(jù)，如 JSON、XML 等。這使得它非常適用于存儲各種類型的數(shù)據(jù)，從日志和事件數(shù)據(jù)到產(chǎn)品目錄和傳感器數(shù)據(jù)。
多種用途：Elasticsearch 可用于多種用途，包括搜索引擎、日志和事件數(shù)據(jù)分析、性能監(jiān)控、安全信息與事件管理 (SIEM)、文檔存儲、實時儀表板和可視化等。
RESTful API：Elasticsearch 提供了一個易于使用的 RESTful API，使開發(fā)人員能夠通過 HTTP 請求執(zhí)行各種操作，包括索引管理、搜索、分析和聚合。
分析和聚合：Elasticsearch 提供了豐富的分析和聚合功能，允許您從數(shù)據(jù)中提取有價值的見解。您可以執(zhí)行聚合操作，生成圖表和儀表板，以可視化數(shù)據(jù)。
插件生態(tài)系統(tǒng)：Elasticsearch 具有豐富的插件生態(tài)系統(tǒng)，可以通過插件擴展其功能，包括監(jiān)控、安全、報告等。
安全性：Elasticsearch 提供了安全特性，包括身份驗證、授權、傳輸層加密和字段級別的安全性，以保護數(shù)據(jù)免受未經(jīng)授權的訪問。
強大的社區(qū)支持：Elasticsearch 擁有廣泛的社區(qū)支持，有大量的文檔、教程和第三方工具可用于幫助您學習和使用它。
商業(yè)支持：Elastic N.V. 提供了 Elasticsearch 的商業(yè)支持和托管服務，以滿足企業(yè)級需求。

總之，Elasticsearch 是一個強大且多才多藝的搜索和分析引擎，適用于各種用途，從全文搜索到日志分析和可視化數(shù)據(jù)。它在各種行業(yè)中被廣泛使用，包括搜索引擎、電子商務、日志管理、安全信息與事件管理、科學研究和更多領域。

圖片

服務布局：

服務名稱/主機名	開放端口
node-1	9200	1G
node-2	9201	1G
node-3	9202	1G
kibana	5601	不限

1）部署 docker

# 安裝yum-config-manager配置工具
yum -y install yum-utils

# 建議使用阿里云yum源：（推薦）
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安裝docker-ce版本
yum install -y docker-ce
# 啟動并開機啟動
systemctl enable --now docker
docker --version

2）部署 docker-compose

curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose
docker-compose --version

3）創(chuàng)建網(wǎng)絡

# 創(chuàng)建
docker network create bigdata

# 查看
docker network ls

4）創(chuàng)建掛載目錄

#創(chuàng)建 es 目錄
chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins
# 創(chuàng)建kibana的配置目錄
mkdir -p ./kibana/config

#目錄授權
chmod 777 ./es/node-{1..3}/{config,data,log}
chmod 777 ./es/plugins
chmod 777 ./kibana/config

5）修改 Linux 句柄數(shù)

#查看當前最大句柄數(shù)
sysctl -a | grep vm.max_map_count
#修改句柄數(shù)
vi /etc/sysctl.conf
vm.max_map_count=262144

#臨時生效，修改后需要重啟才能生效，不想重啟可以設置臨時生效
sysctl -w vm.max_map_count=262144

6）修改句柄數(shù)和最大線程數(shù)

#修改后需要重新登錄生效
vi /etc/security/limits.conf

# 添加以下內容
* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096

# 重啟服務，-h 立刻重啟，默認間隔一段時間才會開始重啟
reboot -h now

7）添加 IK 分詞器

GitHub 下載地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

# 將下載的分詞器復制到ES安裝目錄的plugins目錄中并進行解壓

mkdir ./es/plugins/ik && cd ./es/plugins/ik
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip
unzip elasticsearch-analysis-ik-7.17.5.zip

8）編寫配置文件

1、node-1

./es/node-1/config/elasticsearch.yml

#集群名稱
cluster.name: elastic
#當前該節(jié)點的名稱
node.name: node-1
#是不是有資格競選主節(jié)點
node.master: true
#是否存儲數(shù)據(jù)
node.data: true
#最大集群節(jié)點數(shù)
node.max_local_storage_nodes: 3
#給當前節(jié)點自定義屬性（可以省略）
#node.attr.rack: r1
#數(shù)據(jù)存檔位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否開啟時鎖定內存（默認為是）
#bootstrap.memory_lock: true
#設置網(wǎng)關地址，我是被這個坑死了，這個地址我原先填寫了自己的實際物理IP地址，
#然后啟動一直報無效的IP地址，無法注入9300端口，這里只需要填寫0.0.0.0
network.host: 0.0.0.0
#設置映射端口
http.port: 9200
#內部節(jié)點之間溝通端口
transport.tcp.port: 9300
#集群發(fā)現(xiàn)默認值為127.0.0.1:9300,如果要在其他主機上形成包含節(jié)點的群集,如果搭建集群則需要填寫
#es7.x 之后新增的配置，寫入候選主節(jié)點的設備地址，在開啟服務后可以被選為主節(jié)點，也就是說把所有的節(jié)點都寫上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#當你在搭建集群的時候，選出合格的節(jié)點集群，有些人說的太官方了，
#其實就是，讓你選擇比較好的幾個節(jié)點，在你節(jié)點啟動時，在這些節(jié)點中選一個做領導者，
#如果你不設置呢，elasticsearch就會自己選舉，這里我們把三個節(jié)點都寫上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新啟動后阻止初始恢復，直到啟動N個節(jié)點
#簡單點說在集群啟動后，至少復活多少個節(jié)點以上，那么這個服務才可以被使用，否則不可以被使用，
gateway.recover_after_nodes: 2
#刪除索引是是否需要顯示其名稱，默認為顯示
#action.destructive_requires_name: true
# 禁用安全配置，否則查詢的時候會提示警告
xpack.security.enabled: false

2、node-2

./es/node-2/config/elasticsearch.yml

#集群名稱
cluster.name: elastic
#當前該節(jié)點的名稱
node.name: node-2
#是不是有資格競選主節(jié)點
node.master: true
#是否存儲數(shù)據(jù)
node.data: true
#最大集群節(jié)點數(shù)
node.max_local_storage_nodes: 3
#給當前節(jié)點自定義屬性（可以省略）
#node.attr.rack: r1
#數(shù)據(jù)存檔位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否開啟時鎖定內存（默認為是）
#bootstrap.memory_lock: true
#設置網(wǎng)關地址，我是被這個坑死了，這個地址我原先填寫了自己的實際物理IP地址，
#然后啟動一直報無效的IP地址，無法注入9300端口，這里只需要填寫0.0.0.0
network.host: 0.0.0.0
#設置映射端口
http.port: 9200
#內部節(jié)點之間溝通端口
transport.tcp.port: 9300
#集群發(fā)現(xiàn)默認值為127.0.0.1:9300,如果要在其他主機上形成包含節(jié)點的群集,如果搭建集群則需要填寫
#es7.x 之后新增的配置，寫入候選主節(jié)點的設備地址，在開啟服務后可以被選為主節(jié)點，也就是說把所有的節(jié)點都寫上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#當你在搭建集群的時候，選出合格的節(jié)點集群，有些人說的太官方了，
#其實就是，讓你選擇比較好的幾個節(jié)點，在你節(jié)點啟動時，在這些節(jié)點中選一個做領導者，
#如果你不設置呢，elasticsearch就會自己選舉，這里我們把三個節(jié)點都寫上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新啟動后阻止初始恢復，直到啟動N個節(jié)點
#簡單點說在集群啟動后，至少復活多少個節(jié)點以上，那么這個服務才可以被使用，否則不可以被使用，
gateway.recover_after_nodes: 2
#刪除索引是是否需要顯示其名稱，默認為顯示
#action.destructive_requires_name: true
# 禁用安全配置，否則查詢的時候會提示警告
xpack.security.enabled: false

3、node-3

./es/node-3/config/elasticsearch.yml

#集群名稱
cluster.name: elastic
#當前該節(jié)點的名稱
node.name: node-3
#是不是有資格競選主節(jié)點
node.master: true
#是否存儲數(shù)據(jù)
node.data: true
#最大集群節(jié)點數(shù)
node.max_local_storage_nodes: 3
#給當前節(jié)點自定義屬性（可以省略）
#node.attr.rack: r1
#數(shù)據(jù)存檔位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否開啟時鎖定內存（默認為是）
#bootstrap.memory_lock: true
#設置網(wǎng)關地址，我是被這個坑死了，這個地址我原先填寫了自己的實際物理IP地址，
#然后啟動一直報無效的IP地址，無法注入9300端口，這里只需要填寫0.0.0.0
network.host: 0.0.0.0
#設置映射端口
http.port: 9200
#內部節(jié)點之間溝通端口
transport.tcp.port: 9300
#集群發(fā)現(xiàn)默認值為127.0.0.1:9300,如果要在其他主機上形成包含節(jié)點的群集,如果搭建集群則需要填寫
#es7.x 之后新增的配置，寫入候選主節(jié)點的設備地址，在開啟服務后可以被選為主節(jié)點，也就是說把所有的節(jié)點都寫上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#當你在搭建集群的時候，選出合格的節(jié)點集群，有些人說的太官方了，
#其實就是，讓你選擇比較好的幾個節(jié)點，在你節(jié)點啟動時，在這些節(jié)點中選一個做領導者，
#如果你不設置呢，elasticsearch就會自己選舉，這里我們把三個節(jié)點都寫上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新啟動后阻止初始恢復，直到啟動N個節(jié)點
#簡單點說在集群啟動后，至少復活多少個節(jié)點以上，那么這個服務才可以被使用，否則不可以被使用，
gateway.recover_after_nodes: 2
#刪除索引是是否需要顯示其名稱，默認為顯示
#action.destructive_requires_name: true
# 禁用安全配置，否則查詢的時候會提示警告
xpack.security.enabled: false

4、kibana

./kibana/config/kibana.yml

server.host: 0.0.0.0
# 監(jiān)聽端口
server.port: 5601
server.name: "kibana"

# kibana訪問es服務器的URL,就可以有多個，以逗號","隔開
elasticsearch.hosts: ["http://node-1:9200","http://node-2:9201","http://node-3:9202"]
monitoring.ui.container.elasticsearch.enabled: true
# kibana訪問Elasticsearch的賬號與密碼(如果ElasticSearch設置了的話)
elasticsearch.username: "kibana"
elasticsearch.password: "12345"

# kibana日志文件存儲路徑
logging.dest: stdout
# 此值為true時，禁止所有日志記錄輸出
logging.silent: false
# 此值為true時，禁止除錯誤消息之外的所有日志記錄輸出
logging.quiet: false
# 此值為true時，記錄所有事件，包括系統(tǒng)使用信息和所有請求
logging.verbose: false

ops.interval: 5000
# kibana web語言
i18n.locale: "zh-CN"

9）構建鏡像

這里就用別人已經(jīng)構建好的好的鏡像，不再重復構建鏡像了，如果不了解怎么構建鏡像，可以私信我。

### ES
docker pull elasticsearch:7.17.5
# tag
docker tag docker.io/library/elasticsearch:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
# 登錄將鏡像推送到阿里云
docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5

### kibana
docker pull docker.io/library/kibana:7.17.5
docker tag docker.io/library/kibana:7.17.5 registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
docker push registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5

10）編排 docker-compose.yml

version: "3"
services:
  node-1:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
    container_name: node-1
    hostname: node-1
    environment:
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
      - "TZ=Asia/Shanghai"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    ports:
      - "9200:9200"
    logging:
      driver: "json-file"
      options:
        max-size: "50m"
    volumes:
      - ./es/node-1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./es/plugins:/usr/share/elasticsearch/plugins
      - ./es/node-1/data:/usr/share/elasticsearch/data
      - ./es/node-1/log:/usr/share/elasticsearch/log
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5
  node-2:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
    container_name: node-2
    hostname: node-2
    environment:
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
      - "TZ=Asia/Shanghai"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    ports:
      - "9201:9200"
    logging:
      driver: "json-file"
      options:
        max-size: "50m"
    volumes:
      - ./es/node-2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./es/plugins:/usr/share/elasticsearch/plugins
      - ./es/node-2/data:/usr/share/elasticsearch/data
      - ./es/node-2/log:/usr/share/elasticsearch/log
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5
  node-3:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/elasticsearch:7.17.5
    container_name: node-3
    hostname: node-3
    environment:
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m"
      - "TZ=Asia/Shanghai"
    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65536
        hard: 65536
    ports:
      - "9202:9200"
    logging:
      driver: "json-file"
      options:
        max-size: "50m"
    volumes:
      - ./es/node-3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - ./es/plugins:/usr/share/elasticsearch/plugins
      - ./es/node-3/data:/usr/share/elasticsearch/data
      - ./es/node-3/log:/usr/share/elasticsearch/log
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:9200 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5
  kibana:
    container_name: kibana
    hostname: kibana
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kibana:7.17.5
    environment:
      TZ: 'Asia/Shanghai'
    volumes:
      - ./kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    ports:
      - 5601:5601
    networks:
      - bigdata
    healthcheck:
      test: ["CMD-SHELL", "curl -I http://localhost:5601 || exit 1"]
      interval: 10s
      timeout: 10s
      retries: 5

# 連接外部網(wǎng)絡
networks:
  bigdata:
    external: true

開始執(zhí)行部署

docker-compose up -d

# 查看
docker-compose ps

11）測試驗證

ES 訪問地址：http://ip:9200

docker-compose ps
curl localhost:9200
curl localhost:9200/_cat/health

圖片

kibana：http://ip:5601/

圖片

git 地址：https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git

責任編輯：武曉燕來源：大數(shù)據(jù)與云原生技術分享

分布式搜索 Elastic