Es7.x數據遷移實戰（Snapshot、S3）

作者：阿毛雜記 2022-04-08 09:54:43

今天咱們就來具體操作一下基于Snapshot方式來遷移數據，Snapshot更加適用于大數據量跨集群遷移數據。并且索引創建快照的過程是增量的。

前言

前面文章寫過ES的遷移方案，不同場景使用不同的遷移方案會事半功倍，今天咱們就來具體操作一下基于Snapshot方式來遷移數據，Snapshot更加適用于大數據量跨集群遷移數據。并且索引創建快照的過程是增量的。在給索引創建快照的過程中，Elasticsearch會分析存儲在倉庫中的索引文件并且只會復制那些自從上次快照之后新建或有所更新的文件。這使得多個快照以一種緊湊的方式存儲在同一個倉庫里。創建快照的過程是以非阻塞方式執行的。一個索引在創建快照的同時能夠被檢索和查詢。盡管如此，快照保存的是在開始進行創建快照的那個時間點的索引的視圖。所以，在開始創建快照之后的記錄不會出現在這個快照里。在主分片啟動之后創建快照的過程就會立即開始，并且之后不會改變位置。

操作

開門見山，直接上操作，咱們使用Kibana可視化桌面來操作，當然也可以直接使用CURL的方式。

安裝S3插件

除了S3，也可以使用本地存儲fs等，進入docker容器。

docker exec -it c76785ab5a8b bash
# 安裝插件
./bin/elasticsearch-plugin insyall repository-s3
exit

重啟容器(不建議這樣安裝，萬一容器掛了重新啟動后就會沒有，建議使用掛載的方式)。

docker restart c76785ab5a8b

查看是否安裝成功。

GET _cat/plugins
c76785ab5a8b analysis-ik 7.8.1
c76785ab5a8b repository-s3 7.8.1

顯示這樣表明安裝成功，一般情況下插件版本是和ES的版本對應的

創建倉庫

創建倉庫之前咱們先把minio的AK、SK在后臺配置(安全)，以同樣的方式進入docker中

./bin/elasticsearch-keystore add s3.client.default.access_key
./bin/elasticsearch-keystore add s3.client.default.secret_key

添加后退出重啟(不建議)。

然后開始創建倉庫。

PUT _snapshot/stock_backup
{
  "type": "s3",
  "settings": {
    "bucket": "stock",
    "protocol": "http",
    "disable_chunked_encoding": "true",
    "endpoint": "172.0.0.1:9000"
  }
}

驗證是否創建成功。

GET _snapshot/_all?pretty

{
  "stock_backup" : {
    "type" : "s3",
    "settings" : {
      "bucket" : "stock",
      "disable_chunked_encoding" : "true",
      "endpoint" : "172.0.0.1:9000",
      "protocol" : "http"
    }
  }
}

此時，倉庫已經創建好了，咱們直接備份數據。

備份

全量備份。

PUT _snapshot/stock_backup/snapshot_all

部分備份，例如：只備份其中的index。

當然也可以添加參數：

indices： 要本分的index，逗號分割。
max_wait: 最大等待時間。
wait_interval: 等待間隔。
wait_for_completion： 參數指定創建snapshot的請求是否等待快照創建完成再返回。
ignore_unavailable： 把這個選項設置為 true 的時候在創建快照的過程中會忽略不存在的索引。默認情況下，如果沒有設置 ignore_unavailable 在索引不存在的情況下快照請求將會失敗。
include_global_state： 為false 能夠防止集群的全局狀態被作為快照的一部分存儲起來。默認情況下，如果快照中的1個或多個索引不是全部主分片都可用會導致整個創建快照的過程失敗。通過設置 partial 為 true 可以改變這個行為。

PUT _snapshot/stock_backup/default_all
{
  "indices": "dec_default_news,dec_default_rate,dec_default_ha",
  "ignore_unavailable": true,
  "include_global_state": false
}

查看備份狀態。

GET _snapshot/stock_backup/default_all  # 查看單個

{
  "snapshots" : [
    {
      "snapshot" : "default_all",
      "uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
      "version_id" : 7080199,
      "version" : "7.8.1",
      "indices" : [
        "dec_default_news",
        "dec_default_rate",
        "dec_default_ha"
      ],
      "include_global_state" : false,
      "state" : "SUCCESS",
      "start_time" : "2022-04-02T03:16:09.842Z",
      "start_time_in_millis" : 1648869369842,
      "end_time" : "2022-04-02T03:16:09.842Z",
      "end_time_in_millis" : 1648869369842,
      "duration_in_millis" : 0,
      "failures" : [ ],
      "shards" : {
        "total" : 3,
        "failed" : 0,
        "successful" : 3
      }
    }
  ]
}
GET _snapshot/stock_backup/_all?pretty  # 查看所有
{
  "snapshots" : [
    {
      "snapshot" : "default_all",
      "uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
      "version_id" : 7080199,
      "version" : "7.8.1",
      "indices" : [
        "dec_default_news",
        "dec_default_rate",
        "dec_default_ha"
      ],
      "include_global_state" : false,
      "state" : "SUCCESS",
      "start_time" : "2022-04-02T03:16:09.842Z",
      "start_time_in_millis" : 1648869369842,
      "end_time" : "2022-04-02T03:16:09.842Z",
      "end_time_in_millis" : 1648869369842,
      "duration_in_millis" : 0,
      "failures" : [ ],
      "shards" : {
        "total" : 3,
        "failed" : 0,
        "successful" : 3
      }
    }
  ]
}

此時已經備份成功。

恢復

咱們的操作是跨集群的數據遷移，同樣的操作，在另一個集群里面創建相同的倉庫

PUT _snapshot/stock_backup
{
  "type": "s3",
  "settings": {
    "bucket": "stock",
    "protocol": "http",
    "disable_chunked_encoding": "true",
    "endpoint": "172.0.0.1:9000"
  }
}

然后看下現在有備份數據。

GET _snapshot/stock_backup/_all?pretty
{
  "snapshots" : [
    {
      "snapshot" : "default_all",
      "uuid" : "4ZgKyuBWTE2vtowAczIDpQ",
      "version_id" : 7080199,
      "version" : "7.8.1",
      "indices" : [
        "dec_default_news",
        "dec_default_rate",
        "dec_default_ha"
      ],
      "include_global_state" : false,
      "state" : "SUCCESS",
      "start_time" : "2022-04-02T03:16:09.842Z",
      "start_time_in_millis" : 1648869369842,
      "end_time" : "2022-04-02T03:16:09.842Z",
      "end_time_in_millis" : 1648869369842,
      "duration_in_millis" : 0,
      "failures" : [ ],
      "shards" : {
        "total" : 3,
        "failed" : 0,
        "successful" : 3
      }
    }
  ]
}

發現已經存在了備份的數據，此時只需要恢復就行。

POST _snapshot/stock_backup/default_all/_restore
{
  "acknowledged" : true
}

等待執行結束就OK。

GET _cat/indices
yellow open dec_default_news   HWykC-xpQVK0ZqK-3NjXVA 1 1     308    0   208kb   208kb
yellow open dec_default_rate   F3JFzHF-QK2AH_9IUmnacA 1 1  409471    0 221.5mb 221.5mb
yellow open dec_default_ha     c78OXNB1T3KafgVHj7TwiA 1 1     164    0 250.2kb 250.2kb

大功告成。

責任編輯：姜華來源：今日頭條