精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

Clickhouse備份與恢復+異機遠程備份腳本

數據庫 其他數據庫
Clickhouse 的數據備份有多種方式,其官方網站上就提供了多種備份方式可以參考,但是不同公司有不同的可用資源和業務需求,因此不存在一個通用的解決方案可以應對各種情況下的ClickHouse備份和恢復。

[[422996]]

Clickhouse 的數據備份有多種方式,其官方網站上就提供了多種備份方式可以參考,但是不同公司有不同的可用資源和業務需求,因此不存在一個通用的解決方案可以應對各種情況下的ClickHouse備份和恢復。 適用于 1GB 數據的方案可能并不適用于幾十 PB 數據的情況。 有多種具備各自優缺點的可能方法,將在下面對其進行討論。最好使用幾種方法而不是僅僅使用一種方法來彌補它們的各種缺點。

背景:

某項目clickhouse 數據庫遷移,數據量大約9億條單表,版本為clickhouse20,遷移前我先在本地做了一些列的備份測試,下面我把我在生產中選用的備份方法和遇到的種種小插曲和大家分享下

實驗環境:

官網下載的demo數據,大約有8G的測試數據

clickhouse 20.4.6

一、 文本文件導入導出

#說白了就是手動的把數據庫里的數據導出成特定的格式,再導入;這種方式!!不推薦!!!!除非你的數據庫真的很少,我當時從官網下載了一個demo 數據,手動導入導出,差點把我累死

導出:

  1. clickhouse-client --password helloword --query="select * from iot_dev.t_indicator_record FORMAT CSV" > iot_dev.t_indicator_record.csv 

導入: 注意FORMAT后面大寫

  1. cat iot_dev.t_indicator_record.csv | clickhouse-client --port 9008 --password helloword --query="INSERT INTO iot_dev.t_indicator_record FORMAT CSV" 

二、 拷貝數據目錄

#此方案和mysql 的冷數據恢復是一個方案,直接拷貝走clickhouse 的數據到另一臺機器上,修改下相關配置就可以直接啟動了,仔細的觀察一下 ClickHouse 在文件系統上的目錄結構(配置文件

/ect/clickhouse-server/config.xml 里面配置的 ),為了便于查看,只保留了 data 和 metadata 目錄。

  1. ├── data 
  2. │   ├── default 
  3. │   ├── system 
  4. │   │   ├── asynchronous_metric_log 
  5. │   │   ├── metric_log 
  6. │   │   ├── query_log 
  7. │   │   ├── query_thread_log 
  8. │   │   └── trace_log 
  9. ├── metadata 
  10. │   ├── default 
  11. │   │   └── v_table_size.sql 
  12. │   ├── default.sql 
  13. │   ├── system 
  14. │   │   ├── asynchronous_metric_log.sql 
  15. │   │   ├── metric_log.sql 
  16. │   │   ├── query_log.sql 
  17. │   │   ├── query_thread_log.sql 
  18. │   │   └── trace_log.sql 
Clickhouse備份與恢復+異機遠程備份腳本
  1. data 目錄里保存的是數據,每個數據庫一個目錄,內部每個表一個子目錄。 
  2. metadata 目錄里保存的是元數據,即數據庫和表結構。其中 
  3.         <database>.sql 是 創建數據庫的 DDL(ATTACH DATABASE default ENGINE = Ordinary) 
  4.         <database>/<table>.sql 是建表的 DDL (ATTACH TABLE ...) 

基于這個信息,直接把data和metadata目錄(要排除 system 庫)復制到新集群,即可實現數據遷移

實操步驟:

  1. 1、停止原先的clickhouse數據庫,并打包好 對應數據庫或表的 data 和 metadata 數據 
  2. 2、拷貝到目標clickhouse數據庫對應的目錄,比如/var/lib/clickhouse 目錄下 
  3. 3、給clickhouse 賦予權限, chown -Rf clickhouse:clickhouse /var/lib/clickhouse/* 
  4.                                                       chown -Rf clickhouse:clickhouse /var/lib/clickhouse 
  5. 4、重啟目標clickhouse數據庫 
  6. 5、驗證數據 
  7.         select count(1) form iot_dev.t_indicator_record; 

三、 使用第三方工具,clickhouse-backup

此方案,是我在測試的過程中使用最方便的備份與恢復工具,因此我會詳細的說下此工具的使用方法及需要注意的地方。

clickhouse-backup 是社區開源的一個 ClickHouse 備份工具,可用于實現數據遷移。其原理是先創建一個備份,然后從備份導入數據,類似 MySQL 的 mysqldump + SOURCE。這個工具可以作為常規的異地冷備方案

# 使用限制:

  • 支持1.1.54390以上的ClickHouse
  • 僅MergeTree系列表引擎
  • 不支持備份Tiered storage或storage_policy
  • 云存儲上的最大備份大小為5TB
  • AWS S3上的parts數最大為10,000

(1)、下載clickhouse-backup 軟件包

官方提供了二進制版本和rpm包的方式,我這里采用了二進制安裝

  1. github地址: https://github.com/AlexAkulov/clickhouse-backup 
  2.  
  3. 下載地址: https://github.com/AlexAkulov/clickhouse-backup/releases/download/v1.0.0/clickhouse-backup.tar.gz 
  1. #解壓軟件包 
  2. tar -xf clickhouse-backup.tar.gz -C /root 
  3.  
  4. #復制二進制文件到系統中 
  5. cp /root/clickhouse-backup /usr/bin 
  6.  
  7. #創建clickhouse-backup 配置文件目錄 
  8. mkdir -p /etc/clickhouse-backup 
  9.  
  10. #拷貝模板配置文件到clickhouse-backup 配置文件目錄下 
  11. cp /root/config.yml /etc/clickhouse-backup/ 

(2)、修改clickhouse-backup 配置文件config.yml

# 根據clickhouse自身的配置來修改 此配置文件,比如 clickhouse的數據目錄,數據庫密碼,監控地址及端口

官方的配置說明:

clickhouse-backup 除了備份到本機,此外還支持遠程備份的方式,備份到s3 上【對象存儲】,ftp,sftp 上,還支持 使用 api 接口 訪問

  1. general: 
  2.   remote_storage: none           # REMOTE_STORAGE,遠程備份的方式,對應下面的【azblo,s3,gcs,api,ftp,sftp】 
  3.   max_file_size: 107374182400    # MAX_FILE_SIZE 
  4.   disable_progress_bar: false    # DISABLE_PROGRESS_BAR 
  5.   backups_to_keep_local: 0       # BACKUPS_TO_KEEP_LOCAL, 本地備份保留個數 ,0為不限制 
  6.   backups_to_keep_remote: 0      # BACKUPS_TO_KEEP_REMOTE,遠程的備份保留個數,0為不限制 
  7.   log_level: info                # LOG_LEVEL,日志等級 
  8.   allow_empty_backups: false     # ALLOW_EMPTY_BACKUPS 
  9. clickhouse: 
  10.   username: default                # CLICKHOUSE_USERNAME,數據庫用戶名,默認 
  11.   password""                     # CLICKHOUSE_PASSWORD,數據庫密碼 
  12.   host: localhost                  # CLICKHOUSE_HOST,數據庫實例地址 
  13.   port: 9000                       # CLICKHOUSE_PORT,數據庫連接端口 
  14.   disk_mapping: {}                 # CLICKHOUSE_DISK_MAPPING 
  15.   skip_tables:                     # CLICKHOUSE_SKIP_TABLES ,備份時,需要忽略的庫表 
  16.     - system.* 
  17.   timeout: 5m                      # CLICKHOUSE_TIMEOUT 
  18.   freeze_by_part: false            # CLICKHOUSE_FREEZE_BY_PART 
  19.   secure: false                    # CLICKHOUSE_SECURE 
  20.   skip_verify: false               # CLICKHOUSE_SKIP_VERIFY 
  21.   sync_replicated_tables: true     # CLICKHOUSE_SYNC_REPLICATED_TABLES 
  22.   log_sql_queries: true            # CLICKHOUSE_LOG_SQL_QUERIES 
  23.  
  24.   config_dir:      "/etc/clickhouse-server"              # CLICKHOUSE_CONFIG_DIR 
  25.   restart_command: "systemctl restart clickhouse-server" # CLICKHOUSE_RESTART_COMMAND 
  26.  
  27. azblob: 
  28.   endpoint_suffix: "core.windows.net" # AZBLOB_ENDPOINT_SUFFIX 
  29.   account_name: ""             # AZBLOB_ACCOUNT_NAME 
  30.   account_key: ""              # AZBLOB_ACCOUNT_KEY 
  31.   sas: ""                      # AZBLOB_SAS 
  32.   container: ""                # AZBLOB_CONTAINER 
  33.   path: ""                     # AZBLOB_PATH 
  34.   compression_level: 1         # AZBLOB_COMPRESSION_LEVEL 
  35.   compression_format: tar      # AZBLOB_COMPRESSION_FORMAT 
  36.   sse_key: ""                  # AZBLOB_SSE_KEY 
  37. s3: 
  38.   access_key: ""                   # S3_ACCESS_KEY,<AWS訪問密鑰> 
  39.   secret_key: ""                   # S3_SECRET_KEY 
  40.   bucket: ""                       # S3_BUCKET,<存儲桶BUCKET名稱> 
  41.   endpoint: ""                     # S3_ENDPOINT 
  42.   region: us-east-1                # S3_REGION 
  43.   acl: private                     # S3_ACL 
  44.   force_path_style: false          # S3_FORCE_PATH_STYLE 
  45.   path: ""                         # S3_PATH , <備份路徑> 
  46.   disable_ssl: false               # S3_DISABLE_SSL 
  47.   compression_level: 1             # S3_COMPRESSION_LEVEL 
  48.   # supports 'tar''gzip''zstd''brotli' 
  49.   compression_format: tar          # S3_COMPRESSION_FORMAT 
  50.   # empty (default), AES256, or aws:kms 
  51.   sse: AES256                      # S3_SSE 
  52.   disable_cert_verification: false # S3_DISABLE_CERT_VERIFICATION 
  53.   storage_class: STANDARD          # S3_STORAGE_CLASS 
  54.   debug: false                     # S3_DEBUG 
  55. gcs: 
  56.   credentials_file: ""         # GCS_CREDENTIALS_FILE 
  57.   credentials_json: ""         # GCS_CREDENTIALS_JSON 
  58.   bucket: ""                   # GCS_BUCKET 
  59.   path: ""                     # GCS_PATH 
  60.   compression_level: 1         # GCS_COMPRESSION_LEVEL 
  61.   compression_format: tar      # GCS_COMPRESSION_FORMAT 
  62. cos: 
  63.   url: ""                      # COS_URL 
  64.   timeout: 2m                  # COS_TIMEOUT 
  65.   secret_id: ""                # COS_SECRET_ID 
  66.   secret_key: ""               # COS_SECRET_KEY 
  67.   path: ""                     # COS_PATH 
  68.   compression_format: tar      # COS_COMPRESSION_FORMAT 
  69.   compression_level: 1         # COS_COMPRESSION_LEVEL 
  70. api: 
  71.   listen: "localhost:7171"     # API_LISTEN 
  72.   enable_metrics: true         # API_ENABLE_METRICS 
  73.   enable_pprof: false          # API_ENABLE_PPROF 
  74.   username: ""                 # API_USERNAME 
  75.   password""                 # API_PASSWORD 
  76.   secure: false                # API_SECURE 
  77.   certificate_file: ""         # API_CERTIFICATE_FILE 
  78.   private_key_file: ""         # API_PRIVATE_KEY_FILE 
  79.   create_integration_tables: false # API_CREATE_INTEGRATION_TABLES 
  80. ftp: 
  81.   address: ""                  # FTP_ADDRESS 
  82.   timeout: 2m                  # FTP_TIMEOUT 
  83.   username: ""                 # FTP_USERNAME 
  84.   password""                 # FTP_PASSWORD 
  85.   tls: false                   # FTP_TLS 
  86.   path: ""                     # FTP_PATH 
  87.   compression_format: tar      # FTP_COMPRESSION_FORMAT 
  88.   compression_level: 1         # FTP_COMPRESSION_LEVEL 
  89.   debug: false                 # FTP_DEBUG 
  90. sftp: 
  91.   address: ""                  # SFTP_ADDRESS 
  92.   username: ""                 # SFTP_USERNAME 
  93.   password""                 # SFTP_PASSWORD 
  94.   key""                      # SFTP_KEY 
  95.   path: ""                     # SFTP_PATH 
  96.   compression_format: tar      # SFTP_COMPRESSION_FORMAT 
  97.   compression_level: 1         # SFTP_COMPRESSION_LEVEL 

 我本次使用的配置文件,就是最簡單的配置,直接本地備份,然后通過執行腳本的方式去推送備份文件到備份主機上

  1. [root@localhost clickhouse-backup]# cat config.yml  
  2.  
  3. general: 
  4.   max_file_size: 1099511627776 
  5.   disable_progress_bar: false 
  6.   backups_to_keep_local: 0 
  7.   backups_to_keep_remote: 0 
  8.   log_level: info 
  9.   allow_empty_backups: false 
  10. clickhouse: 
  11.   username: default 
  12.   password"" 
  13.   host: localhost 
  14.   port: 9000 
  15.   disk_mapping: {} 
  16.   skip_tables: 
  17.   - system.* 
  18.   - default.* 
  19.   timeout: 5m 
  20.   freeze_by_part: false 
  21.   secure: false 
  22.   skip_verify: false 
  23.   sync_replicated_tables: true 
  24.   skip_sync_replica_timeouts: true 
  25.   log_sql_queries: false 

 (3)、查看clickhouse-backup 相關命令

  1. NAME
  2.    clickhouse-backup - Tool for easy backup of ClickHouse with cloud support 
  3.  
  4. USAGE: 
  5.    clickhouse-backup <command> [-t, --tables=<db>.<table>] <backup_name> 
  6.  
  7. VERSION: 
  8.    1.0.0 
  9.  
  10. DESCRIPTION: 
  11.    Run as 'root' or 'clickhouse' user 
  12.  
  13. COMMANDS: 
  14.    tables          Print list of tables 
  15.    create          Create new backup 
  16.    create_remote   Create and upload 
  17.    upload          Upload backup to remote storage 
  18.    list            Print list of backups 
  19.    download        Download backup from remote storage 
  20.    restore         Create schema and restore data from backup 
  21.    restore_remote  Download and restore 
  22.    delete          Delete specific backup 
  23.    default-config  Print default config 
  24.    server          Run API server 
  25.    help, h         Shows a list of commands or help for one command 
  26.  
  27. GLOBAL OPTIONS: 
  28.    --config FILE, -c FILE  Config FILE name. (default: "/etc/clickhouse-backup/config.yml") [$CLICKHOUSE_BACKUP_CONFIG] 
  29.    --help, -h              show help 
  30.    --version, -v           print the version 

1、 查看全部默認的配置項

  1. clickhouse-backup default-config 

2、 查看可備份的表【已在配置文件中過濾掉system和default 庫下面的所有表】

  1. [root@localhost clickhouse-backup]# clickhouse-backup tablesbrdatasets.hits_v1  1.50GiB  default  

3、 創建備份

#全庫備份

  1. clickhouse-backup create 
  2. 2021/09/06 10:03:23  info done                      backup=2021-09-06T14-03-23 operation=create table=datasets.hits_v1 
  3. 2021/09/06 10:03:23  info done                      backup=2021-09-06T14-03-23 operation=create 

備份存儲在中 $data_path/backup 下,備份名稱默認為時間戳,可手動指定備份名稱

  1. clickhouse-backup create fxkjnj_0906 

備份包含兩個目錄:

  • metadata目錄: 包含重新創建所需的DDL SQL
  • shadow目錄: 包含作為ALTER TABLE ... FREEZE操作結果的數據
  1. [root@localhost backup]# ll /var/lib/clickhouse/backup/2021-09-06T14-03-23/ 
  2. total 4 
  3. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:03 metadata 
  4. -rw-r----- 1 clickhouse clickhouse 865 Sep  6 10:03 metadata.json 
  5. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:03 shadow 

 #單表備份

  1. clickhouse-backup create [-t, --tables=<db>.<table>] <backup_name> 

備份表datasets.hits_v1

  1. clickhouse-backup create  -t datasets.hits_v1 

備份多個表datasets.hits_v1, datasets.hits_v2

  1. clickhouse-backup create  -t datasets.hits_v1,datasets.hits_v2 

4、查看備份記錄

  1. [root@localhost datasets]# clickhouse-backup list 
  2. 2021-09-06T14-03-23   1.50GiB   06/09/2021 14:03:23   local       
  3. 2021/09/06 10:10:50 error InvalidParameter: 1 validation error(s) found. 
  4. - minimum field size of 1, ListObjectsV2Input.Bucket. 

 5、刪除備份文件

  1. [root@localhost datasets]# clickhouse-backup delete local 2021-09-06T14-03-23 

(4)、數據恢復

語法:

clickhouse-backup restore 備份名

  1. [root@localhost shadow]# clickhouse-backup restore --help 
  2. NAME
  3.    clickhouse-backup restore - Create schema and restore data from backup 
  4.  
  5. USAGE: 
  6.    clickhouse-backup restore  [-t, --tables=<db>.<table>] [-s, --schema] [-d, --data] [--rm, --drop] <backup_name> 
  7.  
  8. OPTIONS: 
  9.    --config FILE, -c FILE                   Config FILE name. (default: "/etc/clickhouse-backup/config.yml") [$CLICKHOUSE_BACKUP_CONFIG] 
  10.    --table value, --tables value, -t value   
  11.    --schema, -s                             Restore schema only 
  12.    --data, -d                               Restore data only 
  13.    --rm, --drop                             Drop table before restore 

參數:

  • --table 只恢復特定表,可使用正則。如針對特定的數據庫:--table=dbname.*
  • --schema 只還原表結構
  • --data 只還原數據
  • --rm 數據恢復之前,先刪除需要恢復的表

四、使用clickhouse-backup備份與恢復數據-實戰

4.1 、本機備份與恢復

1、備份前,先查看數據庫里的數據量,一共是17747796條數據

  1. 1、備份前,先查看數據庫里的數據量,一共是17747796條數據 
  2. [root@localhost ~]# clickhouse-client 
  3. ClickHouse client version 20.4.6.53 (official build). 
  4. Connecting to localhost:9000 as user default
  5. Connected to ClickHouse server version 20.4.6 revision 54434. 
  6. localhost :)  
  7. localhost :) select count(1) from datasets.hits_v1; 
  8.  
  9. SELECT count(1) 
  10. FROM datasets.hits_v1 
  11.  
  12. ┌─count(1)─┐ 
  13. │ 17747796 │ 
  14. └──────────┘ 
  15.  
  16. rows in set. Elapsed: 0.016 sec.  
  17.  
  18. localhost :) exit 
  19.  
  20.  
  21.  
  22. 2、創建clickhouse-backup配置文件,本地備份文件最多保留7個 
  23.  
  24. [root@localhost ~]# vim /etc/clickhouse-backup/config.yml  
  25. general: 
  26.   max_file_size: 1099511627776 
  27.   disable_progress_bar: false 
  28.   backups_to_keep_local: 7 
  29.   log_level: info 
  30.   allow_empty_backups: false 
  31. clickhouse: 
  32.   username: default 
  33.   password"helloword" 
  34.   host: localhost 
  35.   port: 9000 
  36.   disk_mapping: {} 
  37.   skip_tables: 
  38.   - system.* 
  39.   - default.* 
  40.   timeout: 5m 
  41.   freeze_by_part: false 
  42.   secure: false 
  43.   skip_verify: false 
  44.   sync_replicated_tables: true 
  45.   skip_sync_replica_timeouts: true 
  46.   log_sql_queries: false 
  47.  
  48.  
  49. 3、查看可備份的表 
  50. [root@localhost backup]# clickhouse-backup tables 
  51. datasets.hits_v1  1.50GiB  default   
  52.  
  53.  
  54. 4、使用clickhouse-backup 做個備份 
  55. [root@localhost clickhouse]# clickhouse-backup create 
  56. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create table=datasets.hits_v1 
  57. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create 
  58.  
  59.  
  60.  
  61. 5、模擬進行數據破壞,!!!生產環境勿用!!!此處為測試 
  62. [root@localhost clickhouse]# clickhouse-client  
  63. ClickHouse client version 20.4.6.53 (official build). 
  64. Connecting to localhost:9000 as user default
  65. Connected to ClickHouse server version 20.4.6 revision 54434. 
  66.  
  67. localhost :) drop database datasets; 
  68. DROP DATABASE datasets 
  69. Ok. 
  70. rows in set. Elapsed: 0.002 sec.  
  71.  
  72. SHOW DATABASES 
  73. ┌─name───────────────────────────┐ 
  74. │ _temporary_and_external_tables │ 
  75. │ default                        │ 
  76. │ system   
  77. │ test 
  78. └────────────────────────────────┘ 
  79. rows in set. Elapsed: 0.002 sec.  
  80.  
  81.  
  82.  
  83.  
  84. 6、恢復數據庫 
  85. [root@localhost backup]# clickhouse-backup restore 2021-09-06T14-50-42 -s -d --rm 
  86. 2021/09/06 10:57:04  info done                      backup=2021-09-06T14-50-42 operation=restore table=datasets.hits_v1 
  87. 2021/09/06 10:57:04  info done                      backup=2021-09-06T14-50-42 operation=restore 
  88.  
  89.  
  90. 7、驗證數據庫,查看數據是否復原,數據量是否匹配 
  91.  
  92. [root@localhost backup]# clickhouse-client  
  93. ClickHouse client version 20.4.6.53 (official build). 
  94. Connecting to localhost:9000 as user default
  95. Connected to ClickHouse server version 20.4.6 revision 54434. 
  96.  
  97. localhost :) show databases; 
  98.  
  99. SHOW DATABASES 
  100. ┌─name───────────────────────────┐ 
  101. │ _temporary_and_external_tables │ 
  102. │ datasets                       │ 
  103. │ default                        │ 
  104. │ system                         │ 
  105. │ test                           │ 
  106. └────────────────────────────────┘ 
  107. rows in set. Elapsed: 0.002 sec.  
  108.  
  109. localhost :) select count(1) from datasets.hits_v1; 
  110.  
  111. SELECT count(1) 
  112. FROM datasets.hits_v1 
  113.  
  114. ┌─count(1)─┐ 
  115. │ 17747796 │ 
  116. └──────────┘ 
  117.  
  118. rows in set. Elapsed: 0.020 sec.  
  119.  
  120. localhost :)  

4.2、異機遠程備份與恢復

所謂異機遠程備份,就是指將備份好的文件,同步傳輸到遠程 專業的存儲服務器,往往這些存儲服務器都是大存儲,可以備份存儲1年甚至幾年的數據庫備份都沒問題

環境:

clickhouse 數據庫 192.168.99.102

存儲服務器 192.168.99.101

  1. 1、備份前,先查看數據庫里的數據量,一共是17747796條數據 
  2. [root@localhost ~]# clickhouse-client 
  3. ClickHouse client version 20.4.6.53 (official build). 
  4. Connecting to localhost:9000 as user default
  5. Connected to ClickHouse server version 20.4.6 revision 54434. 
  6. localhost :)  
  7. localhost :) select count(1) from datasets.hits_v1; 
  8.  
  9. SELECT count(1) 
  10. FROM datasets.hits_v1 
  11.  
  12. ┌─count(1)─┐ 
  13. │ 17747796 │ 
  14. └──────────┘ 
  15.  
  16. rows in set. Elapsed: 0.016 sec.  
  17.  
  18. localhost :) exit 
  19.  
  20.  
  21.  
  22. 2、創建clickhouse-backup配置文件,本地備份文件最多保留7個 
  23.  
  24. [root@localhost ~]# vim /etc/clickhouse-backup/config.yml  
  25. general: 
  26.   max_file_size: 1099511627776 
  27.   disable_progress_bar: false 
  28.   backups_to_keep_local: 7 
  29.   log_level: info 
  30.   allow_empty_backups: false 
  31. clickhouse: 
  32.   username: default 
  33.   password"helloword" 
  34.   host: localhost 
  35.   port: 9000 
  36.   disk_mapping: {} 
  37.   skip_tables: 
  38.   - system.* 
  39.   - default.* 
  40.   timeout: 5m 
  41.   freeze_by_part: false 
  42.   secure: false 
  43.   skip_verify: false 
  44.   sync_replicated_tables: true 
  45.   skip_sync_replica_timeouts: true 
  46.   log_sql_queries: false 
  47.  
  48.  
  49. 3、查看可備份的表 
  50. [root@localhost backup]# clickhouse-backup tables 
  51. datasets.hits_v1  1.50GiB  default   
  52.  
  53.  
  54. 4、使用clickhouse-backup 做個備份 
  55. [root@localhost clickhouse]# clickhouse-backup create 
  56. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create table=datasets.hits_v1 
  57. 2021/09/06 10:50:42  info done                      backup=2021-09-06T14-50-42 operation=create 
  58.  
  59.  
  60.  
  61. 5、使用SCP 將備份文件,傳輸到存儲服務器上 
  62. [root@localhost clickhouse]#  scp -rp /var/lib/clickhouse/backup/2021-09-06T14-50-42 fxkjnj@192.168.99.101:/data/clickhouse-backup/ 
  63.  
  64. 6、登錄到存儲服務器 ,查看備份數據是否存在 
  65. [root@localhost clickhouse]# ll /data/clickhouse-backup/2021-09-06T14-50-42 
  66. total 4 
  67. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:50 metadata 
  68. -rw-r----- 1 clickhouse clickhouse 865 Sep  6 10:50 metadata.json 
  69. drwxr-x--- 3 clickhouse clickhouse  22 Sep  6 10:50 shadow 

五、使用腳本定期異機遠程備份

環境: clickhouse 數據庫 192.168.99.102 存儲服務器 192.168.99.101

條件:

  • 存儲服務器 建立備份目錄,/data/clickhouse-back
  • clickhouse 數據庫 可以免密到 存儲服務器 上,免密傳輸備份文件
  1. vim  /var/lib/clickhouse/clickhouse-backup.sh 
  2. #!/bin/bash 
  3. #Author        fxkjnj.com 
  4. #################################################### 
  5. ## 
  6. ##      clickhouse-back script 
  7. ##      backup data at remote host 
  8. ##      you should config ssh trust 
  9. ##  
  10. #################################################### 
  11.  
  12.  
  13.  
  14. MSNAME=yz 
  15. BAKFILE=$MSNAME-`date +%Y%m%d%H%M%S` 
  16. LOCAL_BAKDIR=/var/lib/clickhouse/backup 
  17.  
  18. REMOTE_BAKDIR=/data/clickhouse-back 
  19. REMOTE_HOST=root@192.168.99.101 
  20.  
  21.  
  22.  
  23. #備份到本地 
  24. /usr/bin/clickhouse-backup create $BAKFILE 
  25. if [[ $? != 0 ]]; then 
  26.     echo "clickhouse-backup Create FAILED" > /var/log/clickhouse-backup.log 
  27.     exit 
  28. else 
  29. #SCP備份到遠程主機 
  30. scp -rp $LOCAL_BAKDIR/$BAKFILE $REMOTE_HOST:$REMOTE_BAKDIR/ 
  31.     if [[ $? != 0 ]]; then 
  32.         echo "clickhouse-backup FAILED" > /var/log/clickhouse-backup.log 
  33.     else 
  34.         echo "clickhouse-backup successful" > /var/log/clickhouse-backup.log 
  35.     fi 
  36. fi 
  37.  
  38.  
  39. #定期刪除遠程備份文件 
  40. ssh $REMOTE_HOST  "find $REMOTE_BAKDIR/yz* -maxdepth 0 -mtime +30 -type d | xargs rm -rf {}" 

六、常見問題

1、問題現象:使用clickhouse-backup 恢復數據時,提示UUID 問題

  1. clickhouse-backup restore 2021-08-21T06-35-10 -s -d --rm 
  2. 2021/08/21 14:40:51 error can't create table `default`.`t`: code: 57, message:  
  3. Directory for table data store/c57/c5780d8a-7d5a-47a3-8578-0d8a7d5a37a3/ already exists after 1 times, please check your schema depencncies 

 解決方法:

  1. 去掉  備份文件中  ${backup_path}/2021-08-21T06-35-10/metadata/default/t.json 中的UUID 
  2. UUID '80ea6411-9c37-4d47-80ea-64119c374d47' 
  3.  
  4.  
  5. 再次執行恢復 
  6. clickhouse-backup restore 2021-08-21T06-35-10 -s -d --rm 
  7.  
  8. SELECT count(1) 
  9. FROM datasets.hits_v1 
  10.  
  11. ┌─count(1)─┐ 
  12. │ 17747796 │ 
  13. └──────────┘ 
  14.  
  15. rows in set. Elapsed: 0.016 sec.  
  16.  
  17. localhost :) exit 

 

責任編輯:姜華 來源: 今日頭條
相關推薦

2010-05-26 10:25:50

MySQLdump增量

2010-05-20 11:17:41

虛擬機備份恢復

2017-05-08 10:08:54

災備

2022-08-09 11:25:52

數據備份服務器虛擬化磁盤

2011-03-25 13:43:56

CactiEZ備份

2016-11-18 15:42:06

存儲

2022-08-26 17:22:12

SQL數據庫

2017-04-27 09:05:08

備份寶災備

2009-06-24 10:44:08

2018-04-17 08:24:58

2013-07-18 10:41:11

VADPSRM

2024-04-18 09:20:43

PostgreSQL關系型數據庫數據庫管理系統

2017-04-24 14:29:42

存儲備份寶災備

2017-10-14 13:25:40

公有云Azure Site 云服務

2009-04-03 10:54:49

Oracle備份恢復

2014-09-16 16:37:12

NETGEARReadyRECOVE數據備份

2022-02-23 21:10:53

LonghornKubernetes快照

2010-04-22 15:14:12

Aix操作系統

2020-12-16 20:30:24

Linux系統備份系統恢復

2015-10-21 14:07:17

Oracle備份Oracle恢復
點贊
收藏

51CTO技術棧公眾號

水蜜桃av无码| 成年人网站免费视频| 一区二区日韩在线观看| 欧美一区91| 亚洲国产黄色片| 青青草精品视频在线观看| 二区在线播放| av电影在线观看一区| 国产精品久久久久久久久免费| 神马久久精品综合| 麻豆成人入口| 6080亚洲精品一区二区| 成人羞羞国产免费网站| 黄色成人在线| 久久久久久电影| 99热在线播放| 这里只有精品免费视频| 欧美成人日韩| 国产一区二区免费| 天天躁日日躁狠狠躁av麻豆男男| 亚洲成人不卡| 激情亚洲一区二区三区四区| 欧美成人一二三| 最新在线黄色网址| 国产高清视频一区二区| 欧美视频免费在线观看| 狠狠干视频网站| 成人18在线| 久久影院视频免费| 国产精品xxx在线观看www| 亚洲最大成人av| 三级亚洲高清视频| 欧美劲爆第一页| 精品亚洲乱码一区二区| 成人直播大秀| 亚洲欧美中文字幕| 色天使在线视频| 91精品久久久久久综合五月天| 欧美精品一二三| 欧美性猛交xxx乱久交| 漫画在线观看av| 亚洲一区二区偷拍精品| 视色,视色影院,视色影库,视色网| 国产主播福利在线| 久久久午夜电影| 久久国产精品久久精品国产| 日本免费一区视频| 国产成人精品www牛牛影视| 成人免费视频97| 一级黄色片网站| 另类小说一区二区三区| 国产精品视频xxxx| 日韩乱码一区二区三区| 日本伊人色综合网| 国产精品h片在线播放| 免费黄在线观看| 影视先锋久久| 亚洲欧美日韩中文视频| 少妇久久久久久久久久| 久久爱www成人| 亚洲一级免费视频| 无码少妇一区二区| 成人一区不卡| www欧美日韩| 日韩va亚洲va欧美va清高| 综合久久99| 欧美激情xxxx性bbbb| 国产亚洲精品久久久久久无几年桃| 国产精品mm| 午夜精品在线视频| 91在线视频在线观看| 久久精品女人| 国产在线精品自拍| www.黄色一片| 91在线免费播放| 日本在线视频一区| av大片在线播放| 中文字幕在线播放不卡一区| 国产精品无码乱伦| 国产丝袜精品丝袜| 色香色香欲天天天影视综合网| 少妇激情一区二区三区| 91成人福利社区| 精品国产乱码久久久久久闺蜜| 亚洲最大免费视频| 日韩精品二区| 欧美激情视频一区二区三区不卡 | 国产aⅴ爽av久久久久成人| 国产在线播放一区二区三区| 高清免费日韩| 国产黄在线观看免费观看不卡| 亚洲女子a中天字幕| 国产av国片精品| 亚洲精品.com| 日韩一区二区三区在线| 18禁裸乳无遮挡啪啪无码免费| 精品不卡一区| 欧美国产日韩中文字幕在线| 无码人妻久久一区二区三区| 国产一区二区三区精品欧美日韩一区二区三区 | 国产精品一区二区91| 久久青青草原| av在线app| 色综合久久综合网97色综合| 亚洲成人手机在线观看| 日韩精品欧美大片| 久久精品视频在线| 久久久免费高清视频| 国产一区激情在线| 欧美日韩在线精品| 欧美hdxxxxx| 欧美久久久久久久久| 91精品国产自产| 欧美成人日韩| 成人福利在线观看| 国产一区电影| 精品国产福利在线| 99久久综合网| 国产精品国内免费一区二区三区| 欧美亚洲激情在线| 精品久久无码中文字幕| 中文字幕免费不卡在线| 1024av视频| 盗摄系列偷拍视频精品tp| 最新亚洲国产精品| chinese国产精品| 不卡视频一二三四| 99久热在线精品视频| 男女啪啪999亚洲精品| 精品香蕉在线观看视频一| 久久国产一级片| 国产专区欧美精品| 亚洲一区二区精品在线| 欧洲亚洲两性| 亚洲人成电影在线观看天堂色| 福利一区二区三区四区| 国产一区二区0| 小说区视频区图片区| 欧美日韩尤物久久| 亚洲系列中文字幕| 国产免费一区二区三区四区五区 | 国产一级精品aaaaa看| 黄网页在线观看| 欧美精品在线一区二区三区| 毛片aaaaaa| 日韩va亚洲va欧美va久久| 欧美黄色直播| 成人天堂yy6080亚洲高清 | 免费在线观看av片| 欧美日韩一区小说| 永久免费看mv网站入口| 国产麻豆一精品一av一免费| 青青草影院在线观看| 99久久这里有精品| 欧美成人中文字幕| 色wwwwww| 色综合久久久久| 国产sm调教视频| 裸体在线国模精品偷拍| 资源网第一页久久久| 精品一区二区三区中文字幕视频| 日韩欧美资源站| 欧美成人三级视频| www.欧美日韩| 国产女女做受ⅹxx高潮| 国产91一区| 成人黄色免费片| av网址在线看| 欧美精品一区二区久久婷婷| 国产福利拍拍拍| 久久久国产午夜精品| 我要看一级黄色大片| 一区二区三区网站| 国产精品美女黄网| 欧美自拍电影| 久久久国产精品x99av| 亚洲精品国产片| 欧美日韩性视频在线| 人与嘼交av免费| 精品制服美女丁香| 日本中文字幕在线视频观看| 要久久爱电视剧全集完整观看| 国产精品久久久久久久久久久不卡| 日本激情在线观看| 亚洲国产婷婷香蕉久久久久久| 丰满少妇xoxoxo视频| 国产精品免费视频一区| 香蕉视频免费网站| 日韩精品乱码免费| 成人在线免费观看视频网站| 偷拍自拍亚洲色图| 成人亚洲激情网| 手机在线理论片| 久久久av一区| 你懂得在线网址| 91麻豆精品国产91久久久使用方法| 日本亚洲欧美在线| 国产精品久久久久久久第一福利 | 日本a级片免费观看| 日韩中文在线电影| 精品国产aⅴ麻豆| 永久免费观看精品视频| 欧美一区视频在线| 亚洲国产精品精华素| 亚洲日本欧美日韩高观看| 国产视频第二页| 欧美色综合天天久久综合精品| 久久免费在线观看视频| 国产精品美女久久久久久2018| 波多野结衣加勒比| 狠狠色丁香久久婷婷综| 亚洲色成人一区二区三区小说| 欧美a级片一区| 一卡二卡3卡四卡高清精品视频| 日韩av字幕| 亚洲xxxx18| 欧洲成人一区| 日本精品视频在线观看| 毛片在线导航| 久久国产色av| 性开放的欧美大片| 国产一区二区三区在线视频| 无码国产精品一区二区免费16| 777奇米成人网| 中文字幕你懂的| 色欧美日韩亚洲| 日本在线视频免费| 亚洲妇熟xx妇色黄| 久久久精品人妻一区二区三区四| 中文字幕在线一区免费| 人人妻人人澡人人爽| 久久婷婷综合激情| a天堂视频在线观看| 成人三级在线视频| 欧美xxxx黑人| 国产福利一区二区三区在线视频| www.污污视频| 久久99国产精品麻豆| 午夜免费高清视频| 亚洲欧美成人| 国产在线青青草| 亚洲欧美日韩一区在线观看| 97国产精东麻豆人妻电影| 99热这里只有成人精品国产| 国产a级片网站| 影音先锋亚洲电影| 日本丰满少妇xxxx| 国产精品腿扒开做爽爽爽挤奶网站| 国产伦精品一区二区三区在线| 精品国产亚洲一区二区三区在线| 成人国产精品一区二区| 久久三级毛片| 国产一区二区在线播放| 未满十八勿进黄网站一区不卡| 国产精品入口尤物| 国产人妖一区| 91亚洲一区精品| 久久免费福利| 国产精品日韩一区二区| 久9re热视频这里只有精品| 精品国产一二| 国产精品探花在线观看| 午夜精品视频在线观看一区二区| 日本在线电影一区二区三区| 亚洲精品中文字幕在线| 欧美a级在线| 免费 成 人 黄 色| 天堂一区二区在线免费观看| 尤蜜粉嫩av国产一区二区三区| 久久av资源网| 精品久久久久久无码人妻| 99精品1区2区| 国产综合精品久久久久成人av| 国产精品美日韩| 欧美黑人性猛交xxx| 亚洲成av人在线观看| 999视频在线| 日韩一区二区免费在线观看| 日韩中文字幕免费在线观看| 亚洲男人第一av网站| 国产激情在线视频| 97视频人免费观看| 国产精品.xx视频.xxtv| 97人人香蕉| 国产一区二区三区探花| 做爰高潮hd色即是空| 国产欧美高清| 特黄视频免费观看| 99精品久久免费看蜜臀剧情介绍| 能直接看的av| 五月天久久比比资源色| 国产精品成人久久久| 日韩欧美一卡二卡| 韩国免费在线视频| 欧美人在线视频| 欧美一级二级视频| av色综合网| 大胆日韩av| 自慰无码一区二区三区| 麻豆一区二区99久久久久| 在线中文字日产幕| 国产精品久久免费看| 九一国产在线观看| 日韩精品中文字幕一区二区三区| 免费a级毛片在线观看| 久精品免费视频| 美女色狠狠久久| 久久久久无码国产精品一区| 亚洲影视一区| 日韩大片一区二区| av一二三不卡影片| 欧美成人片在线观看| 欧美日韩一区二区三区不卡 | 99re8精品视频在线观看| 久草热久草热线频97精品| 欧美国产91| 日韩成人精品视频在线观看| 国产日韩欧美高清| 在线观看黄网站| 精品国产不卡一区二区三区| 黄色成人在线| 国产日韩欧美在线视频观看| 精品国产一区二区三区四区 | 唐朝av高清盛宴| 欧美三级日韩在线| 青青青草网站免费视频在线观看| 国产+人+亚洲| 91亚洲无吗| 精品人妻大屁股白浆无码| 久草在线在线精品观看| 国产黄色片在线| 欧美日韩一区精品| 午夜激情视频在线观看| 国产精品久久久久久久久久| 精品国产一区二区三区四区| 99精品人妻少妇一区二区| 成人av免费在线观看| 国产乡下妇女做爰| 精品日韩99亚洲| 青春草免费在线视频| 96久久精品| 国内揄拍国内精品久久| 在线观看你懂的视频| 一区二区国产视频| 国产18精品乱码免费看| 久久久久久久av| 91综合久久爱com| av免费观看大全| 91亚洲男人天堂| 久久久久久不卡| 国产亚洲精品美女久久久久| 精品123区| 亚洲人成77777| 激情另类小说区图片区视频区| 国产日产精品一区二区三区的介绍| 欧美日韩国产a| 国内外激情在线| 99久re热视频这里只有精品6| 欧美区日韩区| 国产在线不卡av| 福利视频第一区| 国产在线视频网站| 国产剧情久久久久久| 亚洲成人tv| 性农村xxxxx小树林| 狠狠躁夜夜躁久久躁别揉| 国产一区二区三区福利| 91精品视频在线| 午夜欧美精品久久久久久久| 中文乱码人妻一区二区三区视频| 狠狠躁天天躁日日躁欧美| 91在线网址| 亚洲一区二区三区sesese| 国精品一区二区三区| 精品无码人妻一区| 欧美日韩国产在线播放网站| 三级资源在线| 欧美日韩国产高清视频| 日本欧美大码aⅴ在线播放| 蜜桃av.com| 亚洲精品aⅴ中文字幕乱码| 日本在线中文字幕一区二区三区| 手机成人av在线| 91丨九色丨国产丨porny| 中文字幕男人天堂| 久久久免费电影| 欧美日韩黑人| 美女又黄又免费的视频| 欧美性猛交xxxx富婆| 麻豆网在线观看| 精品国产综合久久| 精品一区二区三区免费播放| 国产乡下妇女做爰视频| 中文字幕亚洲图片| 欧美sss在线视频| 亚洲一区精品视频在线观看| 婷婷开心激情综合| 国产日产一区二区三区| 欧美精品与人动性物交免费看| 国产一二三精品|