微服務部署—Docker Compose搭建高可用雙機熱備MySQL數據庫
作者：AI全棧程序猿
通常，一般業務我們使用云服務器提供的數據庫，無論是MySQL數據庫還是其他數據庫，云服務廠商都提供了主備功能，我們不需要自己配置處理。而如果需要我們自己搭建數據庫，那么考慮到數據的高可用性、故障恢復和擴展性，必須做數據備份配置。
一、MySQL 的多種數據備份機制
mysqldump：這是 MySQL 自帶的備份工具，通過導出 SQL 語句來備份數據庫。它可以備份整個數據庫、特定表或特定數據。使用命令行執行 mysqldump 命令可以生成 SQL 文件，然后可以使用該文件還原備份數據。備份命令：
# 單個數據庫
mysqldump -h hostname -u username -p dbname > backup.sql
# 多個數據庫
mysqldump -h hostname -u username -p --databases dbname1 dbname2 > backup.sqlMySQL Enterprise Backup：這是 MySQL 官方提供的高級備份工具【商用收費工具】，可用于備份大型數據庫。它支持增量備份和并行備份，可以在運行時備份數據庫，減少備份期間的停機時間。它以block級別進行并行備份，性能大大優于邏輯備份工具如mysqldump。
mysqlbackup --host=hostname --user=username --password=password --backup-dir=/path/to/backupdir backupMySQL Workbench：MySQL Workbench是一種圖形化MySQL管理工具，可以進行邏輯備份和還原，支持導出SQL腳本、CSV文件和XML文件等。
物理備份：這種備份方法直接復制數據庫文件，包括數據文件、日志文件等。可以使用文件系統級別的工具，如 rsync 或者文件系統快照功能來備份。
復制（主從復制 / 多主復制）：
MySQL主從復制用于將一個MySQL服務器（稱為主服務器）上的數據變更同步到其他MySQL服 務器（稱為從服務器）。主從復制提供了數據備份、讀寫分離和負載均衡等功能，以提高系統的可用性和性能。
MySQL多主復制允許在多個數據庫實例之間進行雙向數據同步。它的工作原理是每個數據庫實例都可以充當主服務器和從服務器，可以同時接收和發送數據變更。
第三方備份工具：還有一些第三方工具可用于備份 MySQL 數據庫，例如 Percona XtraBackup、MariaDB Backup 等。這些工具提供了更多高級特性，如并行備份、壓縮備份等。
MySQL 提供的多種數據備份機制各有優缺點和適應場景，復制（主從復制 / 多主復制）適合我們的應用場景，多主復制比主從復制會更為復雜一些，需要考慮數據沖突等問題。在實際使用過程中，主主復制存在很多數據沖突的問題需要解決，所以這里我們選擇使用主從備份機制。
二、MySQL 主從復制原理
MySQL 主從復制是一種基于日志的復制機制，用于將主服務器（Master）上的數據實時復制到一個或多個從服務器（Slave）。主從復制的原理如下：
- 主服務器將所有修改操作記錄在二進制日志（Binary Log）中。這些修改可以是插入、更新或刪除數據的操作。
- 從服務器連接到主服務器，并發送一個請求，請求成為主服務器的從服務器。主服務器收到請求后，將記錄從服務器的信息，并開始與從服務器建立復制連接。
- 主服務器將二進制日志中的內容發送給從服務器。從服務器接收并執行這些日志中的操作，將數據修改操作反映到自己的數據庫上。
- 從服務器還會定期向主服務器發送心跳信息以維持連接。如果主服務器長時間沒有收到從服務器的心跳信息，就認為從服務器宕機，不再向其發送日志。
- 如果主服務器發生故障，導致無法提供服務，可以將一個從服務器提升為新的主服務器，以繼續提供服務。此時，其他從服務器將切換到新的主服務器上進行復制。
通過主從復制，可以實現數據的實時復制和分布式讀取，提高數據庫的可用性和讀取性能。此外，主從復制還可以用于備份數據，當主服務器發生故障時，可以快速切換到從服務器，減少服務停機時間。
需要注意的是，主從復制是異步的，從服務器的數據可能稍有延遲。而且主從復制只復制數據修改操作，不復制表結構的變更。如果需要同步表結構的變更，可以使用主從復制搭配其他工具，如 GTID（Global Transaction Identifier）或者基于觸發器的解決方案。
三、MySQL 主主復制原理
MySQL主主復制是一種數據同步和高可用性解決方案，它能夠保持多個MySQL服務器之間的數據一致性。主主復制的原理如下：
- 配置雙向復制：在兩臺MySQL服務器上分別配置主從復制，使每臺服務器都可以同時充當主服務器和從服務器。
- 生成二進制日志：當有數據更新操作（如插入、更新、刪除）時，MySQL服務器會將這些操作記錄在二進制日志中。
- 傳遞二進制日志：每臺服務器將自己的二進制日志傳遞給另一臺服務器。這可以通過網絡連接實現，通常使用基于TCP/IP的復制協議。
- 應用二進制日志：每臺服務器接收到對方的二進制日志后，會將這些日志應用到自己的數據庫中，從而使兩臺服務器的數據保持一致。
- 處理沖突：在主主復制中，由于兩臺服務器都可以接收寫操作，可能會出現沖突。為了處理沖突，MySQL提供了自動事務回滾和主鍵沖突檢測等機制。
三、使用Docker Compose安裝MySQL 主從服務器
1、環境準備
首先準備至少2臺Linux服務器，一臺作為MySQL主服務器，一臺或者多臺作為MySQL從服務器。我們這里準備兩臺服務器分別為：
- 192.168.0.210 (MySQL主服務器)
- 192.168.0.195 (MySQL從服務器)
2、準備MySQL文件存放目錄
- 準備數據庫存儲目錄，在兩臺主從服務器上分別執行一下命令。
mkdir -p /opt/container/mysql/data /opt/container/mysql/config /opt/container/mysql/slave/mysql-files
chmod -R 777 /opt/container/mysql/data /opt/container/mysql/config /opt/container/mysql/slave/mysql-files/opt/container/mysql/data 用于存放MySQL數據文件。
/opt/container/mysql/config 用于存放MySQL配置文件。
/opt/container/mysql/slave/mysql-files 用于存放MySQL數據導入/導出的數據文件存放目錄。
3、MySQL主、從服務器docker-compose-mysql.yml文件
version: '3'
services:
mysql:
environment:
## root賬號的密碼
MYSQL_ROOT_PASSWORD: root密碼
TZ: Asia/Shanghai
## 新建mysql賬號
MYSQL_USER: 'mysql_user'
MYSQL_PASSWORD: mysql_user密碼
MYSQL_DATABASE: 'mysql_db'
image: "docker.io/mysql:latest"
container_name: mysql
restart: always
## 映射掛載
volumes:
## 數據目錄，要確保先創建好
- "/opt/container/mysql/data:/var/lib/mysql"
- "/opt/container/mysql/config/my.cnf:/etc/mysql/my.cnf"
- "/opt/container/mysql/slave/mysql-files:/var/lib/mysql-files"
- "/etc/localtime:/etc/localtime"
- "/usr/share/zoneinfo/Asia/Shanghai:/etc/timezone"
## 初始化的腳本，初始化我們存放的init.sql文件
- "./mysql:/docker-entrypoint-initdb.d/"
ports:
- "3306:3306"
command:
--max_connections=1000
--character-set-server=utf8mb4
--collation-server=utf8mb4_general_ci
--default-authentication-plugin=mysql_native_password4、在MySQL主服務器上新增配置文件
在/opt/container/mysql/config目錄下新增my.cnf文件， 配置文件內容：
[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
secure-file-priv= NULL
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Custom config should go here
!includedir /etc/mysql/conf.d/
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
server-id=150
log-bin=/var/lib/mysql/mysql-bin
expire_logs_days=60
binlog-format=mixed
max_allowed_packet=256M
relay-log=mysql-relay
log-slave-updates
auto_increment_increment=2 #表示自增長字段每次遞增的量
auto_increment_offset=1 #表示自增長字段從那個數開始5、在MySQL從服務器上新增配置文件
在/opt/container/mysql/config目錄下新增my.cnf文件， 配置文件內容：
[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
secure-file-priv= NULL
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Custom config should go here
!includedir /etc/mysql/conf.d/
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION
server-id=200
# 設置只讀模式
# read_only = 1
log-bin=/var/lib/mysql/mysql-bin
expire_logs_days=60
binlog-format=mixed
max_allowed_packet=256M
relay-log=mysql-relay
log-slave-updates
auto_increment_increment=2 #表示自增長字段每次遞增的量
auto_increment_offset=1 #表示自增長字段從那個數開始6、在兩臺MySQL主備服務器上分別執行docker-compose安裝啟動命令
將docker-compose-mysql.yml上傳至/opt/software目錄，這個目錄可以自己選擇，然后到目錄下執行安裝啟動命令
docker-compose -f docker-compose-mysql.yml up -d[root@localhost software]# docker-compose -f docker-compose-mysql.yml up -d
[+] Running 13/13
? mysql Pulled 40.4s
? 72a69066d2fe Pull complete 14.2s
? 93619dbc5b36 Pull complete 14.2s
? 99da31dd6142 Pull complete 14.6s
? 626033c43d70 Pull complete 14.7s
? 37d5d7efb64e Pull complete 14.7s
? ac563158d721 Pull complete 16.2s
? d2ba16033dad Pull complete 16.2s
? 688ba7d5c01a Pull complete 16.2s
? 00e060b6d11d Pull complete 24.5s
? 1c04857f594f Pull complete 24.5s
? 4d7cfa90e6ea Pull complete 24.6s
? e0431212d27d Pull complete 24.6s
WARN[0040] Found orphan containers ([nginx]) for this project. If you removed or renamed this service in your compose file, you can run this command with the --remove-orphans flag to clean it up.
[+] Running 1/1
? Container mysql Started 0.3s通過docker ps命令可以看到mysql已經安裝并啟動成功。
[root@localhost software]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
bf4e482dbc71 mysql:latest "docker-entrypoint.s…" 21 minutes ago Up 21 minutes 0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp mysql四、MySQL 主從復制配置及測試
1、登錄主MySQL服務器查看配置數據
- 進入docker容器。
[root@localhost software]# docker exec -it bf4e482dbc71 bash- 通過用戶名密碼登錄mysql賬戶。
root@bf4e482dbc71:/# mysql -uroot -p密碼- 查看需同步的主服務器數據 show master status，在MySQL從服務器上配置時需要用到File和Position的值。
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 156 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)2、登錄從MySQL服務器，并配置數據同步
- 進入docker容器。
[root@localhost software]# docker exec -it b168db7981c0 bash- 通過用戶名密碼登錄mysql賬戶。
root@bf4e482dbc71:/# mysql -uroot -p密碼- 登錄成功后，執行從主數據庫同步的配置命令。
CHANGE MASTER TO master_host = '192.168.0.210',
master_port = 3306,
master_user = 'root',
master_password = '密碼',
master_log_file = 'mysql-bin.000003',
master_log_pos = 156;- 啟動從服務器。
mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.01 sec)- 使用命令 show slave status\G 查看從服務器狀態, 以下兩項顯示Yes，表示配置成功：
Slave_IO_Running: YesSlave_SQL_Running: Yes。
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for source to send event
Master_Host: 192.168.0.210
Master_User: root
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 156
Relay_Log_File: mysql-relay.000002
Relay_Log_Pos: 324
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 156
Relay_Log_Space: 529
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 150
Master_UUID: ce0ecbd8-667b-11ee-98e5-0242ac120003
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Replica has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)3、主從數據庫復制測試
- 在MySQL主服務器，新建一個數據庫my_test。
mysql> create database my_test;
Query OK, 1 row affected (0.01 sec)- 在MySQL從服務器，執行查看數據庫命令，可以看到my_test數據庫已經同步到MySQL從服務器。
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| dbwl |
| information_schema |
| my_test |
| mysql |
| performance_schema |
| sys |
+--------------------+
6 rows in set (0.00 sec)- 在MySQL主服務器，新建一個表t_test并新增一條數據。
mysql> use my_test;
Database changed
mysql> create table t_test(id int UNSIGNED NOT NULL AUTO_INCREMENT, name varchar(32) NOT NULL, PRIMARY KEY (id));
Query OK, 0 rows affected (0.04 sec)
mysql> insert into t_test(name) values('Test');
Query OK, 1 row affected (0.02 sec)- 在MySQL從服務器查詢數據庫和表數據是否同步，如果配置正常，我們可以看到，在MySQL主服務器新增的數據庫和表數據，在從服務器也存在。
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| dbwl |
| information_schema |
| my_test |
| mysql |
| performance_schema |
| sys |
+--------------------+
6 rows in set (0.00 sec)
mysql> use my_test;
Database changed
mysql> show tables;
+-------------------+
| Tables_in_my_test |
+-------------------+
| t_test |
+-------------------+
1 row in set (0.00 sec)
mysql> select * from t_test;
+----+------+
| id | name |
+----+------+
| 1 | Test |
+----+------+
1 row in set (0.00 sec)五、MySQL 主主復制配置及測試
MySQL 主主復制的配置和主從復制基本一樣，只是需要將原本在從服務器執行的配置命令在主服務器上再執行一遍。
- 在從服務器上查看狀態 show master status，在MySQL從服務器上配置時需要用到File和Position的值
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 2581 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)- 在主服務器上執行同步配置命令。
CHANGE MASTER TO master_host = '192.168.0.195',
master_port = 3306,
master_user = 'root',
master_password = '密碼',
master_log_file = 'mysql-bin.000003',
master_log_pos = 2581;- 在主服務器上執行start slave。
mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.01 sec)- 使用命令 show slave status\G 查看從服務器狀態, 以下兩項顯示Yes，表示配置成功：
Slave_IO_Running: YesSlave_SQL_Running: Yes。
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for source to send event
Master_Host: 192.168.0.195
Master_User: root
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 2581
Relay_Log_File: mysql-relay.000002
Relay_Log_Pos: 324
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 2581
Relay_Log_Space: 529
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 200
Master_UUID: c1d65f95-667e-11ee-bc7f-0242ac120003
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Replica has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)- 在MySQL從服務器，新建一個數據庫my_test_slave
mysql> create database my_test_slave;
Query OK, 1 row affected (0.01 sec)- 在MySQL主服務器，執行查看數據庫命令，可以看到my_test_slave數據庫已經同步到MySQL主服務器
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| dbwl |
| information_schema |
| my_test |
| my_test_slave |
| mysql |
| performance_schema |
| sys |
+--------------------+
7 rows in set (0.00 sec)- 在MySQL從服務器的my_test_slave數據庫，新建一個表t_test并新增一條數據
mysql> use my_test_slave;
Database changed
mysql> create table t_test(id int UNSIGNED NOT NULL AUTO_INCREMENT, name varchar(32) NOT NULL, PRIMARY KEY (id));
Query OK, 0 rows affected (0.04 sec)
mysql> insert into t_test(name) values('Test');
Query OK, 1 row affected (0.02 sec)- 在MySQL主服務器查詢數據庫和表數據是否同步，如果配置正常，我們可以看到，在MySQL從服務器新增的數據庫和表數據，在主服務器也存在。
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| dbwl |
| information_schema |
| my_test |
| my_test_slave |
| mysql |
| performance_schema |
| sys |
+--------------------+
7 rows in set (0.00 sec)
mysql> use my_test_slave;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+-------------------------+
| Tables_in_my_test_slave |
+-------------------------+
| t_test |
+-------------------------+
1 row in set (0.00 sec)
mysql> select * from t_test;
+----+------+
| id | name |
+----+------+
| 1 | Test |
+----+------+
1 row in set (0.00 sec)- 測試在主數據庫插入一條數據，然后在從數據庫查詢，查看是否能夠同步
mysql> insert into t_test(name) values('TestMaster');
Query OK, 1 row affected (0.02 sec)- 在從數據庫執行查詢命令，可以看到數據也同步過來了，說明主主復制生效。
mysql> select * from t_test;
+----+------------+
| id | name |
+----+------------+
| 1 | Test |
| 3 | TestMaster |
+----+------------+
2 rows in set (0.00 sec)很多業務場景中，大多數人使用主主復制+keepalived來實現MySQL服務器的高可用，但是存在很大的問題是處理數據沖突問題，可以通過my.cnf中配置，id自增來解決：
auto_increment_increment=2 #表示自增長字段每次遞增的量
auto_increment_offset=1 #表示自增長字段從那個數開始在實際業務處理中會更加復雜，所以在數據庫到底是使用主從復制還是主主復制，需要根據自己的業務場景選擇。
責任編輯：姜華
來源：
今日頭條
