實戰|兩種常用的跨主機Docker容器互通方法

作者：楊俊俊 2020-02-05 14:31:04

路由方式和網橋方式，都可以使跨主機之間的Docker容器互通，操作起來也比較簡單;再結合docker-compose，可以非常迅速的拉起一套環境;

現在提到容器，可能很容易想到的就是Kubernates,確實它很火，也很強大，但是對于規模非常小，容器不多的小環境，Kubernetes 就顯得比較累贅了，直接使用Docker Compose拉取一個小環境，這種使用方式，也有不少用戶在使用;本篇通過實戰，來介紹兩種，在不使用類似Kubernetes容器管理平臺的下，實現跨主機Docker容器之間互通的方法;

基礎環境準備

安裝Docker

在能訪問公網且DNS正常的情況下，將下面的代碼，直接復制并在docker-host-01,docker-host-02上執行，即可完成Docker安裝。

#卸載原有docker環境及依賴，并安裝必要的包 
yum remove docker-latest-logrotate docker-logrotate docker-selinux docker-engine 
yum install -y yum-utils   device-mapper-persistent-data   lvm2 
 
#使用阿里云安裝源 
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
rpm --import http://mirrors.aliyun.com/docker-ce/linux/centos/gpg 
yum makecache fast 
yum -y install docker-ce 
 
#安裝完成啟動Docker 
systemctl start docker 
systemctl enable docker 
systemctl status docker

下載演示鏡像

Docker官方在https://hub.docker.com/中提供了很多鏡像，你可以根據自己的需要選擇并下載，也可以自行安裝Docker鏡像倉庫，此處我就直接下載使用docker hub中提供的centos官方鏡像進行后續演示;

[root@docker-host-01 ~]# docker pull centos

鏡像在兩臺Docker主機中都下載，當然如果網速慢的話，可以下載一個，然后使用docker save 打包鏡像，將鏡像傳到第二臺機器上，在用docker load導入鏡像。方法很多，適合你的才是最好的。

鏡像下載完成，使用docker images命令查看。

[root@docker-host-01 ~]# docker images 
REPOSITORY         TAG                 IMAGE ID           CREATED             SIZE 
centos             latest             470671670cac        3 days ago         237MB

通過直接路由方式實現跨主機Docker容器通信

直接路由這種方式操作起來比較簡單，對Docker原生網絡改變最小，只需要互相指定對方的路由即可完成跨主機Docker容器之間的互通;

主機配置及IP信息

基礎環境需要準備兩臺主機，系統可以是CentOS，Ubuntu;需要能支持安裝Docker，本實戰文檔中使用的主機信息如下;

主機名IP配置容器網段

主機名 IP  配置  容器網段 
docker-host-01  192.168.61.132  2核4G內存，50G硬盤    172.16.200.0/24 
docker-host-02  192.168.61.135  2核4G內存，50G硬盤    172.16.201.0/24

調整Docker網絡配置

Docker安裝完之后，默認會創建一個docker0的網橋，啟動的Docker容器網段是172.17.0.1/16，如果不做調整，兩臺Docker主機上的容器，就可能出現IP地址沖突，所以我們先將默認docker0網橋的地址按【主機配置及IP信息】中規劃的進行調整。

在docker-host-01中創建/etc/docker/daemon.json文件，內容如下

[root@docker-host-01 ~]# cat /etc/docker/daemon.json 
{ 
 "bip": "172.16.200.1/24" 
}

重啟docker服務

[root@docker-host-01 ~]# systemctl restart docker

完成重啟后，再看docker0的IP，已經調整完成了;

[root@docker-host-01 ~]# ifconfig docker0 
docker0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500 
      inet 172.16.200.1 netmask 255.255.255.0 broadcast 172.16.200.255 
      inet6 fe80::42:b3ff:fef9:1cc1 prefixlen 64 scopeid 0x20<link> 
      ether 02:42:b3:f9:1c:c1 txqueuelen 0 (Ethernet) 
      RX packets 2916 bytes 121276 (118.4 KiB) 
      RX errors 0 dropped 0 overruns 0 frame 0 
      TX packets 3115 bytes 10870567 (10.3 MiB) 
      TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

使用同樣的方法，調整docker-host-02主機上的的docker網絡。

創建并進入Docker容器

在docker-host-01中執行下面命令創建容器并查看IP和網關信息。

[root@docker-host-01 ~]# docker run --name host-01-docker -it centos /bin/bash 
[root@6cb01044fda8 /]# yum install -y net-tools #安裝工具查看ip和網關 
[root@6cb01044fda8 /]# ifconfig eth0 
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 
      inet 172.16.200.2 netmask 255.255.255.0 broadcast 172.16.200.255 
      ether 02:42:ac:10:c8:02 txqueuelen 0 (Ethernet) 
      RX packets 3168 bytes 10876332 (10.3 MiB) 
      RX errors 0 dropped 0 overruns 0 frame 0 
      TX packets 2970 bytes 165058 (161.1 KiB) 
      TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 
[root@6cb01044fda8 /]# route -n 
Kernel IP routing table 
Destination     Gateway         Genmask         Flags Metric Ref   Use Iface 
0.0.0.0         172.16.200.1    0.0.0.0         UG    0      0        0 eth0 
172.16.200.0    0.0.0.0         255.255.255.0   U     0      0        0 eth0

如上，創建了一個名為host-01-docker 的容器，容器的ip是172.16.200.2/24，網關是172.16.200.1;同理在docker-host-02中也執行上述命令;

[root@docker-host-02 ~]# docker run --name host-02-docker -it centos /bin/bash 
[root@f52ed4088844 /]# yum install -y net-tools 
[root@f52ed4088844 /]# ifconfig eth0 
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 
      inet 172.16.201.2 netmask 255.255.255.0 broadcast 172.16.201.255 
      ether 02:42:ac:10:c9:02 txqueuelen 0 (Ethernet) 
      RX packets 3436 bytes 10890638 (10.3 MiB) 
      RX errors 0 dropped 0 overruns 0 frame 0 
      TX packets 3159 bytes 175122 (171.0 KiB) 
      TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 
 
[root@f52ed4088844 /]# route -n 
Kernel IP routing table 
Destination     Gateway         Genmask         Flags Metric Ref   Use Iface 
0.0.0.0         172.16.201.1    0.0.0.0         UG    0      0        0 eth0 
172.16.201.0    0.0.0.0         255.255.255.0   U     0      0        0 eth0

host-02-docker容器的ip是172.16.201.2/24，網關是172.16.201.1;此時我們直接在host-01-docker容器里面去ping host-02-docker容器的IP 172.16.201.2 肯定是不通的。

添加互通路由

原理非常簡單，就是通過互相指定到達對方容器的路由;

在docker-host-01主機添加到172.16.201.0/24網段的路由，指向docker-host-02的IP:192.168.61.135; 
在docker-host-02主機添加到172.16.200.0/24網段的路由，指向docker-host-01的IP:192.168.61.132;

docker-host-01主機上的操作如下

[root@docker-host-01 ~]# route -n 
Kernel IP routing table 
Destination     Gateway         Genmask         Flags Metric Ref   Use Iface 
0.0.0.0         192.168.61.2    0.0.0.0         UG    0      0        0 ens33 
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 ens33 
172.16.200.0    0.0.0.0         255.255.255.0   U     0      0        0 docker0 
192.168.61.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33 
[root@docker-host-01 ~]# route add -net 172.16.201.0/24 gw 192.168.61.135 
[root@docker-host-01 ~]# route -n 
Kernel IP routing table 
Destination     Gateway         Genmask         Flags Metric Ref   Use Iface 
0.0.0.0         192.168.61.2    0.0.0.0         UG    0      0        0 ens33 
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 ens33 
172.16.200.0    0.0.0.0         255.255.255.0   U     0      0        0 docker0 
172.16.201.0    192.168.61.135  255.255.255.0   UG    0      0        0 ens33 
192.168.61.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33

docker-host-02主機上的操作如下

[root@docker-host-02 ~]# route -n 
Kernel IP routing table 
Destination     Gateway         Genmask         Flags Metric Ref   Use Iface 
0.0.0.0         192.168.61.2    0.0.0.0         UG    0      0        0 ens33 
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 ens33 
172.16.201.0    0.0.0.0         255.255.255.0   U     0      0        0 docker0 
192.168.61.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33 
[root@docker-host-02 ~]# route add -net 172.16.200.0/24 gw 192.168.61.132 
[root@docker-host-02 ~]# route -n 
Kernel IP routing table 
Destination     Gateway         Genmask         Flags Metric Ref   Use Iface 
0.0.0.0         192.168.61.2    0.0.0.0         UG    0      0        0 ens33 
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 ens33 
172.16.200.0    192.168.61.132  255.255.255.0   UG    0      0        0 ens33 
172.16.201.0    0.0.0.0         255.255.255.0   U     0      0        0 docker0 
192.168.61.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33

驗證在docker-host-01主機上的Docker容器中，ping docker-host-02中的Docker容器IP：172.16.201.2

最后，需要注意一點，通過路由打通跨主機Docker容器之間的網絡，必須確保Docker宿主機是在相同的網段;

通過橋接到Docker宿主機網絡實現跨主機Docker容器通信

將Docker容器網絡直接橋接到Docker宿主機網絡里面，

容器通信過程中不在需要NAT的轉換，優點是性能提升，容器及Docker宿主機IP統一管理;缺點是，容器及Docker宿主機IP統一管理之后帶來的IP地址分配變復雜了;下面就來實戰一下這種場景。

主機配置及IP信息

基礎環境需要準備兩臺主機，系統可以是CentOS，Ubuntu;需要能支持安裝Docker，本實戰文檔中使用的主機信息如下;

主機名IP配置容器網段

docker-host-01192.168.61.1322核4G內存，50G硬盤192.168.61.64/27

docker-host-02192.168.61.1352核4G內存，50G硬盤192.168.61.96/27

調整Docker宿主機網橋

默認情況下docker0，是不與物理接口連接了，Docker宿主機的IP地址也是配置在物理接口上的，現在需要把物理接口添加到docker0網橋中，并把IP地址配置到docker0上;具體操作如下

在docker-host-01上,創建并編輯docker配置文件,bip表示網橋接口的地址，配置為Docker宿主機 IP，fixed-cidr配置的是分配給docker容器的IP地址，這個地方需要注意，每臺宿主機上不能重復，否則會IP地址沖突。

[root@docker-host-01 ~]# cat /etc/docker/daemon.json 
{ 
 
 "bip": "192.168.61.132/24", 
 "fixed-cidr": "192.168.61.64/27", 
 "default-gateway": "192.168.61.1" 
}

重啟docker服務,重啟完成后，192.168.61.132已經被配置到docker0上了

[root@docker-host-01 ~]# systemctl restart docker 
[root@docker-host-01 ~]# ifconfig docker0 
docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 
      inet 192.168.61.132 netmask 255.255.255.0 broadcast 192.168.61.255 
      inet6 fe80::42:b3ff:fef9:1cc1 prefixlen 64 scopeid 0x20<link> 
      ether 02:42:b3:f9:1c:c1 txqueuelen 0 (Ethernet) 
      RX packets 6420 bytes 308080 (300.8 KiB) 
      RX errors 0 dropped 0 overruns 0 frame 0 
      TX packets 6373 bytes 21761327 (20.7 MiB) 
      TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

將物理接口添加到docker0網橋中，同時清空物理網卡上的IP ,注意必須兩條命令一起執行，否則會斷網。

[root@docker-host-01 ~]# brctl addif docker0 ens33&&ifconfig ens33 0.0.0.0

注意：網橋配置，如果需要永久保存，需要通過配置文件的方式配置

檢查網橋信息

[root@docker-host-01 ~]# brctl show 
bridge name     bridge id               STP enabled     interfaces 
docker0         8000.0242b3f91cc1       no             ens33

創建并進入Docker容器

在docker-host-01中創建容器并查看容器ip是192.168.61.64

[root@docker-host-01 ~]# docker run -it centos /bin/bash 
[root@811f01405906 /]# ip a 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 
  link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
  inet 127.0.0.1/8 scope host lo 
      valid_lft forever preferred_lft forever 
12: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
  link/ether 02:42:c0:a8:3d:40 brd ff:ff:ff:ff:ff:ff link-netnsid 0 
  inet 192.168.61.64/24 brd 192.168.61.255 scope global eth0 
      valid_lft forever preferred_lft forever

在docker-host-02中創建容器并查看容器ip是192.168.61.96

[root@docker-host-02 ~]# docker run -it centos /bin/bash 
[root@7940a9efcf6a /]# ip a 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 
  link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
  inet 127.0.0.1/8 scope host lo 
      valid_lft forever preferred_lft forever 
4: eth0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
  link/ether 02:42:c0:a8:3d:60 brd ff:ff:ff:ff:ff:ff link-netnsid 0 
  inet 192.168.61.96/24 brd 192.168.61.255 scope global eth0 
      valid_lft forever preferred_lft forever

驗證在docker-node-01宿主機的容器中ping docker-node-02宿主機上的容器IP 192.168.61.96，可以ping通驗證沒問題。

直接橋接到Docker宿主機網絡這種方式，打通不通宿主機上的Docker容器，在IP，網段劃分上會比較麻煩，

總結

路由方式和網橋方式，都可以使跨主機之間的Docker容器互通，操作起來也比較簡單;再結合docker-compose，可以非常迅速的拉起一套環境;

責任編輯：武曉燕來源：新鈦云服

兩種互通方法