Docker跨主機通信實現與分析
前言
docker目前支持以下5種網絡模式：
- bridge：此時docker引擎會創建一個veth對，一端連接到容器實例并命名為eth0，另一端連接到指定的網橋中(比如docker0)，因此同在一個主機的容器實例由于連接在同一個網橋中，它們能夠互相通信。容器創建時還會自動創建一條SNAT規則，用于容器與外部通信時。如果用戶使用了-p或者-Pe端口端口，還會創建對應的端口映射規則。
- host：與宿主機共享網絡，此時容器沒有使用網絡的namespace，宿主機的所有設備，如Dbus會暴露到容器中，因此存在安全隱患。
- none：不設置網絡，相當于容器內沒有配置網卡，用戶可以手動配置。
- container：指定與某個容器實例共享網絡
- network：使用自定義網絡，可以使用docker network create創建，并且默認支持多種網絡驅動，用戶可以自由創建橋接網絡或者overlay網絡。
默認是橋接模式，網絡地址為172.16.0.0/16，同一主機的容器實例能夠通信，但不能跨主機通信。本文下面將介紹如何使用gre隧道技術實現跨主機通信。
環境配置
本文使用兩臺主機A，B模擬實驗，這兩臺主機其實是virtalbox虛擬機，操作系統為ubuntu14.04，均配置有兩張網卡，網卡配置如下：
- eth0：與宿主機橋接，連接公網
- eth1：host only網卡，分配的ip地址為192.168.56.0/24，連接在同一個host only的網卡能夠互相通信
其中A主機網絡：
- eth0: 172.16.1.24(公司內網IP，能夠通外網)
- eth1: 192.168.56.4
B主機網絡:
- eth0: 172.16.1.178(公司內網IP，能夠通外網)
- eth1: 192.168.56.5
兩臺主機需要安裝以下軟件包:
- Docker，實驗時使用的***版本1.11，快速安裝：
- curl -sSL https://get.docker.com/ | sh
- Openvswitch, 安裝方法：
- sudo apt-get install openvswitch-switch
- bridge-utils，也可以不安裝，使用ovs-vsctl。
Docker配置
兩臺主機的容器能夠通信，不能出現網絡重疊，因此設置不同的網絡：
- A: 10.103.100.0/24
- B: 10.103.200.0/24
并且為了加速鏡像拉取，使用靈雀云鏡像。***A主機配置文件/etc/default/docker如下:
- DOCKER_OPTS="$DOCKER_OPTS --registry-mirror=http://houchaohann.m.alauda.cn --bip=10.103.100.1/24 --fixed-cidr=10.103.100.0/24"
B主機配置文件/etc/default/docker如下:
- DOCKER_OPTS="$DOCKER_OPTS --registry-mirror=http://houchaohann.m.alauda.cn --bip=10.103.200.1/24 --fixed-cidr=10.103.200.0/24"
分別重啟A、B主機Docker服務:
- sudo service docker restart
此時A主機docker0網橋地址為10.103.100.1，B主機docker0網橋地址為10.103.200.1。
在A主機上ping 10.103.200.1顯然不通，同理B主機ping不通A主機網橋。
隧道配置
在A主機上創建一個網橋(使用ovs-vsctl，不要使用brctl):
- sudo ovs-vsctl add-br docker_tunnel
將gre0接口加入到網橋docker_tunnel， 創建一個GRE隧道添加到網橋中并配置遠端IP，注意：我們在eth1之上建立隧道，因此需要使用eth1 IP地址：
- sudo ovs-vsctl add-port docker_tunnel gre0 -- set Interface gre0 type=gre options:remote_ip=192.168.56.5
此時:
- fgp@ubuntu-4:~$ sudo ovs-vsctl show
- 2189345f-d4fb-4915-ab97-4c65a8d9ffe0
- Bridge docker_tunnel
- Port "gre0"
- Interface "gre0"
- type: gre
- options: {remote_ip="192.168.56.5"}
- Port docker_tunnel
- Interface docker_tunnel
- type: internal
- ovs_version: "2.0.2"
把docker_tunnel加入到docker0網橋中:
- sudo brctl addif docker0 docker_tunnel
增加路由：
- sudo ip route add 10.103.200.0/24 via 192.168.56.5 dev eth1
此時路由表：
- fgp@ubuntu-4:~$ sudo route -n
- Kernel IP routing table
- Destination Gateway Genmask Flags Metric Ref Use Iface
- 0.0.0.0 172.16.1.1 0.0.0.0 UG 0 0 0 eth0
- 10.103.100.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0
- 10.103.200.0 192.168.56.5 255.255.255.0 UG 0 0 0 eth1
- 172.16.1.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
- 192.168.56.0 0.0.0.0 255.255.255.0 U 0 0 0 eth1
驗證A主機是否能和B通信：
- fgp@ubuntu-4:~$ ping -c 2 -w 1 10.103.200.1
- PING 10.103.200.1 (10.103.200.1) 56(84) bytes of data.
- 64 bytes from 10.103.200.1: icmp_seq=1 ttl=64 time=0.339 ms
- --- 10.103.200.1 ping statistics ---
- 1 packets transmitted, 1 received, 0% packet loss, time 0ms
- rtt min/avg/max/mdev = 0.339/0.339/0.339/0.000 ms
同樣在B主機執行相同步驟：
- sudo ovs-vsctl add-br docker_tunnel
- sudo ovs-vsctl add-port docker_tunnel gre0 -- set Interface gre0 type=gre options:remote_ip=192.168.56.4
- sudo brctl addif docker0 docker_tunnel
- sudo ip route add 10.103.100.0/24 via 192.168.56.4 dev eth1
驗證B主機是否能夠和A通信：
- fgp@ubuntu-5:~$ ping -c 2 -w 1 10.103.100.1
- PING 10.103.100.1 (10.103.100.1) 56(84) bytes of data.
- 64 bytes from 10.103.100.1: icmp_seq=1 ttl=64 time=0.336 ms
- 64 bytes from 10.103.100.1: icmp_seq=2 ttl=64 time=0.409 ms
- --- 10.103.100.1 ping statistics ---
- 2 packets transmitted, 2 received, 0% packet loss, time 999ms
- rtt min/avg/max/mdev = 0.336/0.372/0.409/0.041 ms
驗證docker容器跨主機通信
A主機創建ubuntu14.04容器:
- docker run -t -i --rm --name from-A --hostname from-A ubuntu:14.04 bash
在容器內部查看ip地址:
- # from-A
- ifconfig eth0 | grep 'inet addr' | cut -d ':' -f 2 | cut -d ' ' -f 1
- # 10.103.100.2
B主機創建ubuntu14.04容器:
- docker run -t -i --rm --name from-A --hostname from-B ubuntu:14.04 bash
在容器內部查看地址:
- # from-B
- ifconfig eth0 | grep 'inet addr' | cut -d ':' -f 2 | cut -d ' ' -f 1
- # 10.103.200.2
在A容器實例上ping B容器實例:
- # from-A
- ping 10.103.200.2
輸出:
- root@from-A:/# ping -c 2 -w 1 10.103.200.2
- PING 10.103.200.2 (10.103.200.2) 56(84) bytes of data.
- 64 bytes from 10.103.200.2: icmp_seq=1 ttl=62 time=0.510 ms
- --- 10.103.200.2 ping statistics ---
- 1 packets transmitted, 1 received, 0% packet loss, time 0ms
- rtt min/avg/max/mdev = 0.510/0.510/0.510/0.000 ms
我們發現，在主機A的容器成功ping通主機B的容器，實現了跨主機通信!
使用docker-swarm實現跨主機容器通信
docker的overlay的網絡驅動支持跨主機通信，這個實現在libnetwork中基于內置的VXLAN實現以及docker的libkv庫。使用overlay網絡需要依賴K-V Store，目前支持的K-V Store包括etcd、Consul、Zookeeper。
本來想直接使用docker啟動consul的，后來發現docker daemon啟動依賴consul，因此只能先按照consul。首先到官方下載安裝包：下載地址,解壓縮后，只有一個二進制文件，直接運行即可:
- nohup ./consul agent -dev -advertise 172.16.1.24 -client 0.0.0.0 &
注意: 該服務在A機器上運行，172.16.1.24務必配成能夠連接外網的IP地址，否則后面啟動Swarm容器時內部無法通信!
然后修改A、B服務的daemon配置文件/etc/default/docker：
- DOCKER_OPTS="--cluster-store=consul://172.16.1.24:8500 --cluster-advertise=eth0:2375"
- DOCKER_OPTS="$DOCKER_OPTS --registry-mirror=http://houchaohann.m.alauda.cn -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock"
重啟docker服務：
- sudo service docker restart
執行docker info必須包含以下信息：
- Cluster store: consul://172.16.1.24:8500
- Cluster advertise: 172.16.1.24:2375
接著我們需要部署Docker Swarm集群，詳細過程參考手動部署docker-swarm集群。
***創建overlay網絡:
- docker network create --driver overlay --subnet 10.103.240.0/24 test
其中--dirver指定為overlay,并指定我們需要的子網地址，名稱為test，通過docker network ls可以檢查我們創建的網絡是否成功:
- fgp@ubuntu-5:~$ docker network ls | grep test
- 7eef808f272b test overlay
此時overlay網絡創建完畢。我們測試其是否支持跨主機通信，首先我們創建一個ubuntu容器,命名為ubuntu-1，并使用我們剛剛創建的網絡:
- docker run -t -i -d --net test --name ubuntu-1 ubuntu:14.04
接著我們創建***個ubuntu容器，此時為了保證它不和ubuntu-1調度在同一臺主機上，我們需要使用docker swarm的filter，指定affinity，如下:
- docker run -t -i -d --net test --name ubuntu-2 -e affinity:container!=~ubuntu-1 ubuntu:14.04
運行docker ps：
- docker ps
- fgp@ubuntu-5:~$ docker ps
- CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
- ba5018dfe26e ubuntu:14.04 "/bin/bash" 2 minutes ago Up Less than a second ubuntu-5/ubuntu-1
- bedd266cddaa ubuntu:14.04 "/bin/bash" 14 hours ago Up 41 seconds ubuntu-4/ubuntu-2
由此可知，兩個ubuntu容器運行在不同的主機上，符合我們的測試要求。分別獲取ubuntu-1和ubuntu-2的ip地址:
- fgp@ubuntu-5:~$ docker inspect -f '' ubuntu-1
- 10.103.240.2
- fgp@ubuntu-5:~$ docker inspect -f '' ubuntu-2
- 10.103.240.3
可見ubuntu-1的ip地址為10.103.240.2,ubuntu-2的ip地址為10.103.240.3，我們在ubuntu-1上ping ubuntu-2地址：
- fgp@ubuntu-5:~$ docker exec -t -i ubuntu-1 ping -c 2 10.103.240.3
- PING 10.103.240.3 (10.103.240.3) 56(84) bytes of data.
- 64 bytes from 10.103.240.3: icmp_seq=1 ttl=64 time=0.559 ms
- 64 bytes from 10.103.240.3: icmp_seq=2 ttl=64 time=0.661 ms
- --- 10.103.240.3 ping statistics ---
- 2 packets transmitted, 2 received, 0% packet loss, time 999ms
- rtt min/avg/max/mdev = 0.559/0.610/0.661/0.051 ms
結果發現，不在同一主機的ubuntu-1和ubuntu-2能夠正常通信!
【本文是51CTO專欄作者“付廣平”的原創文章，如需轉載請通過51CTO獲得聯系】
