云原生之Docker容器跨主機指定IP通信

作者：mc_開發者 2022-07-20 15:19:17

對開發者而言，隨著容器的普遍使用，開發者可以很方便的搭建項目的簡易測試環境。

??https://ost.51cto.com??

一、前言

1、使用場景

對開發者而言，隨著容器的普遍使用，開發者可以很方便的搭建項目的簡易測試環境。有時候為了項目可以在任意機器一鍵運行，不用配置連接IP等信息。所以希望可以提前固定容器的IP地址，而且一個項目有時候涉及多個容器，可能還會部署在多臺機器上。所以如果容器間可以固定IP跨機器通信的話，會有很大方便。

2、docker網絡

docker容器默認是一個有自己獨立網絡空間的虛擬系統。
docker安裝后自動創建3中網絡：bridge、host、none。

bridge：網橋模式，默認創建docker0網橋，172.17.0.0/16，宿主機可訪問，外部機器不可見。
host：共享宿主機網絡模式，外部主機與容器直接通信，容器缺少了隔離性。
none：禁用網絡模式。

docker自定義網絡
docker提供了三種自定義網絡驅動：bridge、overlay、macvlan。

bridge驅動類似默認的bridge網絡模式。
overlay和macvlan是用于創建跨主機網絡。
支持自定義網段、網關，docker network create --subnet 172.77.0.0/24 --gateway 172.77.0.1 my_net。

docker創建容器使用默認docker0網絡不支持自定義固定IP，都是動態的。

3、自定義網絡使用

自定義創建網段。docker network create --subnet=172.18.0.0/16 spark-net。
指定網絡驅動docker network create -d overlay --subnet 10.22.1.0/24 --gateway 10.22.1.1 spark-net-0。
創建容器固定IP。

docker run --name cloud1 \
--net spark-net --ip 172.18.0.2 \
-h cloud1 \
-it ubuntu
docker run --name cloud1_0 \
--network spark-net-0 --ip 10.22.1.26 \
-h cloud1 \
-it ubuntu

二、實踐操作

1、Overlay網絡模式詳解

Overlay網絡是目前比較主流的跨節點容器間數據傳輸和路由方案。
Overlay網絡模式在主機網絡之上，在多個Docker主機之間實現分布式網絡，允許跨容器之間的交互。
Overlay網絡是指在不改變現有網絡基礎設施的前提下，通過某種約定通信協議，把二層報文封裝在IP報文之上的新的數據格式。

2、Consul服務發現

Consul是一個分布式、高可用性和多數據中心感知工具，用于服務發現、配置和編排。Consul 支持大規模快速部署、配置和維護面向服務的架構。
部署單節點的consul服務（可選擇公網服務器，或者能與其他部署容器通信的主機）。

# 拉取鏡像
docker pull progrium/consul
# 運行consul容器
docker run -d -p 8500:8500 -h consul --name consul --restart=always progrium/consul -server -bootstrap
# -h：表示consul的主機名
# --name consul：表示為該容器名
# --restart=always表示可以隨著docker服務的啟動而啟動；
# 運行consul容器，該服務的默認端口是8500；-p：表示將容器的8500端口映射到宿主機的8500端口
# -serve -bootstarp：表示當在群集中，加上這兩個選項可以使其以master的身份出現

管理訪問地址
http://IP:8500/ui/#/dc1/kv/docker/nodes/。

3、修改docker配置

# 所有需要通信的機器都需要修改
 vim /etc/docker/daemon.json
 # 增加 cluster-store、cluster-advertise兩個參數
 {
  "registry-mirrors": ["https://xxxx.xxxx.aliyuncs.com","https://registry.docker-cn.com"],
  "cluster-store": "consul://IP:8500",
  "cluster-advertise": "ens33:2376"
 }
 # cluster-store，是配置sonsul集群的訪問地址
 # cluster-advertise，是廣播通信地址和端口
 # 重啟docker
 systemctl daemon-reload
 systemctl restart docker
 #如果有端口拒絕訪問問題，可直接關掉防火墻
 #停止firewall
 systemctl stop firewalld.service
 #禁止firewall開機啟動
 systemctl disable firewalld.service
 #查看開放端口列表
 firewall-cmd --list-ports

4、實踐機器規劃

本文實踐創建了3臺虛機：192.168.17.150 192.168.17.151 192.168.17.152。

5、創建overlay網絡

選其中一臺機器執行，例如在192.168.17.150執行

# 創建overlay網絡，并自定義制定網段以及網關
# 可以通過制定不同的網段，以隔離不同的服務
docker network create -d overlay --subnet 10.22.1.0/24  --gateway 10.22.1.1 spark-net
# 每臺機器查看創建的網絡
docker network ls
# 查看具體信息
docker network inspect spark-net

刪除網絡命令

# 刪除自定義網絡
docker network rm spark-net
# 如果有已連接的，先斷開連接
docker network disconnect -f net-spark con1

注意
例如：在cloud1機器上，可以執行docker network disconnect -f spark-net cloud2但是執行docker network disconnect -f spark-net cloud1就無效，必須跨機器執行斷連。

6. 跨主機創建容器驗證

本文依賴上篇文章創建了3個容器, 可查看 ??Docker搭建大數據平臺之Hadoop,Spark,Hive初探??。

192.168.17.150機器上執行。

docker run --name cloud1 \
 -p 50070:50070 \
 -p 8088:8088 \
 -p 8080:8080 \
 -p 7077:7077 \
 -p 9000:9000 \
 -p 16010:16010 \
 --network net-spark --ip 10.22.1.26 \
 -h cloud1 \
 --add-host cloud1:10.22.1.26 \
 --add-host cloud2:10.22.1.27 \
 --add-host cloud3:10.22.1.28 \
 -it spark:v4

192.168.17.151機器上執行。

docker run --name cloud2  \
 --network net-spark --ip 10.22.1.27 \
 -h cloud2 \
 --add-host cloud1:10.22.1.26 \
 --add-host cloud2:10.22.1.27 \
 --add-host cloud3:10.22.1.28 \
 -it spark:v4

192.168.17.152機器上執行。

docker run --name cloud3 \
 --network net-spark --ip 10.22.1.28 \
 -h cloud3 \
 --add-host cloud1:10.22.1.26 \
 --add-host cloud2:10.22.1.27 \
 --add-host cloud3:10.22.1.28 \
 -it spark:v4

可分別在三個容器內互相ping IP10.22.1.26、10.22.1.27、10.22.1.28驗證。

三、常見問題

1、如遇錯誤常用命令

如果網絡改動，需要重啟docker

systemctl daemon-reload
 systemctl restart docker

關掉防火墻

# 停止firewall
 systemctl stop firewalld.service
 # 禁止firewall開機啟動
 systemctl disable firewalld.service
 # 查看開放端口列表
 firewall-cmd --list-ports
 # 開放端口
 firewall-cmd --zone=public --add-port=2379/tcp --permanent 
 # 重新載入
 firewall-cmd --reload

2、將容器以指定IP鏈接到自定義網絡中

#容器cloud3以IP10.22.1.28鏈接到overlay網絡spark-net
 docker network connect --ip 10.22.1.28 spark-net cloud3

3、將容器從自定義網絡中刪除

# 注意不可在當前容器里執行斷連
 # 例如 需要斷連容器cloud2，則需要在容器cloud1中執行如下命令
 docker network disconnect -f spark-net cloud2

4、manager節點無法接入

docker.service配置 -H tcp://0.0.0.0:2376 --cluster-store=consul://121.4.138.199:8500 --cluster-advertise=ens33:2376 并不能正確執行，原理暫未知。

??想了解更多關于開源的內容，請訪問：??

??51CTO 開源基礎軟件社區??

??https://ost.51cto.com??。

責任編輯：jianghua 來源：鴻蒙社區

容器 Docker