聊聊容器網(wǎng)絡(luò)實(shí)現(xiàn)原理
基本原理
Linux 容器假如使用了 network namespace，那么容器將會(huì)有自己的一個(gè)網(wǎng)絡(luò)棧，而這個(gè)網(wǎng)絡(luò)棧，就包括了：網(wǎng)卡、回環(huán)設(shè)備、路由表和 iptables 規(guī)則等。這些要素，其實(shí)就構(gòu)成了進(jìn)程發(fā)起和響應(yīng)網(wǎng)絡(luò)請(qǐng)求的基本環(huán)境，擁有了屬于自己的 IP 地址和端口。雖然容器可以直接使用宿主機(jī)網(wǎng)絡(luò)棧的方式，從而為容器提供良好的網(wǎng)絡(luò)性能，但是這樣也會(huì)不可避免地引入共享網(wǎng)絡(luò)資源的問(wèn)題，比如端口沖突。
但是被隔離在自己 network namespace 中的容器如何跟同一宿主機(jī)上但處于不同 network namespace 里的容器進(jìn)程進(jìn)行通信呢？如何跟容器所在宿主機(jī)進(jìn)行通信呢？如何訪問(wèn)外部主機(jī)的？或者提供外部可訪問(wèn)的服務(wù)呢？
圖片
把每一個(gè)容器都看作一臺(tái)主機(jī)，它們有一套獨(dú)立的“網(wǎng)絡(luò)?！薄Ｄ敲慈萜髋c同一臺(tái)上宿主機(jī)的通信，或者與宿主機(jī)的通信，其實(shí)就相當(dāng)于兩臺(tái)主機(jī)之間的通信。而實(shí)現(xiàn)兩臺(tái)主機(jī)之間通信最直接的方式，就是用一根網(wǎng)線將兩臺(tái)主機(jī)連接起來(lái)。如果想要實(shí)現(xiàn)多臺(tái)主機(jī)之間的通信，那就需要用網(wǎng)線，把它們連接在一臺(tái)交換機(jī)上。
Linux 提供了 bridge 虛擬網(wǎng)絡(luò)設(shè)備（類(lèi)似交換機(jī)的能力），并且提供了 Veth Pair 虛擬設(shè)備（Veth Pair 的虛擬設(shè)備被創(chuàng)建出來(lái)之后，總是以兩張?zhí)摂M網(wǎng)卡（Veth Peer）的形式成對(duì)出現(xiàn)。并且從其中一個(gè)網(wǎng)卡發(fā)出的數(shù)據(jù)包，可以直接出現(xiàn)在與它對(duì)應(yīng)的另一張網(wǎng)卡上，哪怕這兩張網(wǎng)卡在不同的 network namespace 中）。
因此，只需要通過(guò)上述虛擬設(shè)備，將 Veth Pair 一端連在 Container 上，作為 Container 的 eth0，另外一端連接在網(wǎng)橋上，同時(shí)給網(wǎng)橋分配一個(gè) IP 地址（此時(shí)網(wǎng)橋也作為了宿主機(jī)的一個(gè)網(wǎng)絡(luò)接口），就可以實(shí)現(xiàn)容器與同一臺(tái)上宿主機(jī)的通信，或者與宿主機(jī)的通信。如圖所示，
之后在上述的基礎(chǔ)之上，在宿主機(jī)上通過(guò)路由和 NAT 的方式，就可以實(shí)現(xiàn)容器訪問(wèn)外部服務(wù)，或者為外部提供服務(wù)。
圖片
除了 bridge 的方式之外，還可以通過(guò)其他方式來(lái)實(shí)現(xiàn)，但是目前普遍的方式是采用上述的方式。比如，Docker 項(xiàng)目默認(rèn)就是使用上述方式實(shí)現(xiàn)的。除了 bridge+veth pair 的方式之外，容器還可以選擇其他的網(wǎng)絡(luò)配置方式。
- 比如 Docker 的文檔中就提到了 macvlan 的配置方式，和 macvlan 很類(lèi)似的方式還有 ipvlan。它們的相同點(diǎn)就是都可以在一個(gè)物理的網(wǎng)絡(luò)接口上再配置幾個(gè)虛擬的網(wǎng)絡(luò)接口。在這些虛擬的網(wǎng)絡(luò)接口上，都可以配置獨(dú)立的 IP，并且這些 IP 可以屬于不同的 Namespace。而不同點(diǎn)是，對(duì)于 macvlan，每個(gè)虛擬網(wǎng)絡(luò)接口都有自己獨(dú)立的 mac 地址；而 ipvlan 的虛擬網(wǎng)絡(luò)接口是和物理網(wǎng)絡(luò)接口共享同一個(gè) mac 地址。由于 ipvlan/macvlan 網(wǎng)絡(luò)接口直接掛載在物理網(wǎng)絡(luò)接口上，此時(shí)數(shù)據(jù)包發(fā)送的過(guò)程中只會(huì)經(jīng)過(guò)容器內(nèi)的協(xié)議棧配置，比如容器自己的 iptables 規(guī)則，而不會(huì)經(jīng)過(guò)宿主機(jī)的 iptables 規(guī)則。因此，對(duì)于會(huì)用到宿主機(jī) iptables 規(guī)則的容器，比如 Kubernetes 里使用 service 的容器，就不能工作了。
圖片
bridge 網(wǎng)絡(luò)模型通信舉例
容器->容器（同一宿主機(jī)）
- 在容器 container1 中查看相應(yīng)的路由：這個(gè)容器里有一張叫作 eth0 的網(wǎng)卡，它正是一個(gè) Veth Pair 設(shè)備在容器里的這一端。所有對(duì) 172.17.0.0/16 網(wǎng)段的請(qǐng)求，都會(huì)被交給 eth0 來(lái)處理（第二條 172.17.0.0 路由規(guī)則）。
$ route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default 172.17.0.1 0.0.0.0 UG 0 0 0 eth0
172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0而這個(gè) Veth Pair 設(shè)備的另一端，則在宿主機(jī)上。你可以通過(guò)查看宿主機(jī)的網(wǎng)絡(luò)設(shè)備看到它，如下所示?？梢钥吹?，container1 對(duì)應(yīng)的 Veth Pair 設(shè)備，在宿主機(jī)上是一張?zhí)摂M網(wǎng)卡。它的名字叫作 veth9c02e56。并且，通過(guò) brctl show 的輸出，你可以看到這張網(wǎng)卡被“插”在了 docker0 上。
# 在宿主機(jī)上
$ ifconfig
...
docker0 Link encap:Ethernet HWaddr 02:42:d8:e4:df:c1
inet addr:172.17.0.1 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:d8ff:fee4:dfc1/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:309 errors:0 dropped:0 overruns:0 frame:0
TX packets:372 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:18944 (18.9 KB) TX bytes:8137789 (8.1 MB)
veth9c02e56 Link encap:Ethernet HWaddr 52:81:0b:24:3d:da
inet6 addr: fe80::5081:bff:fe24:3dda/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:288 errors:0 dropped:0 overruns:0 frame:0
TX packets:371 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:21608 (21.6 KB) TX bytes:8137719 (8.1 MB)
$ brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.0242d8e4dfc1 no veth9c02e56- 當(dāng)在 container1 容器里訪問(wèn) container2 容器的 IP 地址（比如 ping 172.17.0.3）的時(shí)候，這個(gè)目的 IP 地址會(huì)匹配到 container1 容器里的路由規(guī)則，相應(yīng)的路由規(guī)則的網(wǎng)關(guān)（gateway）是 0.0.0.0，這就意味著這是一條直連規(guī)則：即凡是匹配到這條規(guī)則的 IP 包，應(yīng)該經(jīng)過(guò)本機(jī)的 eth0 網(wǎng)卡，通過(guò)二層網(wǎng)絡(luò)直接發(fā)往目的主機(jī)。
此時(shí)則需要知道 172.17.0.3 這個(gè) IP 地址對(duì)應(yīng)的 MAC 地址，因此 container1 容器的網(wǎng)絡(luò)協(xié)議棧，會(huì)通過(guò) eth0 網(wǎng)卡發(fā)送一個(gè) ARP 廣播，來(lái)通過(guò) IP 地址查找對(duì)應(yīng)的 MAC 地址。由于一張?zhí)摂M網(wǎng)卡被“插”在網(wǎng)橋上后，它就會(huì)變成該網(wǎng)橋的“從設(shè)備”。從設(shè)備會(huì)被“剝奪”調(diào)用網(wǎng)絡(luò)協(xié)議棧處理數(shù)據(jù)包的資格，從而“降級(jí)”成為網(wǎng)橋上的一個(gè)端口。這個(gè)端口唯一的作用，就是接收流入的數(shù)據(jù)包，而這些數(shù)據(jù)包的轉(zhuǎn)發(fā)或者丟棄則全交由對(duì)應(yīng)的網(wǎng)橋處理（container1 中的 eth0 網(wǎng)卡對(duì)應(yīng)的 Veth Pair 其實(shí)就相當(dāng)于一個(gè)網(wǎng)絡(luò)端口，而 eth0 和它對(duì)應(yīng)的 veth pari 的連接就相當(dāng)于一根網(wǎng)線，這根“網(wǎng)線”將 containerd 連到了網(wǎng)橋上。
所以，在收到這些 ARP 請(qǐng)求之后，docker0 網(wǎng)橋就會(huì)扮演二層交換機(jī)的角色，把 ARP 廣播轉(zhuǎn)發(fā)到其他被“插”在 docker0 上的虛擬網(wǎng)卡上。因此，container2 容器的 eth0 就會(huì)收到這個(gè) ARP 請(qǐng)求，從而將 172.17.0.3 所對(duì)應(yīng)的 MAC 地址回復(fù)給 container1 容器。 - 有了這個(gè)目的 MAC 地址，container1 容器的 eth0 網(wǎng)卡就可以將數(shù)據(jù)包發(fā)出去。docker0 處理轉(zhuǎn)發(fā)的過(guò)程，則繼續(xù)扮演二層交換機(jī)的角色。此時(shí)，docker0 網(wǎng)橋根據(jù)數(shù)據(jù)包的目的 MAC 地址（也就是 container2 容器的 MAC 地址），在它的 CAM 表（即交換機(jī)通過(guò) MAC 地址學(xué)習(xí)維護(hù)的端口和 MAC 地址的對(duì)應(yīng)表）里查到對(duì)應(yīng)的端口（Port）為：vethb4963f3，然后把數(shù)據(jù)包發(fā)往這個(gè)端口。這個(gè)端口對(duì)應(yīng)著 container2 中的 eth0 網(wǎng)卡（相當(dāng)于有根網(wǎng)線將他們連起來(lái)）。因此數(shù)據(jù)包就進(jìn)入到了 container2 容器的 Network Namespace 里。所以，container2 容器看到的情況是，它自己的 eth0 網(wǎng)卡上出現(xiàn)了流入的數(shù)據(jù)包。這樣，container2 的網(wǎng)絡(luò)協(xié)議棧就會(huì)對(duì)請(qǐng)求進(jìn)行處理，最后將響應(yīng)（Pong）返回到 containerd1。
圖片
需要注意的是，在實(shí)際的數(shù)據(jù)傳遞時(shí)，上述數(shù)據(jù)的傳遞過(guò)程在網(wǎng)絡(luò)協(xié)議棧的不同層次，都有 Linux 內(nèi)核 Netfilter 參與其中。所以，如果感興趣的話，你可以通過(guò)打開(kāi) iptables 的 TRACE 功能查看到數(shù)據(jù)包的傳輸過(guò)程，具體方法如下所示，通過(guò)上述設(shè)置，你就可以在 /var/log/syslog 里看到數(shù)據(jù)包傳輸?shù)娜罩玖恕?/p>
# 在宿主機(jī)上執(zhí)行
$ iptables -t raw -A OUTPUT -p icmp -j TRACE
$ iptables -t raw -A PREROUTING -p icmp -j TRACE
宿主機(jī)->容器
當(dāng)在主機(jī)上訪問(wèn)容器的時(shí)候，訪問(wèn)請(qǐng)求的數(shù)據(jù)包，
- 首先根據(jù)宿主機(jī)的路由規(guī)則到達(dá) docker0 網(wǎng)橋。
$ route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0- 然后再被轉(zhuǎn)發(fā)到對(duì)應(yīng)的 Veth Pair 設(shè)備，最后出現(xiàn)在容器里。
圖片
容器->外部主機(jī)
- 當(dāng)一個(gè)容器試圖連接到另外一個(gè)宿主機(jī)時(shí)，比如：ping 10.168.0.3，它發(fā)出的請(qǐng)求數(shù)據(jù)包，首先經(jīng)過(guò) docker0 網(wǎng)橋出現(xiàn)在宿主機(jī)上。
- 之后根據(jù)宿主機(jī)的路由表里的路由規(guī)則（10.168.0.0/24 via eth0)），將對(duì) 10.168.0.3 的訪問(wèn)請(qǐng)求交給宿主機(jī)的 eth0 處理。
- 同時(shí)對(duì)數(shù)據(jù)包進(jìn)行源地址替換（SNAT）。這是因?yàn)槿萜魍ǔＪ褂玫氖且粋€(gè)私有的、非路由的 IP 地址（如172.17.0.2），這些地址在宿主機(jī)的網(wǎng)絡(luò)之外是不可見(jiàn)的。宿主機(jī)網(wǎng)絡(luò)之外用于通信的地址，還得是宿主機(jī)。如果不進(jìn)行 SNAT 的話，那么在外部網(wǎng)絡(luò)中無(wú)法進(jìn)行正確的路由。下面是 netfilter POSTROUTING 階段的規(guī)則，包含了一條規(guī)則：source 如果是 172.17.0.0/16，但是出口用的網(wǎng)絡(luò)接口不是 docker 的話，則進(jìn)行 SNAT。
Chain POSTROUTING (policy ACCEPT 2469K packets, 176M bytes)
pkts bytes target prot opt in out source destination
0 0 MASQUERADE all -- * !docker0 172.17.0.0/16 0.0.0.0/0- 接下來(lái)的數(shù)據(jù)包就會(huì)經(jīng)宿主機(jī)的 eth0 網(wǎng)卡轉(zhuǎn)發(fā)到宿主機(jī)網(wǎng)絡(luò)上，最終到達(dá) 10.168.0.3 對(duì)應(yīng)的宿主機(jī)上（當(dāng)然這兩臺(tái)宿主機(jī)本身是要連通的）。
當(dāng)遇到容器連不通“外網(wǎng)”的時(shí)候，你都應(yīng)該先試試 docker0 網(wǎng)橋能不能 ping 通，然后查看一下跟 docker0 和 Veth Pair 設(shè)備相關(guān)的 iptables 規(guī)則是不是有異常，往往就能夠找到問(wèn)題的答案了。
圖片
外部主機(jī)->容器
如果一個(gè)容器想要對(duì)外提供服務(wù)的話，此時(shí)需要使用 NAT 的能力，將提供服務(wù)的端口映射到 Docker 宿主機(jī)端口上。在實(shí)現(xiàn)原理上，其實(shí)就是在 netfilter PREROUTING 階段進(jìn)行目的地址轉(zhuǎn)換（DNAT）。
- 當(dāng)外部主機(jī)訪問(wèn)宿主機(jī)的 8090 端口，也就是訪問(wèn) 10.168.0.2:8090 的時(shí)候。
- 訪問(wèn)數(shù)據(jù)包會(huì)先到宿主機(jī)網(wǎng)絡(luò)，先經(jīng)過(guò) netfilter PREROUTING 階段。PREROUTING 中有一條規(guī)則是對(duì)于目的端口是 8090 的數(shù)據(jù)包來(lái)說(shuō)，它的目的地址和端口會(huì)被替換為 172.17.0.2:8090。因此，任何訪問(wèn)宿主機(jī) 8090 端口的數(shù)據(jù)包，都會(huì)被轉(zhuǎn)發(fā)到容器 172.17.0.2:8090 上。
Chain PREROUTING (policy ACCEPT 2587K packets, 122M bytes)
pkts bytes target prot opt in out source destination
2637K 125M DOCKER all -- * * 0.0.0.0/0 0.0.0.0/0 ADDRTYPE match dst-type LOCAL
Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 RETURN all -- docker0 * 0.0.0.0/0 0.0.0.0/0
37821 2032K DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:8090 to:172.17.0.2:8090bridge 網(wǎng)絡(luò)模擬創(chuàng)建
當(dāng)我們?cè)谑褂萌萜鞯臅r(shí)候，容器引擎比如 Docker，會(huì)自動(dòng)搭建好上述的網(wǎng)絡(luò)拓?fù)?。下面從頭開(kāi)始搭建上述的網(wǎng)絡(luò)拓?fù)?。主要用到的?ip netns 這個(gè)命令，通過(guò)它來(lái)對(duì) network namespace 進(jìn)行操作。
- 首先，我們先啟動(dòng)一個(gè)不帶網(wǎng)絡(luò)配置的容器?？梢钥吹?，在啟動(dòng)的容器中，Network Namespace 里就只有 loopback 一個(gè)網(wǎng)絡(luò)設(shè)備，而沒(méi)有了 eth0 網(wǎng)絡(luò)設(shè)備了。
# docker run -d --name if-test --network none centos:8.1.1911 sleep 36000
cf3d3105b11512658a025f5b401a09c888ed3495205f31e0a0d78a2036729472
# docker exec -it if-test ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever- 完成剛才的設(shè)置以后，在這個(gè)容器的 Network Namespace 里建立 veth?？梢詧?zhí)行一下這個(gè)腳本完成 veth 的創(chuàng)建和通信。
pid=$(ps -ef | grep "sleep 36000" | grep -v grep | awk '{print $2}')
echo $pid
ln -s /proc/$pid/ns/net /var/run/netns/$pid
# Create a pair of veth interfaces
ip link add name veth_host type veth peer name veth_container
# Put one of them in the new net ns
ip link set veth_container netns $pid
# In the container, setup veth_container
ip netns exec $pid ip link set veth_container name eth0
ip netns exec $pid ip addr add 172.17.1.2/16 dev eth0
ip netns exec $pid ip link set eth0 up
ip netns exec $pid ip route add default via 172.17.0.1
# In the host, set veth_host up
ip link set veth_host up完成這些操作之后，就創(chuàng)建了一對(duì) veth 虛擬設(shè)備接口，示意圖如下所示。
假如 veth_host 上加上一個(gè) IP，172.17.1.1/16，就可以從容器里就可以 ping 通這個(gè) IP 了。這也證明了從容器到宿主機(jī)可以利用這對(duì) veth 接口來(lái)通訊了。
首先呢，我們先找到這個(gè)容器里運(yùn)行的進(jìn)程"sleep 36000"的 pid，通過(guò) "/proc/$pid/ns/net"這個(gè)文件得到 Network Namespace 的 ID，這個(gè) Network Namespace ID 既是這個(gè)進(jìn)程的，也同時(shí)屬于這個(gè)容器。
然后我們?cè)?/var/run/netns/"的目錄下建立一個(gè)符號(hào)鏈接，指向這個(gè)容器的 Network Namespace。完成這步操作之后，在后面的"ip netns"操作里，就可以用 pid 的值作為這個(gè)容器的 Network Namesapce 的標(biāo)識(shí)了。
接下來(lái)呢，我們用 ip link 命令來(lái)建立一對(duì) veth 的虛擬設(shè)備接口，分別是 veth_container 和 veth_host。從名字就可以看出來(lái)，veth_container 這個(gè)接口會(huì)被放在容器 Network Namespace 里，而 veth_host 會(huì)放在宿主機(jī)的 Host Network Namespace。
之后，用 ip link set veth_container netns $pid 把 veth_container 這個(gè)接口放入到容器的 Network Namespace 中。
再然后我們要把 veth_container 重新命名為 eth0，因?yàn)檫@時(shí)候接口已經(jīng)在容器的 Network Namesapce 里了，eth0 就不會(huì)和宿主機(jī)上的 eth0 沖突了。
最后對(duì)容器內(nèi)的 eht0，我們還要做基本的網(wǎng)絡(luò) IP 和缺省路由配置。因?yàn)?veth_host 已經(jīng)在宿主機(jī)的 Host Network Namespace 了，就不需要我們做什么了，這時(shí)我們只需要 up 一下這個(gè)接口就可以了。
- 完成上述的 veth 設(shè)備創(chuàng)建之后，就可以讓數(shù)據(jù)包從容器的 network namespace 發(fā)送到 host network namespace 了。到了 Host Network Namespace 之后就需要考慮，如何將數(shù)據(jù)包繼續(xù)從 eth0 接口發(fā)送出去。
- 首先將第一步中建立的 veth_host 這個(gè)設(shè)備，接入到 docker0 這個(gè) bridge 上即可。如果之前你在 veth_host 上設(shè)置了 IP 的，就需先運(yùn)行一下"ip addr delete 172.17.1.1/16 dev veth_host"，把 IP 從 veth_host 上刪除。
# ip addr delete 172.17.1.1/16 dev veth_host
ip link set veth_host master docker0上述完成之后，網(wǎng)絡(luò)拓?fù)淙缦滤尽Ｈ萜骱?docker0 組成了一個(gè)子網(wǎng)，docker0 上的 IP 就是這個(gè)子網(wǎng)的網(wǎng)關(guān) IP。
- 此時(shí)，數(shù)據(jù)包是在宿主機(jī)網(wǎng)絡(luò)中。由于要訪問(wèn)外網(wǎng)的一個(gè) IP 地址，因此此時(shí)宿主機(jī)要做的工作是轉(zhuǎn)發(fā)。因此，需要打開(kāi)宿主機(jī)上的轉(zhuǎn)發(fā)功能。
$ iptables -P FORWARD ACCEPT
$ cat /proc/sys/net/ipv4/ip_forward
0
$ echo 1 > /proc/sys/net/ipv4/ip_forward- 完成上述的配置之后，可以從容器中 ping 通外網(wǎng)的 IP 地址了。
# docker exec -it if-test ping 39.106.233.176
PING 39.106.233.176 (39.106.233.176) 56(84) bytes of data.
64 bytes from 39.106.233.176: icmp_seq=1 ttl=77 time=359 ms
64 bytes from 39.106.233.176: icmp_seq=2 ttl=77 time=346 ms
^C
--- 39.106.233.176 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1ms
rtt min/avg/max/mdev = 345.889/352.482/359.075/6.593 ms相關(guān)鏈接
- The Layers of the OSI Model Illustrated：https://www.lifewire.com/layers-of-the-osi-model-illustrated-818017
- 極客時(shí)間.張磊.《深入剖析Kubernetes》
- 容器網(wǎng)絡(luò)（一）：https://morven.life/posts/networking-4-docker-sigle-host/
