認識一下容器網(wǎng)絡接口 CNI

作者：張曉輝 2022-12-07 08:13:55

開發(fā) 前端

這篇學習了 CNI 規(guī)范的內(nèi)容、網(wǎng)絡插件的執(zhí)行流程，對 CNI 抽象的網(wǎng)絡管理接口有了大致的了解。

在最前，周末寫到這篇的時候我就發(fā)現(xiàn)可能是給自己挖了很大的坑，整個 Kubernetes 網(wǎng)關相關的內(nèi)容會非常復雜且龐大。

深入探索 Kubernetes 網(wǎng)絡模型和網(wǎng)絡通信

認識一下容器網(wǎng)絡接口 CNI（本篇）

源碼分析：從 kubelet、容器運行時看 CNI 的使用

從 Flannel 學習 Kubernetes VXLAN 網(wǎng)絡

Cilium CNI 與 eBPF

...

看自己能學到哪一步~

在《深入探索 Kubernetes 網(wǎng)絡模型和網(wǎng)絡通信》文章中，我們介紹了網(wǎng)絡命名空間（network namespace）如何在 Kubernetes 網(wǎng)絡模型中工作，通過示例分析 pod 間的流量傳輸路徑。整個傳輸過程需要各種不同組件的參與才完成，而這些組件與 pod 相同的生命周期，跟隨 pod 的創(chuàng)建和銷毀。容器的維護由 kubelet 委托給容器運行時（container runtime）來完成，而容器的網(wǎng)絡命名空間則是由容器運行時委托網(wǎng)絡插件完成。

創(chuàng)建 pod（容器）的網(wǎng)絡命名空間

創(chuàng)建接口

創(chuàng)建 veth 對

設置命名空間網(wǎng)絡

設置靜態(tài)路由

配置以太網(wǎng)橋接器

分配 IP 地址

創(chuàng)建 NAT 規(guī)則

...

上篇我們也提到不同網(wǎng)絡插件對 Kubernetes 網(wǎng)絡模型有不同的實現(xiàn)，主要集中在跨節(jié)點的 pod 間通信的實現(xiàn)上。用戶可以根據(jù)需要選擇合適的網(wǎng)絡插件，這其中離不開 CNI（container network interface）。這些網(wǎng)絡插件都實現(xiàn)了 CNI 標準，可以與容器編排系統(tǒng)和運行時良好的集成。

runtime-with-cni

CNI 是什么

CNI 是 CNCF 下的一個項目，除了提供了最重要的規(guī)范[1] 、用來 CNI 與應用集成的庫[2]、實行 CNI 插件的 CLI `cnitool`[3]，以及可引用的插件[4]。本文發(fā)布時，最新版本為 v1.1.2。

CNI 只關注容器的網(wǎng)絡連接以及在容器銷毀時清理/釋放分配的資源，也正因為這個，即使容器發(fā)展迅速，CNI 也依然能保證簡單并被廣泛支持[5]。

CNI 規(guī)范

CNI 的規(guī)范涵蓋了以下幾部分：

網(wǎng)絡配置文件格式

容器運行時與網(wǎng)絡插件交互的協(xié)議

插件的執(zhí)行流程

將委托其他插件的執(zhí)行流程

返回給運行時的執(zhí)行結果數(shù)據(jù)類型

1. 網(wǎng)絡配置格式

這里貼出規(guī)范中的配置示例，規(guī)范[6] 中定義了網(wǎng)絡配置的格式，包括必須字段、可選字段以及各個字段的功能。示例使用定義了名為 dbnet? 的網(wǎng)絡，配置了插件 bridge? 和 tuning，這兩個插件。

CNI 的插件一般分為兩種：

接口插件（interface plugin）：用來創(chuàng)建網(wǎng)絡接口，比如示例中的bridge。

鏈式插件（chained）：用來調(diào)整已創(chuàng)建好的網(wǎng)絡接口，比如示例中的tuning。

{
  "cniVersion": "1.0.0",
  "name": "dbnet",
  "plugins": [
    {
      "type": "bridge",
      // plugin specific parameters
      "bridge": "cni0",
      "keyA": ["some more", "plugin specific", "configuration"],
      
      "ipam": {
        "type": "host-local",
        // ipam specific
        "subnet": "10.1.0.0/16",
        "gateway": "10.1.0.1",
        "routes": [
            {"dst": "0.0.0.0/0"}
        ]
      },
      "dns": {
        "nameservers": [ "10.1.0.1" ]
      }
    },
    {
      "type": "tuning",
      "capabilities": {
        "mac": true
      },
      "sysctl": {
        "net.core.somaxconn": "500"
      }
    },
    {
        "type": "portmap",
        "capabilities": {"portMappings": true}
    }
  ]
}

2. 容器運行時與網(wǎng)絡插件交互的協(xié)議

CNI 為容器運行時提供四個不同的操作[7]：

ADD - 將容器添加到網(wǎng)絡，或修改配置

DEL - 從網(wǎng)絡中刪除容器，或取消修改

CHECK - 檢查容器網(wǎng)絡是否正常，如果容器的網(wǎng)絡出現(xiàn)問題，則返回錯誤

VERSION - 顯示插件的版本

規(guī)范對操作的輸入和輸出內(nèi)容進行了定義。主要幾個核心的字段有：

CNI_COMMAND：上面的四個操作之一

CNI_CONTAINERID：容器 ID

CNI_NETNS：容器的隔離域，如果用的網(wǎng)絡命名空間，這里的值是網(wǎng)絡命名空間的地址

CNI_IFNAME?：要在容器中創(chuàng)建的接口名，比如 eth0

CNI_ARGS：執(zhí)行參數(shù)時傳遞的參數(shù)

CNI_PATH：插件可執(zhí)行文件的朝招路徑

3. 插件的執(zhí)行流程

CNI 將容器上網(wǎng)絡配置的 ADD、DELETE? 和 CHECK 操作，成為附加（attachment）。

容器網(wǎng)絡配置的操作，需要一個或多個插件的共同操作來完成，因此插件有一定的執(zhí)行順序。比如前面的示例配置中，要先創(chuàng)建接口，才能對接口進行調(diào)優(yōu)。

拿 ADD? 操作為例，首先執(zhí)行的一般是 interface plugin?，然后在執(zhí)行 chained plugin?。以前一個插件的輸出 PrevResult? 與下一個插件的配置會共同作為下一個插件的輸入。如果是第一個插件，會將網(wǎng)絡配置作為輸入的一部分。插件可以將前一個插件的 PrevResult? 最為自己的輸出，也可以結合自身的操作對 PrevResult? 進行更新。最后一個插件的輸出 PrevResult 作為 CNI 的執(zhí)行結果返回給容器運行時，容器運行時會保存改結果并將其作為其他操作的輸入。

DELETE? 的執(zhí)行與 ADD? 的順序正好相反，要先移除接口上的配置或者釋放已經(jīng)分配的 IP，最后才能刪除容器網(wǎng)絡接口。DELETE? 操作的輸入就是容器運行時保存的 ADD 操作的結果。

cni-plugin-execution-flow

除了定義單次操作中插件的執(zhí)行順序，CNI 還對操作的并行操作、重復操作等進行了說明[8]。

4. 插件委托

有一些操作，無論出于何種原因，都不能合理地作為一個松散的鏈接插件來實現(xiàn)。相反，CNI 插件可能希望將某些功能委托給另一個插件。一個常見的例子是 IP 地址管理（IP Adress Management，簡稱 IPAM），主要是為容器接口分配/回收 IP 地址、管理路由等。

CNI 定義了第三種插件 -- IPAM 插件。CNI 插件可以在恰當?shù)臅r機調(diào)用 IPAM 插件，IPAM 插件會將執(zhí)行的結果返回給委托方。IPAM 插件會根據(jù)指定的協(xié)議（如 dhcp）、本地文件中的數(shù)據(jù)、或者網(wǎng)絡配置文件中 ipam 字段的信息來完成操作：分配 IP、設置網(wǎng)關、路由等等。

"ipam": {
  "type": "host-local",
  // ipam specific
  "subnet": "10.1.0.0/16",
  "gateway": "10.1.0.1",
  "routes": [
      {"dst": "0.0.0.0/0"}
  ]
}

5. 執(zhí)行結果

插件可以返回一下三種結果之一，規(guī)范對結果的格式[9] 進行了定義。

Success：同時會包含PrevResult? 信息，比如 ADD? 操作后的 PrevResult 返回給容器運行時。

Error：包含必要的錯誤提示信息。

Version：這個是VERSION 操作的返回結果。

庫

CNI 的庫是指 `libcni`[10]，用于 CNI 和應用程序集成，定義了 CNI 相關的接口和配置。

type CNI interface {  
   AddNetworkList(ctx context.Context, net *NetworkConfigList, rt *RuntimeConf) (types.Result, error)  
   CheckNetworkList(ctx context.Context, net *NetworkConfigList, rt *RuntimeConf) error  
   DelNetworkList(ctx context.Context, net *NetworkConfigList, rt *RuntimeConf) error  
   GetNetworkListCachedResult(net *NetworkConfigList, rt *RuntimeConf) (types.Result, error)  
   GetNetworkListCachedConfig(net *NetworkConfigList, rt *RuntimeConf) ([]byte, *RuntimeConf, error)  
  
   AddNetwork(ctx context.Context, net *NetworkConfig, rt *RuntimeConf) (types.Result, error)  
   CheckNetwork(ctx context.Context, net *NetworkConfig, rt *RuntimeConf) error  
   DelNetwork(ctx context.Context, net *NetworkConfig, rt *RuntimeConf) error  
   GetNetworkCachedResult(net *NetworkConfig, rt *RuntimeConf) (types.Result, error)  
   GetNetworkCachedConfig(net *NetworkConfig, rt *RuntimeConf) ([]byte, *RuntimeConf, error)  
  
   ValidateNetworkList(ctx context.Context, net *NetworkConfigList) ([]string, error)  
   ValidateNetwork(ctx context.Context, net *NetworkConfig) ([]string, error)  
}

以添加網(wǎng)絡的部分代碼為例：

func (c *CNIConfig) addNetwork(ctx context.Context, name, cniVersion string, net *NetworkConfig, prevResult types.Result, rt *RuntimeConf) (types.Result, error) {  
   ...
   return invoke.ExecPluginWithResult(ctx, pluginPath, newConf.Bytes, c.args("ADD", rt), c.exec)  
}

執(zhí)行的邏輯簡單來說就是：

查找可執(zhí)行文件

加載網(wǎng)絡配置

執(zhí)行ADD 操作

結果處理

總結

這篇學習了 CNI 規(guī)范的內(nèi)容、網(wǎng)絡插件的執(zhí)行流程，對 CNI 抽象的網(wǎng)絡管理接口有了大致的了解。

下一篇將結合源碼的分析，了解 kubelet、容器運行時、CNI 網(wǎng)絡插件之間如何進行交互。

參考

https://www.tigera.io/learn/guides/kubernetes-networking/kubernetes-cni/

https://github.com/containernetworking/cni

https://kubernetes.io/docs/concepts/extend-kubernetes/compute-storage-net/network-plugins/

參考資料

[1]

規(guī)范: https://github.com/containernetworking/cni/blob/main/SPEC.md

[2]

庫: https://github.com/containernetworking/cni/blob/main/libcni

[3]

cnitool?: https://github.com/containernetworking/cni/blob/main/cnitool

[4]

可引用的插件: https://github.com/containernetworking/plugins

[5]

廣泛支持: https://github.com/containernetworking/cni/blob/main/README.md#who-is-using-cni

[6]

規(guī)范: https://github.com/containernetworking/cni/blob/main/SPEC.md#section-1-network-configuration-format

[7]

四個不同的操作: https://github.com/containernetworking/cni/blob/master/SPEC.md#cni-operations

[8]

CNI 還對操作的并行操作、重復操作等進行了說明: https://github.com/containernetworking/cni/blob/main/SPEC.md#lifecycle--ordering

[9]

結果的格式: https://github.com/containernetworking/cni/blob/main/SPEC.md#section-5-result-types

[10]

libcni?: https://github.com/containernetworking/cni/tree/main/libcni

責任編輯：武曉燕來源：云原生指北

CNI 抽象接口