Kubernetes是一個開源容器編排平臺，管理大規(guī)模分布式容器化軟件應用， 是云計算發(fā)展演進的一次徹底革命性的突破。Kubernetes是谷歌的第三代容器管理系統(tǒng)，是Borg獨特的控制器和Omega靈活的調(diào)度器的組合。Kubernetes中的應用被打包成與環(huán)境完全分離的容器鏡像，并且自動配置應用并維護跟蹤資源分配。

Kubernetes是以 應用為中心 的技術(shù)架構(gòu)與思想理念， 向下 屏蔽基礎設施差異，實現(xiàn)底層基礎資源統(tǒng)一調(diào)度及編排； 向上 通過容器鏡像標準化應用，實現(xiàn)應用負載自動化部署； 中間 通過Kubernetes通用的編排能力，開放API以及自定義CRD擴展能力，打造云原生操作系統(tǒng)能力，形成云計算新界面；助力研發(fā)團隊 快速構(gòu)建標準化、彈性高可靠、松耦合、易管理維護的應用系統(tǒng)，提升交付效率，降低運維復雜度。 Kubernetes在技術(shù)架構(gòu)方面具備三個能力：

• 敏捷的彈性伸縮能力： 不同于虛擬機分鐘級的彈性伸縮響應，容器應用可實現(xiàn)秒級甚至毫秒級的彈性伸縮響應；
• 智能的服務故障自愈能力： 容器應用具有極強的自愈能力，可實現(xiàn)應用故障的自動摘除與重構(gòu)；
• 大規(guī)模的復制分發(fā)能力： 容器應用標準化的交付制品，可實現(xiàn)跨平臺、跨區(qū)域，云邊一體規(guī)模化復制分發(fā)部署能力。

一、Kubernetes整體架構(gòu)

Kubernetes是典型的 主從分布式架構(gòu)， 由 集中式管理節(jié)點（Master Node）,分布式的工作節(jié)點（Worker Node） 以及 輔助工具 組成。

1、集中式管理節(jié)點

集中式管理節(jié)點，對集群進行調(diào)度管理，有 四大核心組件：

• API Server： 承擔集群的網(wǎng)關(guān)，實現(xiàn)統(tǒng)一認證鑒權(quán)對外服務，同時也是管理Node/Pod資源代理通道；
• Scheduler： 資源調(diào)度器，除了Kubernetes默認的調(diào)度器，也支持自定義調(diào)度器；
• ETCD： 集群狀態(tài)統(tǒng)一存儲，與Zookeeper類似的key-value存儲；
• Controller Manger： 控制管理器實現(xiàn)自愈、擴容、應用生命周期管理、服務發(fā)現(xiàn)、路由、服務綁定等能力；Kubernetes默認提供Replication Controller、Node Controller、Namespace Controller、Service Controller、Endpoints Controller、Persistent Controller、DaemonSet Controller等控制器。

2、分布式的工作節(jié)點

分布式的工作節(jié)點，工作節(jié)點運行業(yè)務應用容器；默認會運行 三大核心組件 ：

• Kubelet： 與管理節(jié)點通信并觸發(fā)指令執(zhí)行，管理驅(qū)動網(wǎng)絡，存儲及容器運行時；
• Kube Proxy： 通過DNS實現(xiàn)服務發(fā)現(xiàn)，借助iptables規(guī)則引導訪問至服務IP，并將重定向至正確的后端應用，實現(xiàn)高可用負載均衡能力；
• Container Runtime： 容器運行時。為了擴展Kubernetes平臺適配能力，同時也標準化整個生態(tài)，通過 CNI與CSI標準規(guī)范網(wǎng)絡及存儲 的擴展；通過 CRI與OCI標準規(guī)范容器鏡像及容器運行時 的擴展；目前CRI支持的容器運行時有docker、rkt、cri-o、frankti、kata-containers和clear-containers等。

3、輔助工具

輔助工具，主要是輔助集群管理及網(wǎng)絡擴展:

• kubectl 通過API Server進行交互，實現(xiàn) 集群管理的命令行工具；
• Dashboard 是Kubernetes的web 用戶管理監(jiān)控界面；
• Core DNS 是可擴展的DNS服務器，實現(xiàn) 集群服務發(fā)現(xiàn)能力。

二、Kubernetes核心理念

1、POD容器組，Kubernetes最小調(diào)度單元

Pod是Kubernetes的 最小調(diào)度及資源分配單元， Pod之間相互隔離，通常情況一個Pod只建議運行一個容器，當某些容器之間關(guān)系非常緊密（Tightly coupled），可以運行在同一Pod運行多個容器方便一起調(diào)度管理。一個Pod就是一個應用運行實例，通過同時運行多個Pod來實現(xiàn)應用 橫向擴展 能力。Pod本身沒有自恢復能力，當調(diào)度或運行失敗時，需要管理節(jié)點的Controller根絕配置觸發(fā)實現(xiàn)Pod重啟、重建或遷移等操作。

從Pod啟動過程來看， Pod容器主要是 Pause Container，Init Container 以及 App Container 三種類型容器組成：

• Pause Container： 又叫Infra Container，Pod通過Pause Container實現(xiàn)Pod多個容器網(wǎng)絡共享， Pause Container最先啟動并綁定Pod唯一IP地址與各種網(wǎng)絡資源，其他容器通過加入Pause  Container的Network namespace來實現(xiàn)網(wǎng)絡共享。Pause是C語言實現(xiàn)，鏡像非常小只有700KB左右，并且永遠處于Pause(暫停)狀態(tài)；官方鏡像是gcr.io/google_containers/pause-amd64:3.0，同時也支持自定義。
• Init Container： Pod中可以自定義一個或者多個 Init Container ， 按照順序依次啟動 ，在應用Container之前啟動并執(zhí)行一些輔助任務，比如執(zhí)行腳本、拷貝文件到共享目錄、日志收集、應用監(jiān)控等。將輔助功能與主業(yè)務容器解耦，實現(xiàn)獨立發(fā)布和能力重用。除了不支持Readiness Probe，其他與特性與普通容器保持一致。
• App Container： Pod真正承接業(yè)務的Container，一般情況會獨立運行，如果是有微服務治理等需求會搭配Sidecar Container一起運行。在Init Container啟動完成之后， App Container會并行啟動， 但是需要等待所有 App Container 處于就緒狀態(tài)，整個Pod才算啟動成功。

從POD的資源隔離來看， Pod容器主要由Linux提供的Namespace和Cgroup能力實現(xiàn)的，Namespace實現(xiàn)進程間隔離，Cgroup實現(xiàn)進程資源控制；其中Namespace由ipc 、uts 、net 、mnt 、pid 各種資源空間聯(lián)合組成。

CRI 是Kubernetes v1.5引入的，將Kubelet與容器運行時解耦；CRI中定義了 容器 和 鏡像 的服務的接口，因為容器運行時與鏡像的生命周期是彼此隔離的，所以定義了 RuntimeService 和 ImageService 兩個服務，其中RuntimeService主要包含Sandbox和Container兩種容器的管理gRPC接口，Sandbox就是上面Pod啟動過程中提到的 Pause容器 。目前支持CRI的后端有cri-o，cri-containerd，rkt，frakti，docker等，cri-o是由redhat發(fā)起并開源且由社區(qū)驅(qū)動的container-runtime， 輕量化專為kubernetes而生， 主要目的就是替代docker作為kubernetes集群的容器運行時。

2、Volume存儲卷，Kubernetes復雜的存儲架構(gòu)

存儲非常重要關(guān)鍵，同時也是生態(tài)與技術(shù)都比較復雜的領(lǐng)域，就linux、window兩個生態(tài)支持的文件系統(tǒng)就多達20+。 對于Kubernete存儲架構(gòu)設計一直在持續(xù)演進完善，為了盡可能多地兼容各種存儲平臺，Kubernetes以in-tree plugin的形式默認對接很多不同類型的存儲系統(tǒng)； 同時也支持基于FlexVolume和CSI插件以out-of-tree plugin來實現(xiàn)自定義存儲服務。

對Kubernetes存儲，主要有 應用的基本配置文件讀取、密碼密鑰管理；應用的存儲狀態(tài)、數(shù)據(jù)存取，不同應用間數(shù)據(jù)共享 等三大使用場景。目前Kubernetes支持的Volume Plugins如下表：

Empty Dir： 生命周期與Pod保持一致，當Pod刪除后emptyDir中的數(shù)據(jù)也會被自動清除。當前 emptyDir支持的類型有內(nèi)存、大頁內(nèi)存、Node節(jié)點上Pod所在的文件系統(tǒng)。

• ConfigMap： 主要是承擔配置中心，用于存儲應用的配置數(shù)據(jù)，比如Springboot應用properties配置文件數(shù)據(jù)，但是空間大小限制在1MB內(nèi)。
• Secret： 功能與ConfigMap類似，用于存儲應用的敏感數(shù)據(jù)，比如數(shù)據(jù)密碼、token、證書等，可以與ConfigMap聯(lián)合使用，同樣空間大小限制在1MB內(nèi)。
• HostPath： 將Node節(jié)點本地文件系統(tǒng)路徑映射到pod容器中使用。與emptyDir不同之處就是Pod刪除后，HostPath中的數(shù)據(jù)Kubernetes根據(jù)用戶的配置，可以不被清除。
• In-tree網(wǎng)絡存儲： 網(wǎng)絡存儲跟隨Pod的生命周期，通過存儲插件對接不同類型存儲；其中FlexVolume雖然允許自定義開發(fā)驅(qū)動來掛載卷到集群Node節(jié)點上供Pod使用，但生命周期與pod同步。
• PersistentVolumeClaim網(wǎng)絡存儲： 具有獨立的生命周期，可以通過存儲的out-tree插件對接不同類型存儲。當前支持的存儲插件類型有FlexVolume與CSI。

引入 PV、PVC、StorageClass 之后，資源管控更加靈活，團隊職責更加明確，研發(fā)人員只需考慮存儲需求（IO、容量、訪問模式等），不需要關(guān)注底層存儲細節(jié)；底層復雜的細節(jié)都由專業(yè)的集群管理與存儲管理員來完成。

CSI 是Kubernetes 1.9版本開始引入，建立一套標準的存儲管理接口，通過該接口為容器提供存儲服務。從而實現(xiàn)Kubernetes平臺與存儲服務驅(qū)動完全解耦。CSI主要包含 CSI Controller Server 與 CSI Node Server 兩個部分, Controller Server 主要實現(xiàn)創(chuàng)建、刪除、掛載、卸載等控制功能； Node Server 主要實現(xiàn)的是Node節(jié)點上的 mount、unmount的操作。

CSI Controller Server和External CSI SideCar是通過 Unix Socket 來進行通信的，CSI Node Server和Kubelet也是通過 Unix Socket 來通信。CSI實現(xiàn)類也日趨完善，比如ExpandCSIVolumes可以實現(xiàn)文件系統(tǒng)擴容；VolumeSnapshotDataSource可以實現(xiàn)數(shù)據(jù)卷的快照；VolumePVCDataSource實現(xiàn)自定義定PVC數(shù)據(jù)源；CSIInlineVolume在Volume中定義一些CSI的驅(qū)動。阿里云也開源了 阿里云盤、NAS、CPFS、OSS、LVM 等CSI存儲插件。

3、Ingress與Service，百花齊放的Kubernetes網(wǎng)絡

Kubernetes 容器網(wǎng)絡非常復雜，涉及的概念也比較多，比如Pod網(wǎng)絡，Service網(wǎng)絡，Cluster IP，NodePort，LoadBalancer和Ingress等，為此將Kubernetes 的網(wǎng)絡參考TCP/IP協(xié)議棧抽象為四層：

第0層： Node節(jié)點網(wǎng)絡比較簡單，就是保證Kubernetes 節(jié)點(物理或虛擬機)之間能夠正常IP尋址和互通的網(wǎng)絡，一般由底層(公有云或數(shù)據(jù)中心)網(wǎng)絡基礎設施支持。

第1層： Pod是Kubernetes的最小調(diào)度單元，Pod網(wǎng)絡就是確保Kubernetes集群中所有Pod(包括同一節(jié)點及不同節(jié)點上的Pod)，邏輯上在同一個平面網(wǎng)絡內(nèi)，能夠相互IP尋址和通信的網(wǎng)絡。是容器網(wǎng)絡最復雜部分，通過各種容器網(wǎng)絡插件滿足不同網(wǎng)絡需求，通過CNI標準化及開放網(wǎng)絡自定義能力。

第3層： 雖然單個Pod都有IP，但是與Pod生命周期一致，為了解決一組相同Pod統(tǒng)一穩(wěn)定的訪問地址，并且將請求均衡的分發(fā)到后端Pod應用服務中。Kubernetes引入了Service網(wǎng)絡，以此實現(xiàn)服務發(fā)現(xiàn)(Service Discovery)和負載均衡(Load Balancing)能力，底層是通過Kube-Proxy+iptables轉(zhuǎn)發(fā)實現(xiàn)，對應用無侵入且不穿透代理，沒有額外性能損耗。

第4層： Kubernetes Service網(wǎng)絡是集群內(nèi)部網(wǎng)絡，集群外部是無法訪問，需要將內(nèi)部服務暴露外部才能訪問。Kubernetes通過NodePort，LoadBalancer和Ingress多個方式構(gòu)建外部網(wǎng)絡接入能力。

CNI 最早是由CoreOS發(fā)起的容器網(wǎng)絡規(guī)范，是Kubernetes網(wǎng)絡插件的基礎。Container Runtime在創(chuàng)建容器時，先創(chuàng)建好network namespace，再調(diào)用CNI插件為network namespace配置網(wǎng)絡，最后啟動容器內(nèi)進程。CNI插件包括CNI Plugin與IPAM Plugin兩部分：

• CNI Plugin： 負責配置管理容器網(wǎng)絡，包括兩個基本的接口：
• 網(wǎng)絡配置: AddNetwork(net NetworkConfig, rt RuntimeConf) (types.Result, error)
• 清理網(wǎng)絡: DelNetwork(net NetworkConfig, rt RuntimeConf) error
• IPAM Plugin： 負責容器IP地址分配，實現(xiàn)包括host-local和dhcp。

容器網(wǎng)絡技術(shù)也在持續(xù)演進發(fā)展，社區(qū)開源的網(wǎng)絡組件眾多，比如Flannel、Calico、Cilium、OVN等，每個組件都有各自的優(yōu)點及適應的場景，難以形成大一統(tǒng)的組件及解決方案。

4、Workload工作負載，Kubernetes應用中心理念

Kubernetes通過 工作負載Workload 實現(xiàn)應用管理部署與發(fā)布，踐行Kubernetes以應用為中心的理念。Kubernetes支持多種類型的工作負載，包含Deployment、StatefulSet、ReplicaSet、Job、CronJob、DaemonSet，以滿足不同場景的需求。

• Deployment與ReplicaSet： 替換原來的 ReplicationController 對象，管理部署 無狀態(tài)應用 ，Deployment管理不同版本的ReplicaSet，ReplicaSet管理相同版本的Pod，通過Deployment調(diào)整 ReplicaSet的終態(tài)副本數(shù)，控制器會維持實際運行的Pod數(shù)量與期望的數(shù)量一致，Pod 出故障時會自動重啟或恢復。
• StatefulSet： 管理部署 有狀態(tài)應用， 創(chuàng)建的Pod擁有根據(jù)規(guī)范創(chuàng)建的持久型標識符。Pod遷移或銷毀重啟后，標識符仍會保留。如每個Pod有序號，可以按序號創(chuàng)建更新或刪除；Pod有唯一網(wǎng)絡標志(hostname)或獨享的存儲PV,支持灰度發(fā)布等。
• DaemonSet： 管理部署每個節(jié)點運行的 守護任務， 如監(jiān)控、日志收集等。新加入的節(jié)點也運行，移出節(jié)點是需要刪除。也可以通過標簽的指定運行節(jié)點。
• Job與Cronjob： Job是一次性 任務， 可創(chuàng)建一個或多個Pod，監(jiān)控Pod是否成功運行或終止；根據(jù)Pod狀態(tài)設置重復次數(shù)、并發(fā)度、重啟策略。Cronjob是 定時調(diào)度 的Job,可以指定運行時間、等待時間、是否并行運行、運行次數(shù)限制。

在Kubernetes生態(tài)中，還有一些提供額外操作的第三方工作負載，同時也可以通過使用CRD自定義工作負載，還有就是Device Plugin驅(qū)動的硬件工作負載。

5、Controller控制器，Kubernetes集控管理中心

Controller Manager 作為Kubernetes集控管理中心，負責集群的Node、Pod副本、服務端點（Endpoint）、命名空間（Namespace）、服務賬號（ServiceAccount）、資源定額（ResourceQuota）的資源管理，并通過API Server接口實時監(jiān)控集群的每個資源對象的狀態(tài)，一旦發(fā)生故障導致系統(tǒng)狀態(tài)發(fā)生變化，就會立即嘗試修復到“期望狀態(tài)”。

• Replication Controller： 保證集群中一個RC所關(guān)聯(lián)的Pod副本數(shù)始終保持預設值。
• ResourceQuota Controller： 確保Kubernetes中的資源對象在任何時候都不會超量占用系統(tǒng)物理資源。有容器，Pod以及Namespace三個級別。
• Namespace Controller： 通過API Server定時讀取Namespace信息。如果Namespace被API標記為優(yōu)雅刪除（即設置刪除期限，DeletionTimestamp）,則將該Namespace狀態(tài)設置為“Terminating”,并保存到etcd中。同時刪除該Namespace下的ServiceAccount、RC、Pod等資源對象。
• Endpoint Controller： Endpoints是Service對應所有Pod副本的訪問地址，Endpoint Controller主要負責監(jiān)聽Service和對應的Pod副本的變化，從而生成和維護Endpoints對象控制器。

• Deployment Controller： Deployment通過控制ReplicaSet，ReplicaSet再控制Pod，最終由 Deployment Controller 驅(qū)動達到期望狀態(tài)，Deployment Controller會監(jiān)聽 DeploymentInformer、ReplicaSetInformer、PodInformer 三種資源。

另外，在Kubernetes v1.6引入了 云控制管理器Cloud Controller Manager（CCM）， 提供與阿里公有云基礎產(chǎn)品對接的支持。

三、總結(jié)

總結(jié)一下，Kubernetes不僅是一個強大的容器編排系統(tǒng)本身，而且促進了一個龐大的工具和服務的生態(tài)系統(tǒng)， 云原生時代的操作系統(tǒng)，形成云計算新界面。    

從設計理念方面， Kubernetes是以 應用為中心 的構(gòu)理念， 向下 屏蔽基礎設施差異，實現(xiàn)底層基礎資源統(tǒng)一調(diào)度及編排； 向上 通過容器鏡像標準化應用，實現(xiàn)應用負載自動化部署； 中間 通過Kubernetes通用的編排能力，開放API以及自定義CRD擴展能力；

從技術(shù)架構(gòu)方面， Kubernetes是典型的分布式主從架構(gòu)，由Master控制節(jié)點與可以水平擴展的Worker工作節(jié)點組成，Master實現(xiàn)集中式控制管理，Worker實現(xiàn)分布式運行；與Openstack的架構(gòu)還有基于SpringCloud研發(fā)的分微服業(yè)務應用沒有太大區(qū)別。

從設計模式方面， Kubernetes通過定義大量的模型（原語、資源對象、配置、常用的 CRD），通過配置管理模型實現(xiàn)集群資源的控制；雖然模型多切復雜，可以分層（核心層，隔離與服務訪問層，調(diào)度層，資源層）逐步理解。

從平臺擴展方面， Kubernetes是一個開放可擴展平臺，不僅有開發(fā)的API，開放標準（CNI，CSI，CRI等）以及CRD，不僅是一個單純運行時平臺，同時面向運維的開發(fā)平臺。