這一篇 K8S(Kubernetes) 集群部署 我覺得還可以
文末本文轉(zhuǎn)載自微信公眾號「牧小農(nóng)」，作者牧小農(nóng)。轉(zhuǎn)載本文請聯(lián)系牧小農(nóng)公眾號。
國內(nèi)安裝K8S的四種途徑
Kubernetes 的安裝其實并不復雜，因為Kubernetes 屬于Google 的產(chǎn)品，都是從Google的官方上進行下載，但是因為網(wǎng)絡問題，在國內(nèi)是沒辦法連接它的中央倉庫進行下載安裝包的，只能通過其他的途徑進行安裝，在國內(nèi)有四種安裝方式
使用 Kubeadmin 通過離線鏡像安裝： Kubeadmin 是K8S提供的管理控制臺，通過這里的命令可以非常方便的對我們集群進行快速發(fā)布和部署
使用阿里云公有云平臺安裝K8S： 這是也是非常好用的，不用做任何設置，拿來就用，但是有一個缺點——要錢
通過yum官方倉庫安裝： 這個是最簡單的，但是這個安裝K8S的包是非常古老的版本，聽說是和谷歌最新的差了十個版本
通過二進制包的形式進行安裝： 采用第三方的提供的二進制包的形式來安裝K8S，比如 Kubeasz，它是github的一個開源項目，因為它是由三方來提供的，如果在沒有仔細驗證的情況下，是非常容易出錯的，后臺存在什么樣的缺陷，你是不知道的。
今天我們這里采用的是第一種 使用Kubeadmin通過離線鏡像安裝K8S，本文也會使用 Kubeadmin 來為大家展示K8S的集群部署和安裝，環(huán)境和安裝包我都為大家準備好了，大家感興趣的可以進行下載安裝。
環(huán)境準備
結(jié)構(gòu)圖：
1.1 物理機系統(tǒng)
在這里需要說明一下，小農(nóng)是本地虛擬機安裝測試的，如果不知道怎么安裝，看下面的我安裝虛擬機的教程：虛擬機安裝教程：安裝linux虛擬機(CentOS) 詳細教程
安裝K9S需要處理器的數(shù)量為2，否則后面初始化的時候會失敗
1.2物理機操作系統(tǒng)采用Centos7.8 64位
- [root@localhost ~]# uname -a
- Linux localhost.localdomain 3.10.0-1127.el7.x86_64 #1 SMP Tue Mar 31 23:36:51 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
- [root@localhost ~]# cat /etc/redhat-release
- CentOS Linux release 7.8.2003 (Core)
1.3 集群信息
環(huán)境準備命令
2.1 設置時區(qū)
三臺機器都需要執(zhí)行：
- timedatectlset-timezoneAsia/Shanghai
2.2 設置主機名
129執(zhí)行： hostnamectlset-hostname master
130執(zhí)行： hostnamectlset-hostname node1
131執(zhí)行： hostnamectlset-hostname node2
2.3 添加hosts網(wǎng)絡主機配置
三臺主機都需要添加這個配置
- vi /etc/hosts
- 192.168.137.129 master
- 192.168.137.130 node1
- 192.168.137.131 node2
添加完成之后我們在master上驗證一下 ping node1
- [root@localhost ~]# ping node1
- PING node1 (192.168.137.130) 56(84) bytes of data.
- 64 bytes from node1 (192.168.137.130): icmp_seq=1 ttl=64 time=0.605 ms
- 64 bytes from node1 (192.168.137.130): icmp_seq=2 ttl=64 time=0.382 ms
- 64 bytes from node1 (192.168.137.130): icmp_seq=3 ttl=64 time=0.321 ms
2.4 關閉防火墻
生產(chǎn)環(huán)境可以跳過這一步，在生產(chǎn)環(huán)境不要執(zhí)行這個，這里只是為了方便我們學習的時候使用
SELINUX是安全增強型的LINUX，是LINUX內(nèi)置安全增強模塊，可以增強LINUX的安全性，但是這個設置起來太麻煩了，所以我們在學習過程中一般都會關閉掉這個
關閉命令：
- sed-i's/SELINUX=enforcing/SELINUX=disabled/g'/etc/selinux/config
設置為臨時生效：
- setenforce0
禁用防火墻：
- systemctl disable firewalld
停止防火墻：
- systemctl stop firewalld
安裝Kubeadm部署工具
首先我們要弄清楚一個概念，Kubeadm 并不是 K8S 本身，Kubeadm只是一個快速部署工具，通過安裝這個工具可以幫助我們簡化K8S部署的過程。
創(chuàng)建文件目錄：mkdir/usr/local/k8s
切換目錄地址：cd/usr/local/k8s
然后我們將安裝包(kubernetes-1.14 安裝包在開頭有下載連接)放到 k8s 這個目錄下
- [root@master k8s]# ll
- drwxr-xr-x 2 root root 335 Nov 6 11:17 kubernetes-1.14
切換到kubernetes的目錄
- [root@master k8s]# cd kubernetes-1.14/
- [root@master kubernetes-1.14]# ll
- total 986908
- -rw-r--r-- 1 root root 357 Jul 3 14:15 admin-role.yaml
- -rw-r--r-- 1 root root 67 Jul 3 14:15 daemon.json
- -rw-r--r-- 1 root root 67850818 Jul 3 14:15 docker-ce-18.09.tar.gz
- -rw-r--r-- 1 root root 177698304 Jul 3 14:15 flannel-dashboard.tar.gz
- -rw-r--r-- 1 root root 927 Jul 3 14:15 init.sh
- -rw-r--r-- 1 root root 706070528 Jul 3 14:15 k8s-114-images.tar.gz
- -rw-r--r-- 1 root root 79 Jul 3 14:15 k8s.conf
- -rw-r--r-- 1 root root 58913350 Jul 3 14:15 kube114-rpm.tar.gz
- -rw-r--r-- 1 root root 12306 Jul 3 14:15 kube-flannel.yml
- -rw-r--r-- 1 root root 281 Jul 3 14:15 kubernetes-dashboard-admin.rbac.yaml
- -rw-r--r-- 1 root root 4809 Jul 3 14:15 kubernetes-dashboard.yaml
- -rw-r--r-- 1 root root 953 Jul 3 14:15 worker-node.sh
- [root@master kubernetes-1.14]#
這里面就包含了我們安裝K8S的所有內(nèi)容，其中
kube114-rpm.tar.gz： 是我們Kubeadm 集群管理工具的安裝壓縮包
docker-ce-18.09.tar.gz： 是我們docker的安裝壓縮包，可以進行本地化安裝
k8s-114-images.tar.gz： 是K8S鏡像本身，我們K8S的安裝是 通過 Kubeadm 集群管理工具對K8S的鏡像進行自動化部署
flannel-dashboard.tar.gz： 用來監(jiān)控集群狀態(tài)
安裝Docker
我們需要在三臺機器上都安裝docker，文中用 master 節(jié)點來做演示
首先對 docker-ce-18.09.tar.gz進行解壓縮
- [root@master kubernetes-1.14]# tar -zxvf docker-ce-18.09.tar.gz
- [root@master kubernetes-1.14]# cd docker
在安裝之前我們首先需要保證本來的yum源和docker依賴是最新的，所以我們需要先執(zhí)行以下命令，這一步命令執(zhí)行都是在 docker這個目錄下執(zhí)行的
1、安裝GCC
- yum -y install gcc
- yum -y install gcc-c++
2、卸載老版本的docker和依賴
- yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine
3、安裝 yum-utils組件：
- yum install-y yum-utils device-mapper-persistent-data lvm2
4、添加yum 源 PS
- docker官網(wǎng)地址：sudo yum-config-manager--add-repo https://download.docker.com/linux/centos/docker-ce.repo
- 阿里云地址：sudo yum-config-manager--add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
5、更新yum索引：sudo yum makecache fast
6、安裝docker-ce：sudo yum install docker-ce
7、卸載老版本的docker和依賴 這一步不是重復，是為了卸載上一步的 docker-ce來安裝我們k8s包里面的 docker-ce
- yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine
8、執(zhí)行我們安裝包里面的文件：yum localinstall-y*.rpm
到這里就代表我們的docker安裝完成了
啟動docker：systemctl start docker
設置docker為自動啟動：systemctl enable docker
保證cgroups在同一個
執(zhí)行命令：
- [root@master docker]# docker info | grep cgroup
- Cgroup Driver: cgroupfs
- cgroups是 control groups的簡稱，它為Linux內(nèi)核提供了一種任務聚集和劃分的機制，通過一組參數(shù)集合將一些任務組織成一個或多個子系統(tǒng)。
- cgroups是實現(xiàn)IaaS虛擬化(kvm、lxc等)，PaaS容器沙箱(Docker等)的資源管理控制部分的底層基礎。
- 子系統(tǒng)是根據(jù) cgroup對任務的劃分功能將任務按照一種指定的屬性劃分成的一個組，主要用來實現(xiàn)資源的控制。
- 在 cgroup中，劃分成的任務組以層次結(jié)構(gòu)的形式組織，多個子系統(tǒng)形成一個數(shù)據(jù)結(jié)構(gòu)中類似多根樹的結(jié)構(gòu)。 cgroup包含了多個孤立的子系統(tǒng)，每一個子系統(tǒng)代表單一的資源
我們只需要確認輸入上面的命令后出現(xiàn)的是：CgroupDriver:cgroupfs
當我們輸入命令發(fā)現(xiàn)不是CgroupDriver:cgroupfs這個結(jié)果，那我們需要執(zhí)行下面的命令：
對 daemon.json 進行修改：
- cat << EOF > /etc/docker/daemon.json
- {
- "exec-opts": ["native.cgroupdriver=cgroupfs"]
- }
- EOF
- systemctl daemon-reload && systemctl restart docker
安裝kubeadm
kubeadm是K8S官方提供的集群部署工具，通過這個工具可以快速幫助我們簡化的完成K8S的管理，以及各集群節(jié)點下的容器創(chuàng)建
切換目錄：cd/usr/local/k8s/kubernetes-1.14
解壓 kube114安裝包：tar-zxvf kube114-rpm.tar.gz
切換目錄：cd kube114-rpm
安裝：yum localinstall-y*.rpm
關閉交換區(qū)
- 在linux系統(tǒng)中，交換區(qū)類似于我們的 windows的虛擬內(nèi)存，作為 windows的虛擬內(nèi)存，其實就是用物理磁盤模擬內(nèi)存.
- 比如說我們系統(tǒng)內(nèi)存比較小，那么在進行數(shù)據(jù)處理的時候，內(nèi)存不夠了，我們就會先把這些數(shù)據(jù)寄存在硬盤上，用硬盤空間模擬內(nèi)存來使用，雖然硬盤提取數(shù)據(jù)的速度比較慢，但是總是比內(nèi)存不夠要好，在linux系統(tǒng)中，交換區(qū)就是我們所說的虛擬內(nèi)存了.
- 在這里，虛擬內(nèi)存可能會對系統(tǒng)部署產(chǎn)生不必要的影響，在K8S的環(huán)境下，使用的服務器一般都是內(nèi)存比較充足的，所以我們一般不推薦使用系統(tǒng)交換區(qū)，這樣會讓我們系統(tǒng)的性能降低，在這里選擇關閉交換區(qū)
關閉交換區(qū)：swapoff-a
修改配置文件，永久關閉交換區(qū)：vi/etc/fstab swap一行注釋
配置網(wǎng)橋
所謂配置網(wǎng)橋其實就是我們對 k8s.conf這個文件進行修改iptables 是在linux中的一個網(wǎng)絡工具，用來對我們包按照規(guī)則進行過濾，在 k8s.conf中增加下面兩行配置當在K8S容器間進行網(wǎng)絡通信的時候，當網(wǎng)橋進行數(shù)據(jù)傳輸?shù)臅r候，也要遵循iptables的規(guī)則，進行相應的處理，這樣可以提高我們系統(tǒng)在網(wǎng)絡傳輸間的安全性
開啟方式：
- cat <<EOF > /etc/sysctl.d/k8s.conf
- net.bridge.bridge-nf-call-ip6tables = 1
- net.bridge.bridge-nf-call-iptables = 1
- EOF
- sysctl --system
當我們執(zhí)行完成以后，要確保紅框中的值為1
通過鏡像安裝K8S
切換目錄：cd/usr/local/k8s/kubernetes-1.14
加載本地鏡像—k8s：docker load-i k8s-114-images.tar.gz
加載完成后查看：docker images
- [root@master kubernetes-1.14]# docker images
- REPOSITORY TAG IMAGE ID CREATED SIZE
- k8s.gcr.io/kube-proxy v1.14.1 20a2d7035165 2 years ago 82.1MB
- k8s.gcr.io/kube-apiserver v1.14.1 cfaa4ad74c37 2 years ago 210MB
- k8s.gcr.io/kube-controller-manager v1.14.1 efb3887b411d 2 years ago 158MB
- k8s.gcr.io/kube-scheduler v1.14.1 8931473d5bdb 2 years ago 81.6MB
- k8s.gcr.io/coredns 1.3.1 eb516548c180 2 years ago 40.3MB
- k8s.gcr.io/etcd 3.3.10 2c4adeb21b4f 2 years ago 258MB
- k8s.gcr.io/pause 3.1 da86e6ba6ca1 3 years ago 742kB
如果看過我上一篇K8S入門的同學，應該很熟悉這些東西，這里就不做詳細介紹了，感興趣的可以去看一看這一篇 K8S(Kubernetes)我覺得可以了解一下!!!
加載本地鏡像—對集群可視化：docker load-i flannel-dashboard.tar.gz
同樣我們也可以使用docker images進行查看
到這里我們K8S的前置工作已經(jīng)完成了，但是我們今天安裝的集群環(huán)境，所以上面的步驟，在其他兩臺機器中也要進行安裝，當我們安裝好了之后，其他的兩臺機器使用 docker images，也能 出現(xiàn)上面的信息表示我們安裝完成，這里我們就不做重復的工作了，大家可以自行安裝好
使用Kubeadm部署K8S集群
master 主服務配置
下面的步驟我們都是在 129(master) 這臺服務器上執(zhí)行的，請大家注意!!!
master主服務器配置：
- kubeadm init--kubernetes-version=v1.14.1--pod-network-cidr=10.244.0.0/16
versioin：版本
cidr：Ip范圍必須在10.244之內(nèi)
安裝成功之后我們可以看到下面的信息：
第一步：
這三行命令需要我們復制以后手動去運行
- ## 表示需要我們創(chuàng)建一個.kube目錄
- mkdir -p $HOME/.kube
- ##將admin.conf 復制到config中
- sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
- ## 進行授權(quán)操作
- sudo chown $(id -u):$(id -g) $HOME/.kube/config
admin.conf 是 kubeadm 有關于當前集群的核心配置文件，包含了kubeadm集群信息，也包含節(jié)點的信息，大家可以看一下
第二步：這條命令需要我們在節(jié)點中(130、131)去運行，讓我們的節(jié)點信息加入到master(129)中，我們可以先復制保存一下
- kubeadm join 192.168.137.129:6443 --token lg870y.lxik26ib84938ton \
- --discovery-token-ca-cert-hash sha256:6d8331fe88ae99e89608d6dc414a9fe0a378b84ffa4044d7cacfdbbf5de41871
通過kubectl獲取節(jié)點信息(包含master)：kubectl get nodes
name：主機名STATUS：狀態(tài)ROLES：角色AGE：創(chuàng)建時間26分鐘VERSION：版本
從上圖中我們可以看到，節(jié)點只有master，沒有Node，是因為當前沒有執(zhí)行第二步的操作，所以當前沒有節(jié)點加入到我們的master中，當時我們看到 status是NotReady，是沒有準備好，這是為什么呢，在底層肯定是有什么組件沒有正常的執(zhí)行，我們可以通過下面這個命令來查看
查看存在問題的pod：kubectlgetpod--all-namespaces
如果我們在狀態(tài)(STATUS)中看到 CrashLoopBackOff一般重新執(zhí)行幾次 kubectlgetpod--all-namespaces命令就會沒有，但是如果一直存在，表示我們硬件不夠，需要增加CPU和內(nèi)存資源就可以了。
我們可以前兩行的是狀態(tài)一直是 Pending，其他的都是 Running，這是不正常的，那為什么只有前兩個是這樣的，后面的是好的呢，這個問題是必然會出現(xiàn)的。
我們可以看到 name下 有一個 coredns，它代表的是我們基礎中的網(wǎng)絡應用，這個基礎的網(wǎng)絡應用因為缺少一個額外的組件，所以無法進行安裝，在這里是因為缺少 flannel網(wǎng)絡組件，它是pod的網(wǎng)絡組件，我們只需要通過 kubectl 進行安裝就可以了
安裝flannel網(wǎng)絡組件：kubectl create-f kube-flannel.yml
安裝成功以后我們再使用命令：kubectlgetpod--all-namespaces，就不會出現(xiàn) Pending的狀態(tài)了
并且master也是準備就緒了
node 從服務配置
還記得我們在主服務(master)初始化的時候，復制下來的第二步的命令嗎，我們在node(130、131)節(jié)點中只需要執(zhí)行那條命令就可以了，
PS：這條命令是由我自己的master生成的，大家需要替換成你們自己的那條命令才可以。
如果我們忘記了這條命令，我們可以通過 kubeadm token list命令去查看，然后將下方的IP地址和token替換一下就可以了，其他不用替換
- kubeadm join 192.168.137.129:6443 --token lg870y.lxik26ib84938ton \
- --discovery-token-ca-cert-hash sha256:6d8331fe88ae99e89608d6dc414a9fe0a378b84ffa4044d7cacfdbbf5de41871
通過kubectl獲取節(jié)點信息(包含master)： kubectlgetnodes
然后我們就可以看到，兩個節(jié)點已經(jīng)加入進來了
重新啟動服務
重啟docker：systemctl restart docker 重啟kubelet：systemctl restart kubelet 設置開機啟動：systemctl enablekubelet
kubeadm/kubelet/kubectl區(qū)別
- kubeadm：是kubernetes集群快速構(gòu)建工具
- kubelet 運行在所有節(jié)點上，負責啟動Pod和容器，以系統(tǒng)服務形式出現(xiàn)
- kubectl：kubectl是kubernetes命令行工具，提供指令
小結(jié)
到這里K8S的集群服務就講完了，其實本身安裝K8S并不復雜，但是你架不住里面有許多許多的坑，大家可能看到我安裝的比較順利，但是小農(nóng)也是躺了很多坑，這篇文章才呈現(xiàn)給大家的，如果覺得文章對你有幫助的，記得點贊關注，你的支持我創(chuàng)作的最大動力。
