如何快速搭建Kubernetes實驗環境?
很多小伙伴想學kubernetes，都會遇到這些問題
- 手里沒有可用的服務器
- 打開kubernetes官方文檔，看到復雜的組件學不下去
今天就介紹一種省錢省時的方式來玩kubernetes
準備服務器
很多小伙伴電腦配置比較高，可以直接用虛擬機開兩臺機器，至少得確保自己的電腦16G內存以上
我一個窮鬼，用著8G內存小本，沒辦法，我選擇云服務器
在阿里云平臺充值100塊，選擇按量付費，每小時3毛錢的2c4G突發性能實例，玩一晚上也就一罐紅牛的價格
服務器開好就可以開始部署kubernetes了，本文采用kubeadm方式快速搭建kubernetes集群
修改系統參數
- 加載br_netfilter模塊
- 查看是否加載br_netfilter
- lsmod | grep br_netfilter
- 加載br_netfilter
- modprobe br_netfilter
- 或者修改module-load文件
- cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
- br_netfilter
- EOF
- 開啟iptables檢查橋接流量
- cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
- net.bridge.bridge-nf-call-ip6tables = 1
- net.bridge.bridge-nf-call-iptables = 1
- EOF
- sudo sysctl --system
- 關閉swap
- swapoff -a
- 關閉防火墻及selinux
- systemctl stop firewalld && systemctl disable firewalld
- setenforce 0
- sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
- 設置主機名
- master: hostnamectl set-hostname k8s-master
- node: hostnamectl set-hostname k8s-node01
- 添加host
- cat >> /etc/hosts << EOF
- 192.168.4.34 k8s-master
- 192.168.4.35 k8s-node01
- EOF
- 設置時鐘同步，用ntpdate或chronyd
- yum -y install epel-release chrony && systemctl enable chronyd && systemctl start chronyd
安裝docker
- # 配置docker-ce的yum源
- wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
- # 安裝docker-ce
- yum -y install docker-ce
- # 設置開機自啟動并啟動docker
- systemctl enable docker && systemctl start docker
- # 查看docker版本
- docker version
配置kubernetes的yum源
- cat > /etc/yum.repos.d/kubernetes.repo << EOF
- [kubernetes]
- name=Kubernetes
- baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
- enabled=1
- gpgcheck=0
- repo_gpgcheck=0
- gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
- EOF
安裝kubeadm、kubelet、kubectl
- yum -y install kubeadm kubelet kubectl
- systemctl enable kubelet
kubelet是kubernetes項目用來操作Docker等容器運行時的核心組件，在每個節點上都存在，可以說除了跟容器運行時打交道外，kubelet在配置容器網絡、管理容器數據卷時，他都需要直接操作宿主機
如果kubelet本身就是運行在一個容器里，那么直接操作宿主機就會變的很麻煩，所以為了解決這個問題，kubeadm選擇直接將kubelet部署在宿主機上，然后使用容器部署其他組件
部署kubernetes Master
- kubeadm init \
- --apiserver-advertise-address=172.22.29.78 \
- --image-repository registry.aliyuncs.com/google_containers \
- --kubernetes-version v1.21.2 \
- --service-cidr=10.1.0.0/16 \
- --pod-network-cidr=10.244.0.0/16
提示coredns:v1.8.0不存在，解決辦法：
- # 添加docker加速器
- tee /etc/docker/daemon.json <<-'EOF'
- {
- "registry-mirrors": ["https://fl791z1h.mirror.aliyuncs.com"]
- }
- EOF
- systemctl daemon-reload
- systemctl restart docker
- # 手動下載coredns鏡像
- docker pull coredns/coredns:1.8.0
- # 修改鏡像tag
- docker tag coredns/coredns:1.8.0 registry.aliyuncs.com/google_containers/coredns:v1.8.0
之后再重新初始化
最后生成的join部分是節點加入集群的命令
- 根據提示操作，創建kubectl
- mkdir -p $HOME/.kube
- sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
- sudo chown $(id -u):$(id -g) $HOME/.kube/config
- 設置kubectl自動補充
- source <(kubectl completion bash)
默認token有效期24小時，過期后token不可用，如果后續有node加入，解決方法是重新生成token
- kubeadm token create
- 查看token
- kubeadm token list
- 查看pod
- kubectl get pod --all-namespaces
可以看到coredns的pod沒有啟動，是pending狀態，node節點為NotReady，缺少網絡pod
node加入集群
- kubeadm join 172.22.29.78:6443 --token gtj686.cu5kxoxbgq8iha4m \
- --discovery-token-ca-cert-hash sha256:e6aa8e197b74a08d9bae4b5d72854a49980539bc504691440fe5d716a3d299d9
查看node
安裝網絡,這里選擇calico
- kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
安裝后查看pod狀態
從下載鏡像到初始化到running狀態
calico網絡安裝的時候，其中有一個pod一直是imagepullbackoff狀態
后來發現是因為node沒有做鏡像倉庫加速處理，所以鏡像下載失敗，導致pod狀態一直是imagepullbackoff狀態
配置完成后，Pod自動下載鏡像，所有pod都running狀態
查看node節點的images
至此kubernetes集群部署完畢
測試kubernetes
在集群中創建一個pod，對外暴露端口，驗證是否正常訪問
- # 創建一個nginx的deployment
- kubectl create deployment nginx --image=nginx
- # 對外暴露端口
- kubectl expose deployment nginx --port=80 --type=NodePort
- # 查看pod和svc
- kubectl get pod,svc
可以看到nginx的pod映射到宿主機端口為30830，安全組和防火墻開放的情況下嘗試訪問
部署dashboard
- # 下載dashboard編排文件
- wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc7/aio/deploy/recommended.yaml
- # 以該編排文件創建pod
- kubectl create -f recommended.yaml
- # 查看創建好的pod和svc
- kubectl get pod,svc -n kubernetes-dashboard
這里改了recommended.yaml里面，kubernetes-dashboard的端口類型為nodeport，并對外暴露30000
訪問提示兩種登錄方式，這里用token登錄
- # 獲取token
- kubectl describe secrets -n kubernetes-dashboard
復制token然后登錄
提示沒有權限，重新創建
- # 創建sa，并綁定cluster-admin權限
- apiVersion: v1
- kind: ServiceAccount
- metadata:
- name: dashboard-admin
- namespace: kube-system
- ---
- kind: ClusterRoleBinding
- apiVersion: rbac.authorization.k8s.io/v1beta1
- metadata:
- name: dashboard-admin
- subjects:
- - kind: ServiceAccount
- name: dashboard-admin
- namespace: kube-system
- roleRef:
- kind: ClusterRole
- name: cluster-admin
- apiGroup: rbac.authorization.k8s.io
- # 將上面的編排文件保存為k8s-admin.yaml，然后創建
- kubectl create -f k8s-admin.yaml
重新獲取token，重新登錄
- kubectl describe secret -n kube-system
創建用戶的時候，這里走進誤區了，剛開始一直創建的是在kubernetes-dashboard的namespaces，其實這個namespaces下什么權限都沒有，所以它創建的user的token是獲取不到任何內容的
修改了yaml，重新創建sa之后，在kube-system中找到dashboard-admin用戶的token，重新登錄后，一切ok
