Kubernetes 集群節(jié)點(diǎn)處于 Not Ready 問(wèn)題排查
背景
Kubernetes 是一個(gè)強(qiáng)大的平臺(tái)，用于自動(dòng)化部署、擴(kuò)展和操作容器中的應(yīng)用程序。有時(shí)，您可能會(huì)遇到節(jié)點(diǎn)處于非就緒狀態(tài)（“Not Ready”）。本文將指導(dǎo)您逐步解決這些問(wèn)題。
當(dāng) Kubernetes 中的一個(gè)節(jié)點(diǎn)處于不可用狀態(tài)時(shí)，需要立即排查。可以按照以下步驟來(lái)確定根本原因。
檢查節(jié)點(diǎn)的狀態(tài)
首先，您需要確認(rèn)節(jié)點(diǎn)確實(shí)處于“未就緒”狀態(tài)。使用以下命令列出所有節(jié)點(diǎn)的狀態(tài)：
kubectl get nodes您將看到類(lèi)似于這樣的輸出：
NAME STATUS ROLES AGE VERSION
node-1 Ready <none> 30d v1.25.1
node-2 NotReady <none> 25d v1.25.1
node-3 Ready <none> 28d v1.25.1這個(gè)集群，node-2 處于“未就緒”狀態(tài)。
獲取節(jié)點(diǎn)詳細(xì)信息
獲取有關(guān)節(jié)點(diǎn)可能出現(xiàn)問(wèn)題的更多信息，請(qǐng)運(yùn)行：
kubectl describe node node-2這個(gè)命令提供了大量的輸出，包括節(jié)點(diǎn)條件、最近事件等。請(qǐng)查找可能指示問(wèn)題的錯(cuò)誤消息或警告。例如，可能會(huì)有顯示磁盤(pán)已滿或特定服務(wù)未響應(yīng)的消息。
檢查系統(tǒng)日志
在某些情況下，檢查相關(guān)節(jié)點(diǎn)的操作系統(tǒng)日志可能會(huì)很有用。如果您可以通過(guò)SSH訪問(wèn)該節(jié)點(diǎn)，您可能需要檢查諸如以下日志：
/var/log/syslog
/var/log/messages
/var/log/kern.log像grep、cat和tail這樣的命令可以很有幫助。
tail -f /var/log/syslog這些日志可以提供有關(guān)操作系統(tǒng)中的問(wèn)題或可能影響節(jié)點(diǎn)狀態(tài)的特定服務(wù)的信息。
解決方法
在確定問(wèn)題的根本原因后，您可以開(kāi)始如何解決？。以下是一些常見(jiàn)問(wèn)題的解決方法：
1.重新啟動(dòng)Kubernetes服務(wù)
有時(shí)候，只需在節(jié)點(diǎn)上重新啟動(dòng)Kubernetes服務(wù)就可以解決問(wèn)題：
sudo systemctl restart kubelet此命令將重新啟動(dòng)Kubelet，它是在每個(gè)節(jié)點(diǎn)上運(yùn)行的Kubernetes代理，負(fù)責(zé)維護(hù)容器的運(yùn)行。
2.檢查Kubelet配置
不正確的配置可能會(huì)導(dǎo)致故障。檢查Kubelet配置文件，通常位于/etc/kubernetes/Kubelet.conf或/var/lib/Kubelet/config.yaml中，并確保所有配置都正確。
例如，如果您最近更改了集群的網(wǎng)絡(luò)設(shè)置，請(qǐng)確保這些更改正的Kubelet配置是正確的。
3.釋放磁盤(pán)空間
磁盤(pán)空間不足可能會(huì)導(dǎo)致問(wèn)題。請(qǐng)檢查磁盤(pán)使用情況，如有必要，請(qǐng)釋放空間：
df -h這個(gè)命令將顯示所有文件系統(tǒng)的磁盤(pán)使用情況。如果您發(fā)現(xiàn)某個(gè)文件系統(tǒng)幾乎已滿，請(qǐng)嘗試通過(guò)刪除不必要的文件或?qū)⑺鼈円苿?dòng)到其他位置來(lái)釋放空間。
4.檢查系統(tǒng)資源
確保節(jié)點(diǎn)有足夠的資源（CPU、內(nèi)存等）：
free -h
topfree-h命令顯示系統(tǒng)上可用和已用內(nèi)存的數(shù)量，而top則顯示正在運(yùn)行的進(jìn)程的實(shí)時(shí)列表以及它們使用的CPU和內(nèi)存數(shù)量。
5.解決網(wǎng)絡(luò)問(wèn)題
網(wǎng)絡(luò)問(wèn)題也可能導(dǎo)致節(jié)點(diǎn)無(wú)法準(zhǔn)備就緒。請(qǐng)檢查網(wǎng)絡(luò)配置，并確保節(jié)點(diǎn)能夠與集群的其他部分進(jìn)行通信。
您可以使用 ping、traceroute 和 nslookup 等命令來(lái)幫助診斷網(wǎng)絡(luò)問(wèn)題。例如，嘗試對(duì)集群中的其他節(jié)點(diǎn)進(jìn)行 ping 測(cè)試，以查看它們是否可達(dá)。
ping node-1
ping node-3如果您無(wú)法訪問(wèn)其他節(jié)點(diǎn)，這可能存在需要解決的網(wǎng)絡(luò)問(wèn)題。
6.檢查與Master節(jié)點(diǎn)的網(wǎng)絡(luò)通信
請(qǐng)確保所有的Node節(jié)點(diǎn)能夠與Master節(jié)點(diǎn)進(jìn)行通信。使用ping命令測(cè)試連接性：
ping <master-node-ip-address>7.測(cè)試網(wǎng)絡(luò)端口
請(qǐng)檢查Node節(jié)點(diǎn)和Master節(jié)點(diǎn)之間通信所需的網(wǎng)絡(luò)端口是否監(jiān)聽(tīng)并可訪問(wèn)。nc（netcat）是一個(gè)用于此目的的有用工具。例如，要檢查 Kubernetes API 的默認(rèn)端口 6443 是否在Master節(jié)點(diǎn)上可訪問(wèn)，您可以使用以下命令：
nc -zv <master-node-ip-address> 64438.檢查Kubelet和Kubernetes API
Kubelet 應(yīng)該能夠與Master節(jié)點(diǎn)上的 Kubernetes API 進(jìn)行通信。檢查 Kubelet 日志，查看與 API 通信相關(guān)的任何錯(cuò)誤消息：
journalctl -u kubelet9.驗(yàn)證Kubelet配置
確保Kubelet配置為使用正確的Kubernetes API地址進(jìn)行通信。檢查Kubelet配置文件中的--kubeconfig選項(xiàng)，該選項(xiàng)應(yīng)指向正確的配置文件，其中包含連接到Kubernetes API所需的信息。
配置文件通常位于/etc/kubernetes/kubelet/kubeconfig或類(lèi)似的路徑中。
10.使用Kubernetes診斷工具
Kubernetes提供了各種工具和命令，可以幫助診斷通信和連接問(wèn)題。例如，kubectl get componentstatus可以用于檢查主組件的狀態(tài)：
kubectl get componentstatuses總結(jié)
解決處于“Not Ready”狀態(tài)的Kubernetes節(jié)點(diǎn)上的問(wèn)題可能具有挑戰(zhàn)性，但通過(guò)正確的方法，您可以快速定位并解決問(wèn)題。確保仔細(xì)遵循診斷步驟，并在開(kāi)始應(yīng)用解決方案之前探索所有可能的根本原因。一旦問(wèn)題解決，您的節(jié)點(diǎn)應(yīng)該恢復(fù)到“Ready”狀態(tài)，您的Kubernetes集群應(yīng)該恢復(fù)正常運(yùn)行。不要忘記定期監(jiān)控集群的日志和指標(biāo)，以便在問(wèn)題變得關(guān)鍵之前檢測(cè)并解決任何問(wèn)題。
