線上服務(wù)CPU100%問題快速定位實戰(zhàn)
功能問題，通過日志，單步調(diào)試相對比較好定位。
性能問題，例如線上服務(wù)器CPU100%，如何找到相關(guān)服務(wù)，如何定位問題代碼，更考驗技術(shù)人的功底。
58到家架構(gòu)部，運維部，58速運技術(shù)部聯(lián)合進行了一次線上服務(wù)CPU問題排查實戰(zhàn)演練，同學(xué)們反饋有收獲，特將實戰(zhàn)演練的試題和答案公布出來，希望對大家也有幫助。
題目
某服務(wù)器上部署了若干tomcat實例，即若干垂直切分的Java站點服務(wù)，以及若干Java微服務(wù)，突然收到運維的CPU異常告警。
問：如何定位是哪個服務(wù)進程導(dǎo)致CPU過載，哪個線程導(dǎo)致CPU過載，哪段代碼導(dǎo)致CPU過載?
步驟一、找到最耗CPU的進程
工具：top
方法：
- 執(zhí)行top -c ，顯示進程運行信息列表
- 鍵入P (大寫p)，進程按照CPU使用率排序
圖示：
如上圖，最耗CPU的進程PID為10765
步驟二：找到最耗CPU的線程
工具：top
方法：
- top -Hp 10765 ，顯示一個進程的線程運行信息列表
- 鍵入P (大寫p)，線程按照CPU使用率排序
圖示：
如上圖，進程10765內(nèi)，最耗CPU的線程PID為10804
步驟三：將線程PID轉(zhuǎn)化為16進制
工具：printf
方法：
- printf “%x\n” 10804
圖示：
如上圖，10804對應(yīng)的16進制是0x2a34，當(dāng)然，這一步可以用計算器。
之所以要轉(zhuǎn)化為16進制，是因為堆棧里，線程id是用16進制表示的。
步驟四：查看堆棧，找到線程在干嘛
工具：pstack/jstack/grep
方法：
- jstack 10765 | grep ‘0x2a34’ -C5 --color
打印進程堆棧
通過線程id，過濾得到線程堆棧
圖示：
如上圖，找到了耗CPU高的線程對應(yīng)的線程名稱“AsyncLogger-1”，以及看到了該線程正在執(zhí)行代碼的堆棧。
希望對經(jīng)常進行線上CPU問題排查的同學(xué)有幫助，如果有更好的實踐，也歡迎分享。
【本文為51CTO專欄作者“58沈劍”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】
