大廠真實案例，CPU 升高問題如何排查？五分鐘掌握
好久沒寫技術文章了，今天下班“早”，簡單叨叨一篇。
早下班的原因說起來也有點搞笑，是因為健身時候杠鈴把手上砸了個口子。砸傷當時我看了一眼，雖然很痛但骨頭沒事，竟然心中還有一絲慶幸。縫針吧，有點夸張，不處理吧，還挺深。于是，我在從醫院處理完傷口后，有了這篇文章。
好了，言歸正傳。
CPU 升高問題案例
市面上通常對于 CPU 問題排查的案例面試比較少，基本上都在講：如果 CPU 升到 100% 怎么辦？
這確實是個高頻問題，必須需要流利回答。之前也寫過一篇文章，可以參考：
圖片
重點問題！CPU利用率過高排查思路｜原創
真實案例
這是一個今天發生的真實案例（相關信息已脫敏處理，不影響案例本質）。
問題如下：這是一個比較大項目改動，改造的過程中涉及到了相當多下游接口的改動和相當多的依賴包。今天在上線發布后經過接口和功能驗證，需求發布成功。
但是接著，我發布完成后才發現機器的平均 CPU 負載升高，平均 CPU 負載幾乎升高了有 5-8 %，最高負載更是超過了 CPU 安全水位線。如此多的改動，到底是什么導致了 CPU 負載的上升？
我自己用 python 花了張圖，大概下面這個樣子
圖片
問題出現，CPU 升高
快速處理： 我先快速對比了一下 CPU 負載升高的時間點，和發布時間基本對應，基本可以判斷是本次發布引起的。雖然并沒有影響到業務，但是發現問題后，我還是第一時間做了回滾處理。
注意：發布過程中出現任何問題不要想排查問題原因，直接回滾，血淚教訓的鐵律
排查問題
我排查問題的思路如下：
- 由于想到本次變更有很多新接口的引入，也有一些接口的對比代碼，會帶來額外的性能消耗，所以我先對比了發布前后的接口遠程調用情況，結果是調用量沒有明顯變化，RT 也正常。
- 服務也有 kafka 消息處理，同樣檢查消息組件情況，調用量沒有變化。
- 會不會是 GC 太多導致？檢查 JVM 情況，依舊正常，甚至還因為重啟機器表現要比之前好……
- 因為用到了線程池，會不會是因為使用線程池不合理，或者有什么死循環之類的。檢查活躍線程情況，依舊和發布前相似。
- 那只能考慮是因為引入的某個依賴引起的了，他導致了預期外的變化。
問題引入的依賴有很多，到底是哪個依賴引入的？我難道一個個下掉去排查嗎？
排除法，這也確實是一種辦法，只不過是太辛苦了，事倍功半。更不用說還需要下掉相關代碼，還得不斷去耗時發布，實在是繁瑣。
怎么辦呢？不賣關子了，直接上 Arthas。
Async-profiler
Arthas 使用 async-profiler 生成 CPU/內存火焰圖進行性能分析，彌補了之前內存分析的不足。
async-profiler 是一款開源的 Java 性能分析工具，原理是基于 HotSpot 的 API，以微乎其微的性能開銷收集程序運行中的堆棧信息、內存分配等信息進行分析。
官網：https://github.com/async-profiler/async-profiler
我們常用的是 CPU 性能分析和 Heap 內存分配分析。在進行 CPU 性能分析時，僅需要非常低的性能開銷就可以進行分析。
在進行 Heap 分配分析時，async-profiler 工具會收集內存分配信息，而不是去檢測占用 CPU 的代碼。async-profiler 不使用侵入性的技術，例如字節碼檢測工具或者探針檢測等，這也說明 async-profiler 的內存分配分析像 CPU 性能分析一樣，不會產生太大的性能開銷，同時也不用寫出龐大的堆棧文件再去進行進一步處理，。
async-profiler 工具在采樣后可以生成采樣結果的日志報告，也可以生成 SVG 格式的火焰圖。
圖片
具體使用大家直接去官網看文檔吧，有不懂留言。我這里直接說使用
使用 async-profiler 排查問題
進入測試服務器控制臺，使用 JPS 命令查看 PID 信息。
? develop jps
2800 Jps
528 TestCode
2450 Launcher假設運行程序的名是 TestCode，可以看到對應的 PID 是 528。
使用下面命令：
./profiler.sh -d 20 -f 528.svg 528對 528 號進程采樣20秒，然后得到生成的 528.svg 文件，然后我們使用瀏覽器打開這個文件，可以看到 CPU 的使用火焰圖，如下（這里用網絡圖片代替）：
圖片
關于火焰圖怎么看，一言以蔽之：火焰圖里，橫條越長，代表使用的越多，從下到上是調用堆棧信息。 在這個圖里可以看到 main 方法上面的調用中 hotmethod3 方法的 CPU 使用是最多的，點擊這個方法。還可能看到更詳細的信息。
那么我們現在只需要查找 hotmethod3 使用的地方在哪里，就可以定位到問題代碼。
當然，上面的是個代替 case，告訴你怎么看這個火焰圖。真實的 case 要比這個更難排查。如下圖，問題代碼是個線程，是由某個類調用的：
圖片
排查問題依賴引入
問題代碼是一個 Thread 的 run 方法引起的，那么是誰調用的他呢？這個類的信息我打碼了，假設為 ClassA。
但是排查代碼，ClassA 根本沒有被項目代碼直接的調用，于是我找到了這個 CalssA 所屬的依賴包 dep-demoA，看他是誰引入的。
./gradlew :項目名:dependencyInsight --dependency dep-demoA這個命令會打出一個項目的依賴樹，結果如下：
+--- com.ali:dep-demoA:1.0.0 (*)
\--- com.ali:dep-demoB:1.0.0
\--- com.ali:dep-demoC:1.0.0如上結果，項目中我是用的是 dep-demoC，結果他同時引入了 dep-demoB，我看了下這個 demoB，他很可能會跟 arthas 類似，通過 Java Agent技術和字節碼增強技術以實現一定的功能，這對程序是非常有損耗的。（所以線上不能開 arthas）
嘗試排除 demoB，代碼如下：
all*.exclude group: "com.ali", module: "dep-demoB"然后重啟項目，CPU 負載下降，回歸到正常水平，問題解決。
圖片
