基于Perf和VTune的程序性能瓶頸分析
云能力中心創新中心 黃亞超
本文首先介紹了對應用程序進行分析的3個指標，然后介紹了Linux系統工具、Perf以及Vtune工具的使用，尤其重點描述了如何利用Perf和VTune工具對程序進行剖析，尋找程序的性能瓶頸。利用好這些性能調優工具，能夠快速定位程序的性能熱點以指導程序的性能瓶頸優化。
1、引言
應用程序的開發測試過程中，對程序性能進行分析和優化是不可或缺的一部分。性能分析(performance analysis也稱為profiling)，是以收集程序運行時信息為手段研究程序行為的分析方法，是一種動態程序分析的方法。性能分析的目的在于決定程序的哪個部分應該被優化，從而提高程序的速度或者內存使用效率。根據帕累托法則(也叫二八定律)，只有優化處于性能瓶頸的那些少量代碼，才能用最小的成本獲得最大的收益。
本文首先介紹了衡量應用程序性能的關鍵指標，隨后介紹如何使用perf和vtune進行性能分析，找到軟件性能的熱點部分。完成應用程序的性能分析并找到性能瓶頸后，能夠快速精準的定位到需要修改的源碼，縮短性能調優的時間。
2、程序性能分析指標
衡量應用程序的性能高低，需要從多個方面進行性能指標的分析，主要包括業務指標、資源指標和可靠性指標。
2.1業務指標
(1) 響應時間
響應時間是指系統對請求作出響應的時間，可以理解為是指用戶從客戶端發起一個請求開始，到客戶端接收到從服務器端返回的響應結束的時間，這項指標直接影響用戶的感官體驗。在實時互動的場景下，一般要求毫秒級的響應速度。
(2) 吞吐量
吞吐量是指單位時間內處理的請求數，常用QPS(Queries Per Second)和TPS(TransactionsPerSecond)進行衡量，是衡量多并發的應用系統的重要指標。
(3) 并發數
并發數指系統可以同時承載的正常使用系統功能的用戶的數量。這個指標比較直觀但是不是很準確，因為用戶不同的使用模式會導致不同用戶在單位時間發出不同數量的請求。
2.2資源指標
(1) CPU使用率
CPU使用率指的是程序在運行期間實時占用的CPU百分比，這是對一個時間段內CPU使用狀況的統計。通過這個指標可以看出在某一個時間段內CPU被占用的情況。
(2) 內存利用率
內存是計算機中重要的部件之一，它是與CPU進行溝通的橋梁。計算機中所有程序的運行都是在內存中進行的，因此內存的性能對計算機的影響非常大，內存利用率不宜過高，否則會影響系統性能。
(3) 磁盤吞吐量
磁盤指標主要有每秒讀寫多少兆，磁盤繁忙率，磁盤隊列數，平均服務時間，平均等待時間，空間利用率。其中磁盤繁忙率是直接反映磁盤是否有瓶頸的的重要依據。
(4) 網絡吞吐量
網絡吞吐量是指在無網絡故障的情況下單位時間內通過的網絡的數據數量，單位為Byte/s。網絡吞吐量指標用于衡量系統對于網絡設備或鏈路傳輸能力的需求。
2.3可靠性指標
可靠性指在使用條件和規定時間內，產品完成規定功能的能力。常用的可靠性指標包括：可靠度、失效概率、失效率、平均工作時間、平均維修時間、有效度等。
3、程序性能分析工具
3.1 Linux系統工具
Linux系統上自帶了許多的性能監控工具
- vmstat：實時動態監視操作系統的虛擬內存、進程、CPU活動。
- iostat：動態監視系統的磁盤操作活動。
- top: 實時顯示系統中各個進程的資源占用狀況。
- sar: Linux上最為全面的系統性能分析工具之一，可以從14個大方面對系統的活動進行報告。
- top: 實時顯示系統中各個進程的資源占用狀況。
3.2 Perf
Perf是內置于Linux 內核源碼樹中的性能剖析(profiling)工具。它基于事件采樣原理，使用了許多Linux跟蹤特性，可用于行函數級與指令級的性能瓶頸的查找與熱點代碼的定位,。
(1)Perf top：實時顯示系統/進程的性能統計信息
常用參數
- -e：指定性能事件
- -a：顯示在所有CPU上的性能統計信息
- -C：顯示在指定CPU上的性能統計信息
- -p：指定進程PID
- -t：指定線程TID
- -K：隱藏內核統計信息
- -U：隱藏用戶空間的統計信息
- -s：指定待解析的符號信息
(2) Perf stat：分析系統/進程的整體性能概況。
常用參數：
- -e：選擇性能事件
- -i：禁止子任務繼承父任務的性能計數器。
- -r：重復執行 n 次目標程序，并給出性能指標在n 次執行中的變化范圍。
- -n：僅輸出目標程序的執行時間，而不開啟任何性能計數器。
- -a：指定全部cpu
- -C：指定某個cpu
- -A：將給出每個處理器上相應的信息。
- -p：指定待分析的進程id
- -t：指定待分析的線程id
(3) Perf record: 記錄一段時間內系統/進程的性能時間。
常用參數：
- -e：選擇性能事件
- -p：待分析進程的id
- -t：待分析線程的id
- -a：分析整個系統的性能
- -C：只采集指定CPU數據
- -c：事件的采樣周期
- -o：指定輸出文件，默認為perf.data
- -A：以append的方式寫輸出文件
- -f：以OverWrite的方式寫輸出文件
- -g：記錄函數間的調用關系
(4) Perf Report: 讀取perf record生成的數據文件，并顯示分析數據。
常用參數：
- -i：輸入的數據文件
- -v：顯示每個符號的地址
- -d ：只顯示指定dos的符號
- -C：只顯示指定comm的信息(Comm. 觸發事件的進程名)
- -S：只考慮指定符號
- -U：只顯示已解析的符號
- -g[type,min,order]：顯示調用關系，具體等同于perf top命令中的-g
- -c：只顯示指定cpu采樣信息
- -M：以指定匯編指令風格顯示
- –source：以匯編和source的形式進行顯示
使用perf對程序進行函數調用的關系分析后，統計函數的調用次數，算出百分比，可以得到進程運行的可信數據(圖1)。
圖中第一列表示函數的子函數執行占用的CPU比例，第二列表示函數執行占用的CPU比例，第三列表示函數所在的DSO,第四列表示函數名。通過使用perf工具，可以方便地得到定位程序的熱點代碼，以指導程序性能瓶頸的優化。
但是這種結果查看函數之間的調用關系十分不方便，可以使用一些腳本生成火焰圖(FlameGraph)來直觀地表示函數調用關系。
火焰圖使用SVG的圖像格式進行存儲，方便用戶與圖像進行交互。火焰圖中的函數方塊的長度越長，那么表示執行該函數的CPU時間越長。火焰圖的底部為父函數，上方為它的子函數。通過火焰圖的形式，函數調用的關系以及CPU占用比都更加直觀地呈現出來。
3.3 VTune
VTune是 Intel 公司開發的的一個功能十分強大的應用程序性能分析軟件，包括尋找軟件性能熱點、線程性能檢測、CPU利用率、IO負載監測等功能，還提供豐富的UI界面供用戶操作，簡單易上手。
VTune提供了本地連接、遠程連接、安卓設備連接等多種方式來對不同的應用程序進行測試，還提供Performance Snapshot、Hotpots、Microarchitecture Exploration、Threading和IO等不同方面的性能分析模塊(圖3)。
用戶使用VTune進行模塊分析后，可以通過Summary、Bottom-up、Caller/Callee、Top-down TreehePlatfom5個選項框查看性能分析結果(圖4)。
- Summary：顯示有關整個應用程序執行的統計信息，以分析CPU時間和處理器利用率。
- Bottom-up：在自下而上的樹中顯示熱點函數，每個函數的CPU時間和CPU利用率。
- Top-down Tree：顯示調用樹中的熱點函數，僅函數的性能指標(不包括子函數)以及函數及其子函數的總性能指標。
- Caller/Callee：顯示所選函數的父函數和子函數。
- Platform：提供有關CPU和GPU利用率，幀速率，內存帶寬和用戶任務的詳細信息。
(1)Performance Snapshot
該功能模塊能夠對應用程序進行總體的分析(圖4)，包括IPC、GFLOPS、CPU頻率、CPU核心利用率、微架構使用率、內存使用率等指標等，但只能給出一個總體的數值，要分析各個函數對CPU的占用時間等詳細數值要進行更加詳細的分析，一般進行性能分析時，首先進行這個模塊的分析。
(2)Hotpots
Hotspots分析可以了解應用程序流程，并確定獲得大量執行時間的代碼段(熱點)，這是用戶進行算法分析的起點。熱點分析有兩種基于采樣的收集模式：用戶模式采樣會產生更高的開銷，但不需要采樣驅動程序即可進行收集;基于硬件事件的采樣，可以提供最小的收集開銷，但需要安裝采樣驅動程序或Perf。在用戶模式采樣中，收集器不會收集系統范圍內的性能數據，而是只關注您的應用程序。硬件基于事件的采樣模式是基于硬件基于事件的采樣收集，分析當前系統上運行的所有進程，提供關于整個系統性能的CPU時間數據。
在進行Hotspots分析后，可以查看Bottom-up視圖下的熱點函數，雙擊函數即可對源碼以及匯編代碼進行分析。
圖6 源碼和匯編代碼分析圖
(3)Threading
Threading分析可以用于探索CPU利用率低下的原因，相較于其他模塊，它顯示了全部的線程數量，以及各個線程的等待時間以及使用時間(圖7)，使用戶能夠更好地把握各個線程之間的切換情況。通過這些信息，用戶可以清晰地觀察工作線程的實際執行過程，了解程序的實際執行邏輯，明確各個線程的工作狀態與預期是否有出入。
圖7 Summary視圖下的CPU利用率分析圖
(4)I/O
I/O模塊能夠分析設備的PCIe I/O帶寬消耗，Director I/O技術和內存映射I/O流量、內存帶寬消耗Intel®UPI帶寬消耗以及軟件數據平面利用率，以在硬件和軟件級別上定位I/ O密集型應用程序的性能瓶頸。
4、結束語
隨著業務的日漸復雜，程序性能優化儼然成為了每一位技術人的必修課，而程序的性能調優工作又是一個十分復雜的工作。而掌握一些常用的系統性能調優工具的使用，能更好地剖析程序，迅速而準確的找到性能熱點，以指導性能瓶頸問題的解決方案設計。
【本文為51CTO專欄作者“移動Labs”原創稿件，轉載請聯系原作者】
