關(guān)于性能測(cè)試需要知道的

作者：Thoughtworks洞見(jiàn) 2023-01-20 11:51:40

隨著各企業(yè)的業(yè)務(wù)發(fā)展、用戶量以及數(shù)據(jù)量的不斷增加，系統(tǒng)承載的壓力也會(huì)隨之增加，服務(wù)系統(tǒng)的性能好壞又嚴(yán)重影響企業(yè)的利益。因此，性能測(cè)試重要性與需求越來(lái)越強(qiáng)烈。

常見(jiàn)的性能測(cè)試目的

性能測(cè)試是確定系統(tǒng)在特定工作負(fù)載下的穩(wěn)定性和響應(yīng)能力。在進(jìn)行性能測(cè)試之前，首先是要明確性能測(cè)試的目的，目的不同，對(duì)應(yīng)的解決方案會(huì)有很大差異，最常見(jiàn)的性能測(cè)試目的（或契機(jī)）有三種：

性能測(cè)試的三種目的

(1) 評(píng)測(cè)當(dāng)前系統(tǒng)性能

通過(guò)性能測(cè)試了解系統(tǒng)當(dāng)前的性能是否達(dá)到預(yù)期。例如：新系統(tǒng)上線前、技術(shù)升級(jí)后，都會(huì)進(jìn)行性能測(cè)試，確保系統(tǒng)在線上穩(wěn)定可靠地運(yùn)行。

(2) 尋找瓶頸，優(yōu)化性能

系統(tǒng)已知有性能問(wèn)題，進(jìn)行測(cè)試尋找瓶頸，以便優(yōu)化其性能。例如：用戶提出業(yè)務(wù)操作響應(yīng)時(shí)間長(zhǎng)，需要定位問(wèn)題，調(diào)整性能；系統(tǒng)運(yùn)行一段時(shí)間后，速度變慢，尋找瓶頸，進(jìn)而優(yōu)化

(3) 預(yù)測(cè)系統(tǒng)未來(lái)的性能、可擴(kuò)展性

通過(guò)性能測(cè)試預(yù)測(cè)系統(tǒng)在未來(lái)達(dá)到一定負(fù)載量的情況下，系統(tǒng)的性能表現(xiàn)。為的是提前預(yù)防并降低風(fēng)險(xiǎn)。擴(kuò)展能力非常好的系統(tǒng)，性能是隨資源擴(kuò)展呈線性或接近線性提升。

性能測(cè)試的不同類型

(1) 基準(zhǔn)測(cè)試

基準(zhǔn)測(cè)試：系統(tǒng)較低壓力時(shí)，查看系統(tǒng)的運(yùn)行狀況并記錄相關(guān)數(shù)作為基礎(chǔ)參考。

(2) 負(fù)載測(cè)試

負(fù)載測(cè)試是通過(guò)逐漸增加系統(tǒng)負(fù)載，測(cè)試系統(tǒng)性能的變化，并最終確定在滿足性能指標(biāo)的情況下，系統(tǒng)能承受的最大負(fù)載量的測(cè)試。目標(biāo)：確定系統(tǒng)的性能容量（如系統(tǒng)在保證一定響應(yīng)時(shí)間情況下能夠允許多少并發(fā)用戶的訪問(wèn)），系統(tǒng)各項(xiàng)指標(biāo)，如吞吐量、響應(yīng)時(shí)間、CPU負(fù)載、內(nèi)存使用等如何決定系統(tǒng)的性能。

(3) 壓力測(cè)試

壓力測(cè)試通過(guò)確定一個(gè)系統(tǒng)的瓶頸或者不能接受的性能點(diǎn)，來(lái)獲得系統(tǒng)能提供的最大服務(wù)級(jí)別的測(cè)試。目標(biāo)：壓力測(cè)試是為了發(fā)現(xiàn)在什么條件下您的應(yīng)用程序的性能會(huì)變得不可接受。

(4) 并發(fā)性能測(cè)試

負(fù)載測(cè)試和壓力測(cè)試通常被合稱為并發(fā)性能測(cè)試。即大并發(fā)場(chǎng)景下的系統(tǒng)性能，多用戶同時(shí)訪問(wèn)時(shí)，檢測(cè)系統(tǒng)是否能夠穩(wěn)定運(yùn)行。

平均并發(fā)用戶數(shù)C=nL/T
n：平均每天訪問(wèn)用戶數(shù)（login session的數(shù)量）；
L：一天內(nèi)用戶從登錄到退出的平均時(shí)間（login session的平均長(zhǎng)度）；
T：考察的時(shí)間段長(zhǎng)度（一天內(nèi)多長(zhǎng)時(shí)間有用戶使用系統(tǒng)）；
并發(fā)用戶數(shù)峰值：C'≈C+3*根號(hào)C

(5) 大數(shù)據(jù)量測(cè)試

大數(shù)據(jù)量測(cè)試包括獨(dú)立的數(shù)據(jù)量測(cè)試和綜合數(shù)據(jù)量測(cè)試。獨(dú)立的數(shù)據(jù)量測(cè)試指針對(duì)某些系統(tǒng)存儲(chǔ)、傳輸、統(tǒng)計(jì)、查詢等業(yè)務(wù)進(jìn)行的大數(shù)據(jù)量測(cè)試。綜合數(shù)據(jù)量測(cè)試指系統(tǒng)在具備一定數(shù)據(jù)量時(shí)，在負(fù)載壓力測(cè)試下，考察業(yè)務(wù)是否能夠正常運(yùn)行的測(cè)試。目標(biāo)：測(cè)試數(shù)據(jù)量較大時(shí)系統(tǒng)的性能狀況。

(6) 容量測(cè)試

容量測(cè)試的目的是通過(guò)測(cè)試預(yù)先分析出反映軟件系統(tǒng)應(yīng)用特征的某項(xiàng)指標(biāo)的極限值（如最大并發(fā)用戶數(shù)），系統(tǒng)在其極限狀態(tài)下沒(méi)有出現(xiàn)任何軟件故障且能正常運(yùn)行。

(7) 配置測(cè)試

通過(guò)對(duì)被測(cè)系統(tǒng)軟硬環(huán)境的調(diào)整，了解各種不同環(huán)境對(duì)系統(tǒng)性能的影響程度，從而找到系統(tǒng)各項(xiàng)資源的最優(yōu)分配原則。

(8) 穩(wěn)定性測(cè)試

穩(wěn)定性是通過(guò)給系統(tǒng)加載一定的壓力，讓系統(tǒng)持續(xù)運(yùn)行一段時(shí)間（通常為7x24小時(shí)），檢測(cè)系統(tǒng)是否能夠穩(wěn)定運(yùn)行。穩(wěn)定性測(cè)試也稱為疲勞強(qiáng)度測(cè)試，屬于可靠性測(cè)試的范疇。目標(biāo)：測(cè)試系統(tǒng)長(zhǎng)時(shí)間無(wú)故障穩(wěn)定運(yùn)行的能力

(9) 失效恢復(fù)測(cè)試

失效恢復(fù)測(cè)試是針對(duì)有冗余備份或負(fù)載均衡的系統(tǒng)來(lái)說(shuō)，檢驗(yàn)如果系統(tǒng)局部發(fā)生故障，系統(tǒng)災(zāi)備措施是否可以正常啟動(dòng)，用戶是否可以繼續(xù)使用。（如：集群、熱備等）目標(biāo)：通過(guò)實(shí)施失效恢復(fù)測(cè)試，評(píng)估系統(tǒng)的健壯性和可恢復(fù)性。

在實(shí)際項(xiàng)目當(dāng)中，可根據(jù)不同的性能測(cè)試目的，選相對(duì)應(yīng)的性能測(cè)試方式。

性能測(cè)試的監(jiān)控指標(biāo)

在進(jìn)行各類性能測(cè)試時(shí)，需要同步檢測(cè)系統(tǒng)各項(xiàng)性能指標(biāo)，從而分析系統(tǒng)的實(shí)際的響應(yīng)能力與穩(wěn)定性等。常用的性能監(jiān)測(cè)指標(biāo)有四類：業(yè)務(wù)性能指標(biāo)、資源性能指標(biāo)、中間件監(jiān)測(cè)指標(biāo)、數(shù)據(jù)庫(kù)監(jiān)測(cè)指標(biāo)。

業(yè)務(wù)性能指標(biāo)

每秒交易數(shù)（TPS）：每秒鐘系統(tǒng)能夠處理的交易或事務(wù)的數(shù)量
響應(yīng)時(shí)間：從請(qǐng)求端發(fā)起請(qǐng)求開(kāi)始，到請(qǐng)求端接收到服務(wù)器端的返回結(jié)束，這個(gè)過(guò)程所耗費(fèi)的時(shí)間。
并發(fā)用戶數(shù)：指系統(tǒng)可以同時(shí)承載的正常使用系統(tǒng)功能的用戶的數(shù)量，即在給定的時(shí)間段內(nèi)正在使用系統(tǒng)的用戶數(shù)。
在線用戶數(shù)：沒(méi)有提交請(qǐng)求，會(huì)話狀態(tài)在線的用戶數(shù)。
吞吐量：指系統(tǒng)在單位時(shí)間內(nèi)處理請(qǐng)求的數(shù)量。即在給定時(shí)間段內(nèi)系統(tǒng)完成的交易數(shù)量。

(1) 響應(yīng)時(shí)間行業(yè)標(biāo)準(zhǔn)

互聯(lián)網(wǎng)企業(yè)：500毫秒以下，例如淘寶業(yè)務(wù)10毫秒左右。
金融企業(yè)：1秒以下為佳，部分復(fù)雜業(yè)務(wù)3秒以下。
保險(xiǎn)企業(yè)：3秒以下為佳。
制造業(yè)：5秒以下為佳。
時(shí)間窗口：不同數(shù)據(jù)量結(jié)果是不一樣的，大數(shù)據(jù)量的情況下，2小時(shí)內(nèi)完成。

(2) TPS行業(yè)標(biāo)準(zhǔn)

互聯(lián)網(wǎng)企業(yè)：500毫秒以下，如某寶業(yè)務(wù)10毫秒左右。
金融行業(yè)：1000TPS~50000TPS，不包括互聯(lián)網(wǎng)化的活動(dòng)
保險(xiǎn)行業(yè)：100TPS~100000TPS，不包括互聯(lián)網(wǎng)化的活動(dòng)
制造行業(yè)：10TPS~5000TPS
互聯(lián)網(wǎng)電子商務(wù)：10000TPS~1000000TPS
互聯(lián)網(wǎng)中型網(wǎng)站：1000TPS~50000TPS
互聯(lián)網(wǎng)小型網(wǎng)站: 500TPS~10000TPS

資源性能

CPU指標(biāo)：主要指的CPU使用率、利用率，包括用戶態(tài)（user）、系統(tǒng)態(tài)（sys）、等待態(tài)（wait）、空閑態(tài)（idle）。一般情況下，CPU使用率、利用率要低于警戒值范圍75%。
內(nèi)存/SWAP：內(nèi)存利用率100%并不代表內(nèi)存有瓶頸，衡量系統(tǒng)內(nèi)有瓶頸主要靠SWAP（與虛擬內(nèi)存交換）交換空間利用率，一般情況下，SWAP交換空間利用率要低于70%，太多的交換將會(huì)引起系統(tǒng)性能低下。
磁盤吞吐量：磁盤吞吐量是指在無(wú)磁盤故障的情況下單位時(shí)間內(nèi)通過(guò)磁盤的數(shù)據(jù)量。磁盤繁忙率，磁盤隊(duì)列數(shù)，平均服務(wù)時(shí)間，平均等待時(shí)間，空間利用率。其中磁盤繁忙率是直接反映磁盤是否有瓶頸的重要依據(jù)，一般情況下，磁盤繁忙率要低于70%。
網(wǎng)絡(luò)吞吐量：網(wǎng)絡(luò)吞吐量是指在無(wú)網(wǎng)絡(luò)故障的情況下單位時(shí)間內(nèi)通過(guò)的網(wǎng)絡(luò)的數(shù)據(jù)數(shù)量。一般情況下不能超過(guò)設(shè)備或鏈路最大傳輸能力的70%。

資源性能（CPU、內(nèi)存、磁盤）行業(yè)標(biāo)準(zhǔn)：

CPU 利用率要低于業(yè)界警戒值范圍之內(nèi)，即小于或者等于75%;
CPU sys%小于或者等于30%;
CPU wait%小于或者等于5%
SWAP交換空間利用率低于70%
磁盤繁忙率低于70%
網(wǎng)絡(luò)吞吐不能超過(guò)最大傳輸能力70%

中間件指標(biāo)

中間件監(jiān)測(cè)指標(biāo)主要包括JVM、線程池、JDBC連接池，常用的中間件如：Tomcat、Weblogic等。

中間件監(jiān)控內(nèi)容及行業(yè)標(biāo)準(zhǔn)：

線程數(shù)最小設(shè)置50和最大設(shè)置200比較合適。
JDBC最小設(shè)置50和最大設(shè)置200比較合適。
JVM最小堆大小和最大堆大小分別設(shè)置1024M比較合適。

數(shù)據(jù)庫(kù)性能指標(biāo)

SQL：執(zhí)行SQL耗時(shí)
吞吐量：每秒事務(wù)次數(shù)（TPS），每秒查詢次數(shù)（QPS）
鎖：鎖等待次數(shù)和鎖等待時(shí)間
命中率：索引緩沖區(qū)命中率、線程緩存命中率、表緩存命中率、查詢緩存命中率等。

數(shù)據(jù)庫(kù)監(jiān)控內(nèi)容及行業(yè)標(biāo)準(zhǔn)：

SQL耗時(shí)越小越好，一般情況下微秒級(jí)別。
命中率越高越好，一般情況下不能低于95%。
鎖等待次數(shù)越低越好，等待時(shí)間越短越好。
操作系統(tǒng)內(nèi)核參數(shù)主要包括信號(hào)量、進(jìn)程、文件句柄。

性能測(cè)試流程

首先要制定測(cè)試計(jì)劃，明確目的、策略等。以測(cè)試計(jì)劃為依據(jù)，逐步開(kāi)展性能測(cè)試工作。

明確性能測(cè)試目標(biāo)

確定本次性能測(cè)試的目標(biāo)，包括性能測(cè)試對(duì)象、需求范圍，以及性能指標(biāo)達(dá)標(biāo)要求，即測(cè)試退出條件。

制定性能測(cè)試計(jì)劃

確定了測(cè)試對(duì)象和測(cè)試需求之后，需要制定一份性能測(cè)試計(jì)劃，指導(dǎo)性能測(cè)試工作的進(jìn)行。包括：簡(jiǎn)介、測(cè)試環(huán)境、測(cè)試場(chǎng)景、測(cè)試數(shù)據(jù)、測(cè)試策略、測(cè)試時(shí)間與人員安排。

(1) 測(cè)試環(huán)境

描述性能測(cè)試環(huán)境的物理架構(gòu)。

(2) 測(cè)試場(chǎng)景

針對(duì)各業(yè)務(wù)功能模塊，設(shè)計(jì)不同測(cè)試類型（穩(wěn)定性測(cè)試、負(fù)載測(cè)試、壓力測(cè)試）等的單場(chǎng)景、組合場(chǎng)景測(cè)試。

(3) 測(cè)試數(shù)據(jù)

描述各性能測(cè)試場(chǎng)景下的數(shù)據(jù)量要求，加壓多大數(shù)據(jù)量需要提前與業(yè)務(wù)側(cè)對(duì)齊目標(biāo)，系統(tǒng)現(xiàn)存數(shù)據(jù)體量以及每年增長(zhǎng)幅度也可以通過(guò)與業(yè)務(wù)人員（產(chǎn)品經(jīng)理)確定，當(dāng)然也可以一些經(jīng)驗(yàn)方法或公式來(lái)估算。比如：有并發(fā)用戶數(shù)與峰值公式，以及二八原理估算方法。

【并發(fā)用戶數(shù)公式】：C = nL/T。C：平均的并發(fā)用戶數(shù)；n：平均每天訪問(wèn)用戶數(shù)（login session的數(shù)量）；L：一天內(nèi)用戶從登錄到退出的平均時(shí)間（login session的平均長(zhǎng)度）；T：考察的時(shí)間段長(zhǎng)度（一天內(nèi)多長(zhǎng)時(shí)間有用戶使用系統(tǒng)）；
【并發(fā)用戶數(shù)峰值公式】：C'≈C+3*根號(hào)C。其中：C：公式1中的平均并發(fā)用戶數(shù)；
【二八原理估算測(cè)試強(qiáng)度】：每個(gè)工作日中80%的業(yè)務(wù)在20%的時(shí)間內(nèi)完成。例如：每年業(yè)務(wù)集中在8個(gè)月，每個(gè)月20個(gè)工作日，每個(gè)工作日8小時(shí)，即每天80%的業(yè)務(wù)的在1.6小時(shí)完成。去年全年處理業(yè)務(wù)約100萬(wàn)筆，其中15%的業(yè)務(wù)處理中每筆業(yè)務(wù)需對(duì)應(yīng)用服務(wù)器提交7次請(qǐng)求；其中70%的業(yè)務(wù)處理中每筆業(yè)務(wù)需對(duì)服務(wù)器提交5次請(qǐng)求；其余15%的業(yè)務(wù)處理中每筆業(yè)務(wù)需對(duì)應(yīng)用服務(wù)器提交3次請(qǐng)求。（根據(jù)以往統(tǒng)計(jì)結(jié)果，每年的業(yè)務(wù)增量為15%，考慮到今后3年業(yè)務(wù)發(fā)展的需要，測(cè)試需按現(xiàn)有業(yè)務(wù)量的兩倍進(jìn)行。）

(4)性能測(cè)試策略

描述性能測(cè)試方法和流程與工具等。需要進(jìn)行哪幾種類型的測(cè)試。

(5) 測(cè)試時(shí)間與人員安排

描述參與性能測(cè)試的人員，以及性能測(cè)試時(shí)間計(jì)劃。

執(zhí)行性能測(cè)試

依據(jù)性能測(cè)試計(jì)劃進(jìn)行實(shí)施測(cè)試，準(zhǔn)備測(cè)試環(huán)境、構(gòu)造測(cè)試數(shù)據(jù) 、執(zhí)行測(cè)試用例、記錄測(cè)試結(jié)果。在此過(guò)程中，如發(fā)現(xiàn)性能問(wèn)題，提交Bug，修正Bug。

性能測(cè)試報(bào)告

完成性能測(cè)試之后，編寫性能測(cè)試報(bào)告，整理總結(jié)本次性能測(cè)試的背景、目的、測(cè)試范圍、測(cè)試指標(biāo)需求、測(cè)試環(huán)境與工具、測(cè)試內(nèi)容、測(cè)試結(jié)果與分析等。

其中測(cè)試結(jié)果與分析主要是羅列測(cè)試指標(biāo)結(jié)果數(shù)據(jù)及圖表，并且對(duì)測(cè)試的結(jié)果及發(fā)現(xiàn)的性能問(wèn)題進(jìn)行總結(jié)、分析。性能測(cè)試報(bào)告樣例參見(jiàn)下圖：