如何評價接口自動化項目

我理想中的接口自動化項目，是有一套腳本，能夠100%覆蓋核心業(yè)務(wù)場景，能夠回歸線上頻繁出現(xiàn)的問題，能夠支持手工無法驗證的場景，能夠拋出偶現(xiàn)問題，能夠包含容易遺漏的邊界場景、異常場景，每天都能定時運行，出具報告，給予反饋。用實際的「指標(biāo)量化」下：

• 功能測試自動化率 = 自動化測試用例數(shù)/總測試用例數(shù)。
• 自動化發(fā)現(xiàn)bug占比 = 自動化發(fā)現(xiàn)的bug/總bug數(shù)。
• 自動化發(fā)現(xiàn)bug有效性 = 自動化發(fā)現(xiàn)的有效bug/自動化提交的bug總數(shù)。
• 自動化執(zhí)行成功率 = 自動化執(zhí)行成功的次數(shù)/自動化執(zhí)行總次數(shù)。
• 周活躍自動化用例占比 = (∑每周執(zhí)行過的自動化測試用例)/(∑周維度自動化測試用例)。
• 應(yīng)用維度自動化代碼覆蓋率 = 自動化用例覆蓋代碼行數(shù)/應(yīng)用維度代碼總行數(shù)。

現(xiàn)狀是什么(Situation)

我負責(zé)的業(yè)務(wù)是發(fā)票中臺，數(shù)據(jù)流簡化后如下圖所示：

發(fā)票中臺對調(diào)用方提供RPC服務(wù)，底層有讀寫MySQL、同步ES、消息隊列、異步任務(wù)等服務(wù)，上游是用戶和訂單，需要賬號、增票資質(zhì)、訂單等物料；下游是財務(wù)，推送申請單給財務(wù)開具發(fā)票等。發(fā)票的接口自動化在多年前是寫了的，用Java+TestNG+RPC本地化了一套框架來實現(xiàn)，因為人員離職和業(yè)務(wù)變更，這套自動化到我手上的時候，已經(jīng)不能用了，本地化的接口自動化項目也無法做數(shù)據(jù)度量，只有接口測試平臺寫的自動化用例才會被統(tǒng)計到。

任務(wù)是什么(Task)

我給自己定的績效是在Q2完成95條自動化用例，按照一個標(biāo)準化的自動化項目來實現(xiàn)發(fā)票的接口自動化，結(jié)合測試環(huán)境、測試物料、流水線、精準分析，打造一個個人的穩(wěn)定的沉淀物，無論是晉升還是求職，都能拿來講點故事。

行動是什么(Action)

「編寫自動化用例的方式」

• 最理想的方式，是能夠錄制線上流量直接轉(zhuǎn)換為自動化用例，修修改改即可。雖然我們有流量錄制回放平臺，但是它跟接口自動化平臺并沒有打通，很可惜不能采取這種方式。
• 參考線上流量日志，抓取接口、入?yún)?，人工轉(zhuǎn)化為自動化用例。
• 參考接口的代碼設(shè)計，比如controller/provider/sdk都定義了應(yīng)用接口，能知道哪些覆蓋到了，哪些還需要補充。
• 根據(jù)入?yún)⒛０遄孕袠?gòu)造參數(shù)。參數(shù)個數(shù)太多的話造起來很麻煩。我主要采用第2種和第3種方式結(jié)合來編寫自動化用例。

「典型自動化用例」

前置步驟：初始化數(shù)據(jù)，將訂單發(fā)票類型更新為3。預(yù)設(shè)變量：提供參數(shù)化數(shù)據(jù)。執(zhí)行步驟：調(diào)用修改訂單發(fā)票類型接口，將發(fā)票類型3改為2，入?yún)⒁妙A(yù)設(shè)變量。財務(wù)接口：依賴測試物料無法滿足，通過Mock來返回模板數(shù)據(jù)，讓接口繼續(xù)往下走?；A(chǔ)斷言：接口響應(yīng)狀態(tài)碼200。業(yè)務(wù)斷言：調(diào)用訂單列表查詢接口，用JSONPath提取響應(yīng)中的發(fā)票類型，斷言已經(jīng)改成了2。

場景用例

數(shù)據(jù)準備：通過物料工具造訂單數(shù)據(jù)，寫入MySQL數(shù)據(jù)庫中。

更新MySQL數(shù)據(jù)：更新訂單的部分字段數(shù)據(jù)，觸發(fā)binlake，將數(shù)據(jù)同步至ES，因為提交開票申請是讀取的ES數(shù)據(jù)；從預(yù)設(shè)變量獲取orderId。

提交開票申請：從ES讀取訂單數(shù)據(jù)，提交開票申請；從預(yù)設(shè)變量獲取orderId和userId。

查詢申請單號：根據(jù)訂單號查詢申請單號；從預(yù)設(shè)變量獲取orderId和userId。用JSONPath提取申請單號，存入動態(tài)變量中。推送財務(wù)：把申請單號推送給財務(wù)；從動態(tài)變量獲取applyId。

覆蓋更多代碼

①看代碼：

在Java工程里面的Controller/Provider找到所有接口，分析可以用來做自動化的接口，設(shè)計自動化用例進行覆蓋。

②代碼覆蓋率：

借助于jacoco，在執(zhí)行自動化用例后，把代碼覆蓋率跑出來，分析沒覆蓋的代碼，補充更多「正常/異常/邊界」的自動化用例。也就是精準測試。

自動化巡檢

每天早上8點，定時任務(wù)執(zhí)行用例集；發(fā)送郵件，抄送測試組、開發(fā)組、領(lǐng)導(dǎo)，讓測試、開發(fā)和領(lǐng)導(dǎo)都知道自動化建設(shè)情況；如果出現(xiàn)問題，一定要在當(dāng)天解決，并郵件回復(fù)問題原因；確保當(dāng)天的自動化用例結(jié)果都是正確的；第二天接著繼續(xù)巡檢。

流水線

在持續(xù)集成中，引入自動化用例環(huán)節(jié)，把自動化用例跑通作為提測卡點，不通過可以駁回。

產(chǎn)出是什么(Result)

定性來看：「結(jié)合測試環(huán)境、測試物料、自動化、流水線、精準測試，完成了一個能對環(huán)境和業(yè)務(wù)進行穩(wěn)定性巡檢，能對研發(fā)提測進行質(zhì)量門禁，能對應(yīng)用進行代碼覆蓋率分析的接口自動化項目?！苟縼砜矗?/p>

• 功能測試自動化率 = 自動化測試用例數(shù)/總測試用例數(shù)「95/100=95%」。
• 自動化發(fā)現(xiàn)bug占比 = 自動化發(fā)現(xiàn)的bug/總bug數(shù)「2/53=3.7%」。
• 自動化發(fā)現(xiàn)bug有效性 = 自動化發(fā)現(xiàn)的有效bug/自動化提交的bug總數(shù)「2/2=100%」。
• 自動化執(zhí)行成功率 = 自動化執(zhí)行成功的次數(shù)/自動化執(zhí)行總次數(shù)「5396/5621=96%」。
• 周活躍自動化用例占比 = (∑每周執(zhí)行過的自動化測試用例)/(∑周維度自動化測試用例)「77%」。
• 應(yīng)用維度自動化代碼覆蓋率 = 自動化用例覆蓋代碼行數(shù)/應(yīng)用維度代碼總行數(shù)「39%」。

這個Q主要完成了核心流程和重要接口的自動化用例，還需要持續(xù)補充場景用例和異常/邊界的自動化用例。