自動化實踐-全量Json對比在技改需求提效實踐

作者：mango 2023-07-26 18:38:17

在這種需要對接口返回response做全量json對比的背景下，商家域新的自動化平臺新增了json全量對比的組件。在多個技改項目，比如服務拆分和BC流量拆分項目中這種比較大，花費人日比較多的項目測試中，應用了json全量對比驗證。在實踐過程中，比如原來要先寫自動化，把響應結果挨個驗證，或者在不同染色請求跟拆分前代碼分別執行再對比結果。

1、背景

隨著自動化測試左移實踐深入，越來越多不同類型的需求開始用自動化測試左移來實踐，在實踐的過程中也有了新的提效訴求，比如技改類的服務拆分項目或者BC流量拆分的項目，在實踐過程中，這類需求會期望不同染色環境在相同的配置條件下，拆分后的代碼和基準release代碼的接口響應response有全量對比結果才能更好達到需求驗證點。

2、實踐成果

在這種技改需求訴求下，全量json對比組件很好地滿足了需要驗證大量的服務拆分前接口和服務拆分后的接口返回json值全量對比。以商家服務拆分技改為例，技改跨幾個迭代，需要回歸大量的接口（目前該技改測試的接口已過千，還在跨迭代測試中）。測試過程利用全量json對比組件，不光測試一輪極大提高了測試效率，在二輪還可以用自動化回歸提效。

3、實踐過程

3.1 源組件：JSONCompareUtils

本次全量json對比引用的源組件是JSONCompareUtils，是Artemis框架提供的。JSONCompareUtils提供基于萬行級Json的精確比對能力，這個能力基于一套嵌套降噪配置的遞歸算法實現。在配置合理的情況下，能快速進行較大Json串的比對。詳情如下：

引入方式：

maven配置	版本說明
<dependency> <groupId>com.dewu.tester</groupId> <artifactId>artemis</artifactId> <version>1.1.9-SNAPSHOT</version> </dependency>	發布JSONChecker的工具。發布使用樣例：JSONCompareExample

方法名：JSONCompare

參數：JSON expect, JSON actual, Properties properties

參數名	參數類型	類名說明
expect	期望比對的json串	com.alibaba.fastjson.JSON
actual	真實比對的json串	com.alibaba.fastjson.JSON
properties	比對方式和比對降噪配置	java.util.Properties

public static Map<String, String> JSONCompare(JSON expect, JSON actual, Properties properties) {
    Map<String, String> diffs = new HashMap<>();


    if (null == expect && null == actual) {
        return diffs;
    } else if (expect instanceof JSONObject && actual instanceof JSONObject) {
        diffs.putAll(JSONObjectCompare((JSONObject) expect, (JSONObject) actual, "$", properties));
    } else if (expect instanceof JSONArray && actual instanceof JSONArray) {
        diffs.putAll(JSONArrayCompare((JSONArray) expect, (JSONArray) actual, "$", properties));
    } else {
        diffs.put("$", (expect + COMPARE_ARROW + actual) + "not the same instance type");
    }


    if (!org.springframework.util.CollectionUtils.isEmpty(diffs)) {
        for (Map.Entry<String, String> entry : diffs.entrySet()) {
            logger.info("[key]" + entry.getKey() + "," + "[value]" + entry.getValue());
        }
    }
    TrackingUtils.tracking();
    return diffs;
}

JSONCompareUtils組件改造后適應于目前效能平臺適用的自動化平臺組件。

改造后的組件：

改造后的組件名：21471: [JSON] 全量比對-兩Json傳入：對比接口提取返回與入參的json異同。

修改點：改成對比兩個接口提取返回，提取字段取名json1、json2。

入參保留propeties：返回多個時候的排序字段，沒有默認空，不排序。

舉例："propeties": "$.data.order=order_no"，$.data.order為list[Object]，以Object中order_no排序后，再對list做對比。

import json
import requests


def call(env_vars, g_vars, l_vars, sys_funcs, asserts, logger, **kwargs):
    param = sys_funcs.get_call_param()
    path = "http://******/artemis/component/interface-platform/compare/json"
    method = "POST"
    actual1 = l_vars.get("json1")
    actual2 = l_vars.get("json2")


    headers = {
        "Content-Type":"application/json; charset=utf8",
    }
    body = {
        "expect" : json.dumps(actual1,ensure_ascii=False),
        "actual" : json.dumps(actual2,ensure_ascii=False),
        "properties" : str(param["propeties"])
    }
    logger.info("Artemis請求body:" + str(body))
    try:
        resq = requests.post(
            path,
            data = json.dumps(body),
            headers = headers,
            timeout=8
        )
        res = json.loads(resq.text)
        logger.info("======================artemis組件結果======================")
        logger.info(res)
        
        asserts.assertTrue(res["success"], msg="調用artemis-interface異常")
        asserts.assertEqual(str(res["data"]), "{}", msg="存在不一致比對數據 :")
    except Exception as e:
        logger.info(f'執行JSON比對失敗【{str(e)}】')
        raise e
    return res