Fastbot 開源版技術(shù)原理與架構(gòu)

2023-09-22 11:07:01

下面將逐一介紹工具的工作流程、核心概念、算法原理、設(shè)計實現(xiàn)以及常用配置，深入了解其在提升移動應(yīng)用測試效率的能力。

問題背景

近年來，移動應(yīng)用程序的數(shù)量呈現(xiàn)爆炸性增長，隨之而來的是用戶對應(yīng)用程序質(zhì)量的高要求。確保應(yīng)用程序的質(zhì)量對于維護(hù)用戶忠誠度和業(yè)務(wù)成功至關(guān)重要。然而傳統(tǒng)的人工測試方法存在一些挑戰(zhàn)，包括耗費大量時間和資源、可擴(kuò)展性和可維護(hù)性的限制等，因此移動應(yīng)用的自動化測試工具應(yīng)運而生。隨著人工智能時代的到來，軟件測試領(lǐng)域不斷向智能化發(fā)展，其中自動測試生成的能力一直是學(xué)術(shù)和工業(yè)界共同關(guān)注的研究熱點，依靠自動生成測試能較大程度減少測試腳本的編寫與維護(hù)工作量。

在實際應(yīng)用中，工業(yè)級應(yīng)用程序經(jīng)常需要進(jìn)行更新以適應(yīng)不斷變化的用戶需求，例如，工業(yè)廠商一般每周都會發(fā)布一個新的核心應(yīng)用版本，然而采用現(xiàn)有的自動化測試工具在這種情況下效果一般，它們僅僅是簡單地在移動應(yīng)用上重新運行一次測試，缺乏對人類經(jīng)驗和知識的運用。Fastbot正是一款結(jié)合了強(qiáng)化學(xué)習(xí)和基于模型決策算法的自動化安卓測試工具，它由字節(jié)跳動軟件工程實驗室（https://se-research.bytedance.com/）團(tuán)隊提出，旨在利用強(qiáng)化學(xué)習(xí)的技術(shù)，通過學(xué)習(xí)和推理從之前的測試運行中獲得知識，從而達(dá)到更快更高效的測試效果。此外，F(xiàn)astbot還提供了個性化的專家系統(tǒng)，用戶可以自定義各種配置去滿足不同的測試場景和需求。

下面將逐一介紹工具的工作流程、核心概念、算法原理、設(shè)計實現(xiàn)以及常用配置，深入了解其在提升移動應(yīng)用測試效率的能力。

工作流程

Fastbot 是一種利用強(qiáng)化學(xué)習(xí)的可復(fù)用的基于模型的自動化安卓測試工具。它接受一個給定的應(yīng)用程序版本，以 APK 文件的形式作為輸入，并輸出覆蓋報告和找到的崩潰。Fastbot 的工作流程包括兩個主要階段，如圖所示：

（a） 測試前的設(shè)置。a1 對 APK 文件進(jìn)行反編譯，收集控件的靜態(tài)文本信息。a2 在一組設(shè)備上安裝 APK，同時 a3 加載先前測試運行中的歷史測試數(shù)據(jù)填充模型。

（b） 引導(dǎo)式 UI 探索。b1 從被測應(yīng)用程序中獲取當(dāng)前的 GUI 頁面，b2 識別和抽象出當(dāng)前頁面上的可用 hyper-event（超事件，一組具有相同屬性的事件，將在下文具體解釋）。b3 選擇一個具體的 UI 事件，該事件有可能增加 Activity 覆蓋率，b4 執(zhí)行該事件。執(zhí)行完畢后，b5 更新歷史測試數(shù)據(jù)、概率模型，同時 b6 更新強(qiáng)化學(xué)習(xí)智能體。

這些步驟將循環(huán)迭代，直到使用完時間預(yù)算。

核心概念

技術(shù)和算法原理

Fastbot 的關(guān)鍵思想是利用存儲在概率模型中的先驗知識，去有效地指導(dǎo) GUI 測試。為了實現(xiàn)這一點，關(guān)鍵步驟是決定在當(dāng)前 GUI 頁面上選擇哪個 UI 事件，可以快速地提高 Activity 覆蓋率。具體而言，給定一個 GUI 頁面，F(xiàn)astbot 提取當(dāng)前所有可用的超事件，并采用以下兩種策略協(xié)同組合去選擇執(zhí)行的事件：（1）基于模型的事件選擇，（2）基于學(xué)習(xí)的事件選擇。

1. 基于概率模型的事件選擇

為了平衡模型對未知動作的探索和已知高回報動作的利用，避免陷入局部最優(yōu)的僵局，基于模型的事件選擇包括兩種模式：模型擴(kuò)展和模型利用。

模型擴(kuò)展： 如果當(dāng)前 GUI 頁面中的某些超事件尚未包含在概率模型??中，F(xiàn)astbot 將啟動擴(kuò)展策略，隨機(jī)選擇一個尚未執(zhí)行的超事件。在實際中有兩種可能的情況：1）先前的測試運行可能沒有覆蓋所有的超事件，2）當(dāng)前測試應(yīng)用程序版本中添加了一些新的功能。該模式可以幫助擴(kuò)展模型并優(yōu)先探索潛在的新功能。

Fastbot 的算法原理在于利用先前的知識和概率模型，通過模型擴(kuò)展和模型利用兩種策略模式選擇事件，以快速提高 GUI 測試的 Activity 覆蓋率。該算法的設(shè)計使得 GUI 測試能夠更高效地進(jìn)行，并能夠適應(yīng)不同的應(yīng)用場景。

2. 基于強(qiáng)化學(xué)習(xí)的事件選擇

前面概率模型只能表達(dá)一步的指導(dǎo)信息，而強(qiáng)化學(xué)習(xí)技術(shù)能夠?qū)⒁徊綌U(kuò)展為多步的指導(dǎo)信息。Fastbot 采用了 Sarsa N-Step 算法作為獎勵函數(shù)去計算和更新 Q 值。

3. 案例解釋

為了加深理解，下面用頭條應(yīng)用來對算法的幾種決策進(jìn)行解釋：

概率模型的探索與利用模式

通過對歷史數(shù)據(jù)記載對概率模型 M 初始化，見圖 b，啟動頭條應(yīng)用后，進(jìn)入 home Activity1，當(dāng)前頁面可以抽象為 3 個 hyper-event，這三個事件都被包含在模型中，因此 Fastbot 回啟動模型利用策略選擇事件，看圖 b 左邊部分，可以知道 e3 有 90%的概率留在 Activity1，因此更傾向于選擇 e1 和 e2，假設(shè)選擇 e1 后，到達(dá) Activity2，在 Activity2 中 e4 已經(jīng)在模型中，并且 100%回到 Activity1，同時 e5，e6 不再模型中，此時 Fastbot 將啟動探索模式，隨機(jī)選擇 e5 或者 e6，如果選擇 e5，到達(dá) Activity3，此時模型添加一條 e5-Activity3 的概率值 100%，同時由于 e1 的執(zhí)行次數(shù)加 1，因此 e1 的概率也要改變，e1-Activity2 的概率變?yōu)?0.7/1.1=63.6%，e1-Activity5 的概率變?yōu)?36.4%，更新為圖 b 右半部分。

Q 表的更新利用

在圖 a 中，Activity2，e4，e6 沒有被執(zhí)行過，同時 e6 不在模型內(nèi)，因此 e1 的獎勵更高，相似的，e7，e8 也是新的事件，因此 e5 的獎勵會更高，假設(shè) e1，e2，e3 都會執(zhí)行過很多次，并且 Activity2，3，4 都被覆蓋了，此時將利用 Q 表中的值去計算事件選擇的概率，在當(dāng)前 Activity1 中，由于 e1 的獎勵最高說明他能夠到達(dá)更深的 Activity，因此選擇 e1 作為下一個事件執(zhí)行。

設(shè)計實現(xiàn)

Fastbot 開源版包括客戶端和本地服務(wù)端兩部分，客戶端負(fù)責(zé)監(jiān)聽 UI 事件，接收和注入相應(yīng)的動作，服務(wù)端負(fù)責(zé)計算和決策。具體而言，在每個設(shè)備上運行 Fastbot 客戶端，通過監(jiān)控 GUI 頁面信息發(fā)送給服務(wù)端，服務(wù)端接收信息根據(jù)算法決策返回選擇的事件，客戶端接收事件并執(zhí)行操作。

客戶端使用 Java 語言編寫，用于獲取 GUI 信息，讀取服務(wù)端決策，并將決策轉(zhuǎn)化為設(shè)備可以執(zhí)行的代碼，從而操作設(shè)備；本地服務(wù)端，即與 Java 層相對應(yīng)的底層 C/C++代碼層，以動態(tài)鏈接庫（.so 文件）的形式與 Java 層通過 JNI 接口進(jìn)行交互，它用于實現(xiàn)用戶偏好的讀取，模型的學(xué)習(xí)和任務(wù)決策，并將決策結(jié)果轉(zhuǎn)化為 JSON 格式的信息傳遞給 Java 層。

Fastbot 的實現(xiàn)繼承 Monkey 原生框架，下圖展示了 Fastbot 擴(kuò)展的代碼簡要結(jié)構(gòu)圖，在 java 層新增了來自 Fastbot 算法返回的事件源 MonkeySourceApeNative 類，對 GUI 樹的獲取，以及對 Android 不同的系統(tǒng)的兼容的 Adapter 適配接口，此外，為了支持自定義操作的解析和執(zhí)行對 Monkey 的原始事件進(jìn)行了封裝。

常用配置

1. 配置自定義事件

Fastbot 支持自定義事件序列，適用于場景覆蓋不全，通過人工配置到達(dá) Fastbot 遍歷不到的場景。

配置步驟：

新建 max.xpath.actions 文件（文件名稱固定不能更改）
參照案例格式指定控件和相應(yīng)的動作。其中：

prob：發(fā)生概率，"prob"：1，代表發(fā)生概率為 100%
activity：所屬場景
times：重復(fù)次數(shù)，默認(rèn)為 1 即可
actions：具體需要執(zhí)行的事件序列，其中要指名每個操作對象的 xpath，對應(yīng)的動作 action，和與下一個事件間隔的時間 throttle（ms），注意 xpath 寫法

動作類型（必須大寫）：
CLICK：點擊，想要輸入內(nèi)容在 action 下補充 text，如果有 text 則執(zhí)行文本輸入
LONG_CLICK：長按
BACK：返回
SCROLL_TOP_DOWN：從上向下滾動
SCROLL_BOTTOM_UP：從下向上滑動
SCROLL_LEFT_RIGHT：從左向右滑動
SCROLL_RIGHT_LEFT：從右向左滑動
配置完成后，將配置文件推送到手機(jī)端： adb push 路徑+max.xpath.actions /sdcard

下面以 AmazeFileManager 為例：

第一種情況：當(dāng)事件執(zhí)行不涉及 Activity 的跳轉(zhuǎn)時，只需將所有的事件序列寫在一個對象中。

如圖所示，actions 字段里的 4 個動作分別對應(yīng)下圖中紅框標(biāo)出的動作，（1）點擊菜單按鈕打開菜單欄，（2）點擊 recent file 按鈕到達(dá)相應(yīng)文件目錄，（3）點擊加號按鈕，打開浮選選項，（4）點擊 File 按鈕打開新建文件對話框。

[
    {
        "prob":1,
        "activity":"com.amaze.filemanager.ui.activities.MainActivity",
        "times":1,
        "actions":[
            {
                "xpath":"http://*[@content-desc='Navigate up']",
                "action":"CLICK",
                "throttle": 2000
            },
            {
                "xpath":"http://*[@resource-id='com.amaze.filemanager:id/design_menu_item_text' and @text='Recent files']",
                "action":"CLICK",
                "throttle": 2000
            },
            {
                "xpath":"http://*[@resource-id='com.amaze.filemanager:id/sd_main_fab']",
                "action":"CLICK",
                "throttle": 2000
            },
            {
                "xpath":"http://*[@resource-id='com.amaze.filemanager:id/menu_new_file']",
                "action":"CLICK",
                "throttle": 2000
            }
        ]
    }
]

第二種情況：當(dāng)事件執(zhí)行涉及到 Activity 的跳轉(zhuǎn)時，要將對應(yīng)不同 Activity 的事件序列單獨存放。

下圖展示了從 MainActivity 跳轉(zhuǎn)到 PreferencesActivity 的例子。

可以看到在配置文件中有兩個對象，分別對應(yīng) MainActivity 和 PreferencesActivity 兩個頁面下需要執(zhí)行的事件序列。

[
    {
        "prob":1,
        "activity":"com.amaze.filemanager.ui.activities.MainActivity",
        "times":1,
        "actions":[
            {
                "xpath":"http://*[@content-desc='Navigate up']",
                "action":"CLICK",
                "throttle": 2000
            },
            {
                "xpath":"http://*[@resource-id='com.amaze.filemanager:id/design_navigation_view']",
                "action":"SCROLL_BOTTOM_UP",
                "throttle": 2000
            },
            {
                "xpath":"http://*[@text='Settings' and @resource-id=['com.amaze.filemanager:id/design_menu_item_text']",
                "action":"CLICK",
                "throttle": 2000
            }
        ]
    },
    {
         "prob":1,
         "activity":"com.amaze.filemanager.ui.activities.PreferencesActivity",
         "times":1,
         "actions":[
                 {
                     "xpath":"http://*[@resource-id='android:id/title' and @text='Appearance']",
                     "action":"CLICK",
                     "throttle": 2000
                 }
             ]
    }
]

帶文本輸入的情況

配置格式： 在 action 字段選擇“CLICK”，同時添加“text”字段存儲需要輸入的文本。

以抖音為例，使用以下配置信息可以指定完成輸入賬戶信息的操作。兩個動作，分別對應(yīng)點擊 use phone 按鈕和輸入文本。

[
    {
        "prob":1,
        "activity":"com.ss.android.ugc.aweme.account.login.auth.I18nSignUpActivityWithNoAnimation",
        "times":1,
        "actions":[
            {
                "xpath":"http://*[@resource-id='com.zhiliaoapp.musically:id/ayo' and @text='Use phone / email / username']",
                "action":"CLICK",
                "throttle": 2000
            }

        ]
    },
{
        "prob":1,
        "activity":"com.ss.android.ugc.aweme.account.login.v2.ui.SignUpOrLoginActivity",
        "times":1,
        "actions":[
            {
                "xpath":"http://*[@text='Phone number' and @resource-id=['com.zhiliaoapp.musically:id/e61']",
                "action":"CLICK",
                "text":"12341828506",
                "throttle": 2000
            }

        ]
    }
]

2. 屏蔽控件

Fastbot 支持手動配置需要屏蔽的控件或區(qū)域，比如測試過程中“半路”中途退出登錄，屏蔽退出登錄按鈕。

配置步驟：

新建 max.widget.black 文件（文件名稱固定不可更改）
參照案例格式指定需要屏蔽的控件，格式如下：

bounds：屏蔽某個區(qū)域，在該區(qū)域內(nèi)的控件或坐標(biāo)不會被點擊。
xpath：查找匹配的控件，屏蔽點擊該控件。
xpath+bounds：查找匹配的控件，當(dāng)控件存在時屏蔽指定的區(qū)域。

activity：當(dāng) activity 與 currentactivity 一致時執(zhí)行如下匹配
屏蔽控件或區(qū)域共有三種方式：
配置完成后，將配置文件推送到手機(jī)端： adb push 路徑+max.widget.black /sdcard

下面以 AmazeFileManager 為例，展示如何進(jìn)行控件，區(qū)域以及樹剪枝屏蔽：

屏蔽控件

如圖（a）所示，紅框標(biāo)出來的黑色區(qū)域控件是手動配置的屏蔽控件。在這里，使用 xpath 來指定需要被屏蔽的控件。

[
{
    "activity":"com.ss.android.ugc.aweme.main.MainActivity",
    "xpath":"http://*[@content-desc='Navigate up']"
},
{
    "activity":"com.ss.android.ugc.aweme.main.MainActivity",
    "xpath":"http://*[@content-desc='More options']"
}

]

屏蔽區(qū)域

如圖（b）所示，紅框標(biāo)出來的黑色區(qū)域控件是手動配置的屏蔽區(qū)域。在這里使用 bounds 來配置屏蔽區(qū)域。

[
{
    "activity":"com.ss.android.ugc.aweme.main.MainActivity",
    "bounds":"[0,18],[240，60]"
}
]

樹剪枝屏蔽

樹剪枝屏蔽是指在 GUI 樹中查找到對應(yīng)控件，通過將控件屬性的 enable 設(shè)置為 False，從而使控件屏蔽。

配置步驟：

配置 max.tree.pruning 文件（文件名固定不可更改）
參照案例格式指定需要屏蔽的控件，格式如下：

activity：當(dāng) activity 與 currentactivity 一致時執(zhí)行如下匹配
剪枝方式：配置 xpath，查找匹配的控件，改變控件屬性，從而使控件屏蔽。

配置完成后，將配置文件推送到手機(jī)端： adb push 路徑+max.tree.pruning /sdcard

例子：仍以 AmazeFileManager 為例， 如上圖（c）所示，被紅框標(biāo)出的黑色區(qū)域即為手動配置的樹剪枝屏蔽控件，可以通過將控件的 enabled 屬性變?yōu)?flase，也可以將其他屬性變?yōu)榭諄韺崿F(xiàn)屏蔽。

[
{
    "activity":"com.ss.android.ugc.aweme.main.MainActivity",
    "xpath":"http://*[@content-desc='Navigate up']",
    "enabled":"false"
},
{
    "activity":"com.ss.android.ugc.aweme.main.MainActivity",
    "xpath":"http://*[@content-desc='More options']",
    "enabled":"false"
},
{
    "activity":"com.ss.android.ugc.aweme.main.MainActivity",
    "xpath":"http://*[@resource-id='com.amaze.filemanager:id/search'",
    "resourceid":"",
    "contentdesc":"",
    "text":"",
    "classname":""
}
]

Fastbot 開源版技術(shù)原理與架構(gòu)

問題背景

工作流程

核心概念

技術(shù)和算法原理

1. 基于概率模型的事件選擇

2. 基于強(qiáng)化學(xué)習(xí)的事件選擇

3. 案例解釋

概率模型的探索與利用模式

Q 表的更新利用

設(shè)計實現(xiàn)

常用配置

1. 配置自定義事件

2. 屏蔽控件

更多信息