Android自動化測試工具調研

2022-10-18 21:03:11

原文地址:Android自動化測試工具調研 - Stars-One的雜貨小窩

Android測試按測試方式分類,可分為兩種:一種是傳統邏輯單元測試(Junit),另外一種則是UI互動頁面測試。

這裡詳細講解第二種測試。

UI互動頁面測試如果是人工進行,會消耗人力,且不一定按質量進行測試,測試不全面,不到位,於是發展了通過寫測試程式碼來進行測試。

Monkey

首先,介紹一下Monkey這個測試框架

命名為猴子,意思的是像猴子一樣沒有規則的順便亂點操作

Android SDK自帶的測試工具,在測試過程中會向系統傳送偽隨機的使用者事件流(如按鍵輸入、觸控式螢幕輸入、手勢輸入等),實現對正在開發的應用程式進行壓力測試,也有紀錄檔輸出。

實際上該工具只能做程式做一些壓力測試,由於測試事件和資料都是隨機的,不能自定義,所以有很大的侷限性。

使用的話則是通過adb shell命令來執行的,如下面例子:

//(此時指定軟體會被開啟並開始亂點亂按)
 adb shell monkey  -p  com.tencent.news  -v -v -v  100   

MonkeyRunner

MonkeyRunner也是Android SDK內建的一個工具,但與Monkey沒有太大的聯絡,Monkey是通過adb命令下發相關事件指令來進行測試,而MonkeyRunner採取使用者端/伺服器端的方式來下發相關指令

其檔案位於AndroidSDK目錄/tools/bin/monkeyrunner.bat.bat

本質上,MonkeyRunner是個工具集API(JPythod),通過讓Pythod程式碼可以實現模擬操作手機APP的操作,具體可參考此文monkeyrunner自動化工具詳解 - 習久性成 - 部落格園

編寫測試指令碼(Pythod)來自定義資料、事件。Monkeyrunner 足夠強大了,但是錄製的指令碼是以座標軸來作為定位方式,而安卓裝置型別眾多,各種解析度,所以移植性不好

Espresso

此方案,目前主要使用者讓Android開發人員進行自測使用,測試指令碼程式碼為Java/Kotlin

Android官方程式碼中,預設參照這個測試框架庫,在我們新建專案的時候就可以看到,app程式碼目錄下有以下三個資料夾

  • androidTest UI的單元測試程式碼
  • main 主程式碼
  • test 邏輯測試程式碼

其中,androidTest就是所說到的UI的單元測試程式碼,對應的測試框架為Espresso,基於Instrumentation進行改造而成,測試的主要流程就是找到對應控制元件Id,然後進行對應的斷言判斷

這種方法的缺點是需要懂Android開發的相關知識才能進行測試程式碼的編寫

如果單純編寫確實有些難度,之後與Android SDK裡的UiAutomator工具聯用,UiAutomator工具檔案是在AndroidSDK目錄/tools/bin/uiautomatorviewer.bat

UiAutomator工具,主要功能就是會將當前的APP頁面進行截圖,然後分析View的層次結構,並展示View的相關屬性資訊,如控制元件ID,margin,text等

實際上,UiAutomator底層使用的無障礙服務(AccessibilityService)那套API,唯一有所區別的是,UiAutomator是shell環境才能使用,而AccessibilityService可以在APP使用(需要使用者手動開啟許可權)

可以通過Android Studio中的run->Record Espresso Test,開啟一個對話方塊,通過此對話方塊,可以進行相關流程的測試,之後完成後自動生成對應的測試程式碼

詳情過程可參考這篇文章Android Espresso使用 - 愛碼網

Instrumentation框架是Android測試環境的核心,很多測試框架都是基於其實現。Instrumentation其實是Android Framework中的一個類,它的作用簡單來說就是能夠監控Android系統和Application之間的互動。因此實現了測試應用程式對應用程式的控制。

Instrumentation`會在App啟動階段被初始化,然後作為一個範例變數儲存到ActivityThread物件中。Application的建立,Activity生命週期方法的回撥等其他操作,都會經過Instrumentation來完成,會先呼叫Instrumentation的相應方法。

Instrumentation框架通過將主程式和測試程式執行在同一個程序來實現這些功能。可以把Instrumentation理解為沒有介面的activity,它具有啟動能力和監控能力。

Appium

在說這個之前,先說下Selenium,Selenium是用來進行Web測試的框架,

selenium 本身是一套web自動化測試工具,但其經常被用於爬蟲,解決一些複雜爬蟲的問題。

selenium 用於爬蟲時,相當於模擬人操作瀏覽器,之後由此框架發展出了其他的框架

  • Robotium

也是基於Instrumentation的測試框架,目前國內外用的比較多,資料比較多,社群也比較活躍。缺點是對測試人員來說要有一定的Java基礎,瞭解Android基本元件,不能跨App。

  • Selendroid
    基於Instrumentation的測試框架,可以測試Native App、Hybird App、Web App,但是網上資料較少,社群活躍度也不大,可以看做是一個Web版的Robotium,使用入門課參考selendroid 入門 · TesterHome

範例指令碼:

AndroidDriver driver = new AndroidDriver(new URL("http://localhost:8080/wd/hub"), getDefaultCapabilities());
driver.findElement(By.id("startUserRegistration")).click();

WebDriverWait wait = new WebDriverWait(driver, 5);
WebElement inputUsername = wait.until(ExpectedConditions.presenceOfElementLocated(By.id("inputUsername")));
inputUsername.sendKeys(user.getUsername());
Assert.assertEquals(nameInput.getText(), "Mr. Burns");
nameInput.clear();
nameInput.sendKeys(user.getName());
takeScreenShot("User data entered.");
driver.findElement(By.id("btnRegisterUser")).click();

而Appium也是從Selenium延伸出來的,是目前最主流的移動測試自動化框架,不僅支援 Android 應用,而且適用於 iOS、混合和 Web 應用程式。

上面說到的3個框架,測試流程原理為:

電腦在指定埠開啟一個Web服務,並在手機安裝一個對應的使用者端APP程式,兩者通過Socket協定連結

之後編寫指令碼裡,可以使用Web服務的地址,之後指令碼程式碼傳輸給Web服務,由Web服務再下發手機,有使用者端APP程式執行對應的指令操作(這個APP程式實際上就是沒有介面的,可以理解為一個後臺程序)

Appium的桌面APP也是提供了一種測試錄製功能,可以將測試的流程記錄,並轉為對應的指令碼程式碼,如點選了什麼控制元件,輸入了什麼內容等步驟,可以參考Appium的使用方法

它底層完全使用了 Selenium 和 WebDriver 的 API,所以如果你之前有用過 selenium, 幾乎不需要額外的學習成本就可以使用 appium。

Appium 通過 uiautomator(API 級別 16 或更高)和 Seledroid(API 級別低於 16)支援 Android,但是你不需要具體懂這兩個框架的具體用法,appium 都已經幫你封裝成了統一的使用規則。

Appium 的優勢之一是幾乎可以使用任何程式語言(例如 Java、Objective-C、JavaScript、PHP、Ruby、Python 或 C# 等)編寫 Appium 指令碼。不需要重新編譯或改變應用程式來匹配Appium,Appium有一個非常大而活躍的社群。

Airtest

是網易出品的一款基於影象識別和poco控制元件識別的一款UI自動化測試套件,由Airtest框架、poco框架、airtestIDE 組成。是一個跨平臺的UI自動化測試框架,適用於遊戲和App。

Airtest的框架是網易團隊自己開發的一個影象識別框架,這個框架的祖宗就是一種新穎的圖形指令碼語言Sikuli。

Sikuli這個框架的原理是這樣的:

計算機使用者不需要一行行的去寫程式碼,而是用螢幕截圖的方式,用截出來的圖形擺列組合成神器的程式,這是Airtest的一部分。

另外,Airtest也基於poco這個UI控制元件搜尋方塊架,這個框架也是網易自家的跨平臺U測試框架,原理類似於appium:

通過控制元件的名稱,id之類的來定位目標控制元件,然後呼叫函數方法,例如click(),swip()之類的方法來對目標控制元件進行點選或者是操作。

雖然Airtest剛開始是為了遊戲測試,現在在app測試中也有很大的應用範圍。只是進行錄製、執行指令碼的AirtestIDE沒有開源,不方便進行深度客製化。

AirtestIDE工具,內建了Airtest和Poco的相關外掛功能,能夠使用它快速簡單地編寫 Airtest 和 Poco 程式碼。

AirtestIDE依賴ADB與安卓裝置進行通訊,編寫的對應的指令碼檔案程式碼為Pythod

使用可參考Airtest-app自動化測試必備神器 - 知乎

Solopi

主要就是測試人員自行安裝對應的測試工具apk和目標測試apk,進行測試,之後可以測試工具可以將手機上的操作進行錄製儲存為指令碼,並可以分享到其他裝置上執行,從而實現一套自動化測試。

Solopi開源地址

是螞蟻金服開源的一款行動端APP測試工具,提供指令碼錄製、編輯、回放,結果展示以及一機多控(即通過裝置間的socket通訊實現1臺手機可以控制多臺手機執行指令碼)等功能,其測試用例的錄製和執行等操作均在手機端的一個APP中完成

不需要藉助電腦軟體與測試裝置互動,所以通訊結構比Appium簡單高效,對元素的識別也是使用類似於appium的控制元件的方式,並且引入了類似於airtest的影象識別的方式。

Solopi支援原生APP即混合式APP,雖然Appium和Airtest都有很大的應用範圍,但是Solopi相比於appium和airtest有以下優勢:

  • 改進的控制元件匹配演演算法,更高的匹配成功率;
  • 不需要依賴pc端的桌面應用,全部操作都在手機端的app中完成,實現了無線化,隨時可測;
  • 不需要程式碼基礎,使用人群覆蓋範圍廣;
  • 提供效能測試的功能等。

這套方案中,底層依賴主要是 「無線 ADB、系統輔助功能、Chrome 偵錯以及影象識別技術」。同時,在底層依賴的基礎上,封裝了一套核心能力,由 「控制元件定位、事件驅動、效能採集以及依賴注入」 組成,並在服務層實現了錄製、回放、資料處理等公共服務能力。在架構的最頂端,結合介面互動邏輯包裝出了各個功能的入口

SoloPi 錄製的用例會以 JSON 的形式儲存起來,用例不僅可以在裝置本地直接回放,還可以通過 SoloPi 的解析器將用例轉換為 Appium等目前主流自動化測試框架的指令碼,輕鬆打通雲測平臺

參考