執行測試 (Atest)

Atest 是一項指令列工具,可讓使用者建構、安裝和執行 Android 在本機測試,大幅加快重新執行測試的速度,而且不需 瞭解貿易聯盟測試工具 指令列選項本頁面說明如何使用 Atest 執行 Android 測試。

如需有關為 Android 編寫測試的一般資訊,請參閱「Android 平台測試」。

如需瞭解 Atest 的整體結構,請參閱 Atest 開發人員指南

如要進一步瞭解如何透過 Atest 在 TEST_MAPPING 檔案中執行測試,請參閱 在 TEST_MAPPING 檔案中執行測試

如要將功能新增至 Atest,請按照 Atest 開發人員工作流程

設定環境

如要設定 Atest 環境,請按照設定 環境選擇目標建構程式碼

基本用法

Atest 指令的格式如下:

atest test-to-run [optional-arguments]

選用引數

下表列出最常用的引數。完整清單如下: 訂閱期限:atest --help

選項 長選項 說明
-b --build 建構測試目標。(預設)
-i --install 在裝置上安裝測試構件 (APK)。(預設)
-t --test 執行測試。(預設)
-s --serial 在指定裝置上執行測試。一次只能測試一部裝置,
-d --disable-teardown 停用測試拆除和清理功能。
--dry-run 模擬測試 Atest,無需實際建構、安裝或執行測試。
-m --rebuild-module-info 強制重新建構 module-info.json 檔案。
-w --wait-for-debugger 等待偵錯工具執行完畢再執行。
-v --verbose 顯示 DEBUG 層級記錄。
--iterations 循環執行測試,直到疊代次數達到上限。(預設為 10)
--rerun-until-failure [COUNT=10] 重新執行所有測試,直到失敗或疊代上限達到 。(預設為 10)
--retry-any-failure [COUNT=10] 系統會重新執行失敗的測試,直到通過或疊代次數上限為止。(10)。 )
--start-avd 自動建立 AVD 並在虛擬裝置上執行測試。
--acloud-create 使用 acloud 指令建立 AVD。
--[CUSTOM_ARGS] 為測試執行器指定自訂引數。
-a --all-abi 針對所有可用的裝置架構執行測試。
--host 在沒有裝置的情況下在主機上完全執行測試。
注意:如果主機測試需要使用具有 --host 的裝置,則會失敗。
--history 依時間順序顯示測試結果。
--latest-result 顯示最新的測試結果。

如要進一步瞭解 -b-i-t,請參閱 指定步驟:建構、安裝或執行區段。

指定測試

如要執行測試,請使用下列其中一種方式指定一或多個測試 識別碼:

  • 模組名稱
  • 模組:Class
  • 類別名稱
  • Tradefed 整合測試
  • 檔案路徑
  • 套件名稱

請以空格分隔多個測試的參照,如下所示:

atest test-identifier-1 test-identifier-2

模組名稱

如要執行整個測試模組,請使用模組名稱。請輸入畫面上顯示的名稱 在該測試的 LOCAL_MODULELOCAL_PACKAGE_NAME 變數中 Android.mkAndroid.bp 檔案。

例如:

atest FrameworksServicesTests
atest CtsVideoTestCases
敬上

模組:類別

如要在模組中執行單一類別,請使用 Module:Class模組與「模組名稱」一節所述相同。「Class」是類別的名稱 .java 檔案中的測試類別,可以是完整的類別名稱或 基本名稱。

例如:

atest CtsVideoTestCases:VideoEncoderDecoderTest
atest FrameworksServicesTests:ScreenDecorWindowTests
atest FrameworksServicesTests:com.android.server.wm.ScreenDecorWindowTests
敬上

類別名稱

如要執行單一類別而不明確指出模組名稱,請使用 類別 名稱。

例如:

atest ScreenDecorWindowTests
atest VideoEncoderDecoderTest
敬上

Tradefed 整合測試

如要執行已直接整合至 TradeFed (非模組) 的測試,請輸入 這個名稱會顯示在 tradefed.sh list configs 指令輸出內容中。例如:

若要執行 reboot.xml 測試

atest example/reboot

若要執行 native-benchmark.xml 測試

atest native-benchmark

檔案路徑

Atest 支援執行模組式測試和整合式測試,方法是視情況輸入測試檔案或目錄的路徑。此外, 支援執行單一類別,方法是指定類別的 Java 檔案路徑。 系統同時支援相對路徑和絕對路徑。

執行模組

下列範例說明執行 CtsVideoTestCases 模組的兩種方式 檔案路徑

透過 Android repo-root 執行:

atest cts/tests/video

透過 Android repo-root/cts/tests/video 執行:

    atest .

執行測試類別

以下範例顯示如何在 使用檔案路徑的 CtsVideoTestCases 模組。

從 Android repo-root 裝置:

    atest cts/tests/video/src/android/video/cts/VideoEncoderDecoderTest.java

執行整合測試

以下範例顯示如何使用檔案路徑執行整合測試 來自 Android repo-root

    atest tools/tradefederation/contrib/res/config/example/reboot.xml

套件名稱

Atest 支援依套件名稱搜尋測試。

例如:

    atest com.android.server.wm
    atest com.android.uibench.janktests

指定步驟:建構、安裝或執行

使用 -b-i-t 選項指定要執行的步驟。如果 如果您並未指定選項,則所有步驟都會執行。

  • 僅限版本目標:atest -b test-to-run
  • 僅執行測試:atest -t test-to-run
  • 安裝 APK 並執行測試:atest -it test-to-run
  • 建構並執行,但不安裝:atest -bt test-to-run

Atest 可以強制測試略過清除或拆卸步驟。多種測試,例如 CTS,請在測試執行後清理裝置,以便重新執行測試 假如沒有 --disable-teardown 參數,-t 就會失敗。請在 -t 之前使用 -d,略過測試清除步驟,並以迴圈方式進行測試。

atest -d test-to-run
atest -t test-to-run
敬上

執行特定方法

Atest 支援在測試類別中執行特定方法。雖然整個 ,可減少執行測試所需的時間。跑步 請使用 識別類別 (Module:Class、檔案路徑等) 並附加 方法:

atest reference-to-class#method1

指定多個方法時,請使用半形逗號分隔:

atest reference-to-class#method1,method2,method3

例如:

atest com.android.server.wm.ScreenDecorWindowTests#testMultipleDecors
atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange,testRemoval

以下兩個範例說明執行單一方法 testFlagChange 的偏好方式。比起只使用類別名稱,建議優先使用這些範例 因為指定模組或 Java 檔案位置可讓 Atest 找到 加快測試速度

使用 Module:Class:

atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange

從 Android repo-root 裝置:

atest frameworks/base/services/tests/wmtests/src/com/android/server/wm/ScreenDecorWindowTests.java#testFlagChange

可從不同的類別和模組執行多種方法:

atest FrameworksServicesTests:ScreenDecorWindowTests#testFlagChange,testRemoval ScreenDecorWindowTests#testMultipleDecors

執行多個課程

如要執行多個類別,請以空格分隔各類別,做法與執行 多次測試。Atest 可有效地建構及執行類別,因此在模組中指定類別子集,可比執行整個模組更能提升效能。

如要在相同模組中執行兩個類別:

atest FrameworksServicesTests:ScreenDecorWindowTests FrameworksServicesTests:DimmerTests

如何在不同模組中執行兩個類別:

atest FrameworksServicesTests:ScreenDecorWindowTests CtsVideoTestCases:VideoEncoderDecoderTest

執行 GTest 二進位檔

Atest 可執行 GTest 二進位檔。使用 -a 對所有可用版本執行這些測試 裝置架構,此例中為 armeabi-v7a (ARM 32 位元) 和 arm64-v8a (ARM 64 位元)。

輸入測試範例:

atest -a libinput_tests inputflinger_tests

如要選取要執行的特定 GTest 二進位檔,請使用半形冒號 (:) 指定測試 名稱和「主題標記」(#) 屬性,用於進一步指定個別方法。

例如,針對下列測試定義:

TEST_F(InputDispatcherTest, InjectInputEvent_ValidatesKeyEvents)

執行下列指令,指定整個測試:

atest inputflinger_tests:InputDispatcherTest

或使用以下指令執行個別測試:

atest inputflinger_tests:InputDispatcherTest#InjectInputEvent_ValidatesKeyEvents

在 TEST_MAPPING 中執行測試

測試可以在 TEST_MAPPING 檔案中執行測試。

以隱含方式執行預先提交測試

在目前和父項目錄中的 TEST_MAPPING 檔案中執行預先提交測試:

atest

/path/to/project 和 應用程式的 TEST_MAPPING 檔案中執行預先提交測試,並 父項目錄:

atest --test-mapping /path/to/project

執行指定的測試群組

可用的測試群組如下:presubmit(預設)、postsubmitmainline-presubmitall

在目前和父項目錄中的 TEST_MAPPING 檔案中執行提交後測試:

atest :postsubmit

從 TEST_MAPPING 檔案中所有群組執行測試:

atest :all

在「/path/to/project」和「/path/to/project」中的 TEST_MAPPING 檔案中執行提交後測試 父項目錄:

atest --test-mapping /path/to/project:postsubmit

/path/to/project 的 TEST_MAPPING 檔案中執行主線測試,並 父項目錄:

atest --test-mapping /path/to/project:mainline-presubmit

在子目錄中執行測試

根據預設,Atest 只會在 TEST_MAPPING 檔案中向上搜尋測試 (從目前或指定目錄到其父目錄)。如果您也想要 如要在子目錄的 TEST_MAPPING 檔案中執行測試,請使用 --include-subdirs 強制 Atest 納入這些測試:

atest --include-subdirs /path/to/project

在迭代中執行測試

藉由傳遞 --iterations 引數以疊代執行測試。是否通過 或失敗時,Atest 會重複測試,直到達到疊代上限為止。

例如:

根據預設,Atest 會重複執行 10 次。迭代次數必須為正整數。

atest test-to-run --iterations
atest test-to-run --iterations 5

下列方法可讓偵測不穩定的測試:

方法 1:執行所有測試,直到失敗或疊代達到上限為止。

  • 在發生失敗或迴圈達到第 10 次 (預設) 時停止。
    atest test-to-run --rerun-until-failure
    
  • 在失敗或疊代達到第 100 輪時停止。
    atest test-to-run --rerun-until-failure 100
    

方法 2:僅執行失敗的測試,直到通過或疊代次數上限為止。

  • 假設 test-to-run 有多個測試案例,以及其中一個 測試失敗的狀況。只執行失敗的測試 10 次 (預設),或直到測試通過為止。
    atest test-to-run --retry-any-failure
    
  • 在測試通過或達到第 100 輪時,停止執行失敗的測試。
    atest test-to-run --retry-any-failure 100
    

在 AVD 上執行測試

Atest 可在新建立的 AVD 上執行測試。執行 acloud create 即可建立 建立 AVD 和建構構件,然後使用下列範例執行測試。

啟動 AVD 並執行測試:

acloud create --local-instance --local-image && atest test-to-run

在測試執行期間啟動 AVD:

atest test-to-run --acloud-create "--local-instance --local-image"

詳情請參閱 acloud create --help

將選項傳遞至模組

Atest 可以將選項傳遞至測試模組。如何新增 TradeFed 指令列 測試執行的選項,請使用以下結構 必須遵循交易指令列選項格式

atest test-to-run -- [CUSTOM_ARGS]

將測試模組選項傳遞至測試設定檔中定義的指定準備工具或測試執行工具:

atest test-to-run -- --module-arg module-name:option-name:option-value
atest GtsPermissionTestCases -- --module-arg GtsPermissionTestCases:ignore-business-logic-failure:true

將選項傳遞至跑者類型或類別:

atest test-to-run -- --test-arg test-class:option-name:option-value
atest CtsVideoTestCases -- --test-arg com.android.tradefed.testtype.JarHosttest:collect-tests-only:true

如要進一步瞭解僅供測試的選項,請參閱 將選項傳遞至模組