このページでは、互換性テストスイート（CTS）を実施して AOSP ソースコードを基に仮想デバイスを評価する方法について説明します。
Cuttlefish をビルドする
CTS を実施する前に、CTS でテストする仮想デバイスをビルドします。AOSP Cuttlefish の場合、次の操作を行います。
source build/envsetup.shlunch aosp_cf_x86_64_phone-userdebugmake -j
CTS をビルドする
CTS は、デバイス アーティファクトとは別にビルドされます。CTS をビルドする手順は次のとおりです。
Cuttlefish をビルドしたツリーのルートから、以下のコマンドを実行します。
source build/envsetup.shm -j cts WITH_DEXPREOPT_BOOT_IMG_AND_SYSTEM_SERVER_ONLY=false TARGET_PRODUCT=aosp_x86_64
マルチテナント Cuttlefish インスタンスを起動する
Cuttlefish をビルドしたツリーのルートから、以下のコマンドを実行します。
source build/envsetup.shlunch aosp_cf_x86_64_phone-userdebuglaunch_cvd --num_instances=8 --daemon
インスタンスが起動したら、各デバイスに adb でアクセスできることを確認します。
adb devices
出力例は下記のようになります。
List of devices attached
127.0.0.1:6520 device
127.0.0.1:6521 device
127.0.0.1:6522 device
127.0.0.1:6523 device
127.0.0.1:6524 device
127.0.0.1:6525 device
127.0.0.1:6526 device
127.0.0.1:6527 device
Cuttlefish インスタンスで Wi-Fi を有効にする
Wi-Fi が有効になっていないと、一部の CTS テストが失敗します。ローカルにホストしているすべての Cuttlefish デバイスで Wi-Fi を有効にする手順は次のとおりです。
Cuttlefish をビルドしたツリーのルートから、以下のコマンドを実行します。
for SERIAL in $(adb devices | grep -E '127.+device$' | cut -f1); doadb -s ${SERIAL} install -r -g tools/tradefederation/core/res/apks/wifiutil/WifiUtil.apkadb -s ${SERIAL} shell su root svc wifi enableadb -s ${SERIAL} shell am instrument -e method "connectToNetwork" -e scan_ssid "false" -e ssid "VirtWifi" -w com.android.tradefed.utils.wifi/.WifiUtildone
Stable CTS サブセットを実施する
テストの一部は実機に合わせて調整されているので、Cuttlefish ですべての CTS に合格するわけではありません。仮想プラットフォームで何が安定しているかの最新情報を追跡する cts-virtual-device-stable テストプランで CTS を実施するには、次の手順を行います。
Cuttlefish をビルドしたツリーのルートから、以下のコマンドを実行します。
source build/envsetup.shlunch aosp_cf_x86_64_phone-userdebugcts-tradefed run cts-virtual-device-stable --no-enable-parameterized-modules --max-testcase-run-count 2 --retry-strategy RETRY_ANY_FAILURE --reboot-at-last-retry --shard-count 8
テストは 20～25 分間実施され、次のような概要が出力されます。
=============== Summary ===============
Total Run time: 22m 8s
184/184 modules completed
Total Tests : 92483
PASSED : 92363
FAILED : 0
IGNORED : 71
ASSUMPTION_FAILURE: 49
Shard 0 used: [127.0.0.1:6522]
Shard 1 used: [127.0.0.1:6525]
Shard 2 used: [127.0.0.1:6524]
Shard 3 used: [127.0.0.1:6521]
Shard 4 used: [127.0.0.1:6520]
Shard 5 used: [127.0.0.1:6527]
Shard 6 used: [127.0.0.1:6526]
Shard 7 used: [127.0.0.1:6523]
============== End of Results ==============
クリーンアップ
テストが完了したら、仮想デバイスを停止します。
Cuttlefish をビルドしたツリーのルートから、以下のコマンドを実行します。
source build/envsetup.shlunch aosp_cf_x86_64_phone-userdebugstop_cvd