Menjalankan uji CTS

Trade Federation adalah framework pengujian berkelanjutan untuk menjalankan pengujian di Android perangkat. Untuk menjalankan Compatibility Test Suite (CTS), pertama-tama baca Ringkasan Federasi Perdagangan untuk penjelasan framework pengujian Tradefed.

Untuk menjalankan rencana pengujian:

  1. Siapkan Perangkat Dalam Pengujian (DUT) sesuai dengan Penyiapan perangkat Android.
  2. Pastikan Anda telah menginstal kedua versi terbaru Android Debug Bridge (adb) dan Android Asset Packaging Tool (AAPT) dan menambahkan lokasi alat-alat tersebut ke jalur sistem komputer Anda. Untuk informasi tentang cara menginstal alat tersebut, lihat Menyiapkan CTS: ADB dan AAPT.
  3. Download build CTS yang dirilis ke Mesin host Linux dan ekstrak build ke lokasi host.
  4. Hubungkan minimal satu perangkat. Untuk menyiapkan DUT:
    • Tekan tombol layar utama untuk menyetel perangkat ke layar utama.
    • Jangan gunakan DUT untuk tugas lainnya.
    • Pertahankan DUT di posisi diam untuk menghindari pemicuan sensor aktivitas Anda.
    • Arahkan kamera perangkat ke objek yang dapat difokuskan.
    • Jangan menekan tombol apa pun pada perangkat saat CTS sedang berjalan. Penekanan atau menyentuh layar DUT akan mengganggu pengujian yang sedang berjalan dan dapat menyebabkan kegagalan uji.

  5. Luncurkan skrip cts-tradefed konsol CTS dari folder tempat CTS paket telah diekstrak. Pada shell command line host, jalankan:

    ./android-cts/tools/cts-tradefed

  6. Jalankan rencana pengujian default (berisi semua paket pengujian):

    cts-tradefed > run cts

    • Jika ingin meningkatkan waktu eksekusi uji, Anda dapat melakukan sharding pengujian di beberapa perangkat. Sharding mengharuskan {i>host<i} untuk terhubung setidaknya dua perangkat, tetapi enam perangkat atau lebih direkomendasikan untuk efisiensi. Saat sharding lebih dari 1 perangkat:

      • Untuk Android 9 dan yang lebih baru, gunakan opsi perintah

        --shard-count number_of_shards

      • Untuk Android 8.1 dan yang lebih lama, gunakan opsi perintah

        --shards number_of_shards

    • Jika Anda tidak ingin menjalankan seluruh rangkaian pengujian, Anda dapat menjalankan Rencana CTS pilihan Anda dari baris perintah:

      run cts --plan test_plan_name

      Untuk menemukan nama paket pengujian:

      • Untuk Android 7.0 dan yang lebih tinggi, guna melihat daftar modul pengujian, masukkan

        list modules

      • Untuk Android 6.0 dan versi yang lebih rendah, untuk melihat daftar rencana pengujian di repositori, masukkan

        list plans

      • Untuk Android 6.0 dan versi yang lebih lama, untuk melihat daftar paket pengujian di repositori, masukkan

        list packages

    • Untuk opsi perintah tambahan bergantung pada versi CTS, lihat referensi perintah console, atau di bagian "bantu semua" di konsol Tradefed.

  7. Jalankan beberapa sesi Coba lagi hingga semua modul pengujian selesai dan jumlah kegagalan uji akan sama dalam dua sesi percobaan ulang terakhir.

    • Untuk Android 9 dan yang lebih baru, gunakan

      run retry --retry session_number --shard-count number_of_shards

    • Untuk Android 7.0–8.1, gunakan

      run cts --retry session_number --shards number_of_shards

    • Untuk opsi perintah Coba lagi tambahan bergantung pada versi CTS, lihat Konsol Perintah CTS v2.

    • Guna memahami detail implementasi untuk percobaan ulang CTS, lihat Percobaan Ulang Suite Trade Federation.

  8. Jalankan sesi percobaan ulang hanya pada pengujian berparameter yang gagal. Lulus pengujian berparameter tidak dicoba lagi.

    • Untuk Android 11 dan yang lebih baru, opsi perintah coba lagi berikut diaktifkan secara default di perintah run cts:

      run retry --retry  --new-parameterized-handling

  9. Lihat progres dan hasil pengujian yang dilaporkan di konsol.

Menjalankan CTS menggunakan Android Test Station

Android Test Station adalah alat otomatisasi pengujian yang diuji dan diuji oleh developer Android insinyur dapat menggunakannya untuk menerapkan antarmuka pengguna untuk menjalankan tes standar Google Workspace. Alat ini berfungsi dengan Compatibility Test Suite Android" (CTS).

Alat ini tersedia untuk umum melalui Panduan Pengguna ATS, dan kodenya bersifat open source di AOSP (multitest_transport, tradefed_cluster).

Menjalankan CTS untuk Mode Alternatif

Rilis CTS 10 R4 menambahkan rencana pengujian untuk perangkat dengan mode alternatif, atau untuk perangkat dengan lebih dari satu layar. Jalankan rencana pengujian mode alternatif menggunakan run cts-foldable.

Kasus pengujian yang lulus atau gagal untuk mode layar alternatif ditambahkan dengan nilai dari display_mode, misalnya, testcase1[display_mode=0].

Di CTS 13, DeviceStateManager API memungkinkan modul pengujian dengan opsi konfigurasi untuk dijalankan di berbagai status perangkat dari perangkat foldable. Eksekusi uji otomatis di CTS berdasarkan status lipat layar yang ditentukan di perangkat tanpa perlu menjalankan paket pengujian cts-foldable.

<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />

Pengujian multiperangkat di CTS

Android 13 dan yang lebih tinggi mendukung pengujian multiperangkat. Pengujian yang memerlukan beberapa perangkat dijalankan secara otomatis selama CTS berjalan. CTS 13 mencakup beberapa pengujian multiperangkat yang otomatis dipicu saat sharding digunakan. Meskipun pengujian tidak memerlukan perubahan tambahan pada pengaturan fisik, virtualenv perlu diinstal pengujian berjalan dengan benar. Untuk mengetahui detailnya, lihat Multi-Perangkat Suite.

Menjalankan pengujian multiperangkat

Untuk menjalankan pengujian multiperangkat secara independen, gunakan kode berikut:

  cts-tradefed > run cts-multidevice

Semua opsi reguler didukung. Untuk menargetkan perangkat tertentu, tambahkan --serial <serial1> --serial <serial2> dan seterusnya untuk jumlah perangkat yang ditargetkan.

Untuk memicu pengujian multiperangkat secara otomatis, gunakan sharding, seperti di --shard-count 2.