Menjalankan uji CTS

Trade Federation adalah framework pengujian berkelanjutan untuk menjalankan pengujian pada perangkat Android. Untuk menjalankan Compatibility Test Suite (CTS), baca Ringkasan Trade Federation terlebih dahulu untuk mengetahui penjelasan framework pengujian Tradefed.

Untuk menjalankan rencana pengujian:

  1. Siapkan Perangkat yang Sedang Diuji (DUT) sesuai penyiapan perangkat Android.
  2. Pastikan Anda telah menginstal versi terbaru Android Debug Bridge (adb) dan Android Asset Packaging Tool (AAPT) serta menambahkan lokasi alat tersebut ke jalur sistem komputer Anda. Untuk mengetahui informasi tentang cara menginstal alat tersebut, lihat Menyiapkan CTS: ADB dan AAPT.
  3. Download build CTS yang dirilis ke mesin host Linux dan ekstrak build ke lokasi host.
  4. Hubungkan minimal satu perangkat. Untuk menyiapkan DUT:
    • Tekan tombol home untuk menyetel perangkat ke layar utama.
    • Jangan gunakan DUT untuk tugas lainnya.
    • Pastikan DUT berada dalam posisi diam untuk menghindari pemicu aktivitas sensor.
    • Arahkan kamera perangkat ke objek yang dapat difokuskan.
    • Jangan tekan tombol apa pun di perangkat saat CTS berjalan. Menekan tombol atau menyentuh layar DUT akan mengganggu pengujian yang sedang berjalan dan dapat menyebabkan kegagalan pengujian.

  5. Luncurkan skrip cts-tradefed konsol CTS dari folder tempat paket CTS telah diekstrak. Di shell command line host, jalankan:

    ./android-cts/tools/cts-tradefed

  6. Jalankan rencana pengujian default (berisi semua paket pengujian):

    • Untuk CTS 11 dan yang lebih lama 
      cts-tradefed > run cts

    • Untuk CTS 12 dan yang lebih baru 

      cts-console > run cts

    • Jika ingin meningkatkan waktu eksekusi pengujian, Anda dapat membagi pengujian di beberapa perangkat. Sharding mengharuskan host menghubungkan setidaknya dua perangkat, tetapi enam perangkat atau lebih direkomendasikan untuk efisiensi. Saat melakukan sharding pada lebih dari 1 perangkat:

      • Untuk Android 9 dan yang lebih tinggi, gunakan opsi perintah

        --shard-count number_of_shards

      • Untuk Android 8.1 dan yang lebih lama, gunakan opsi perintah

        --shards number_of_shards

    • Jika tidak ingin menjalankan seluruh rangkaian pengujian, Anda dapat menjalankan rencana CTS pilihan Anda dari command line:

      run cts --plan test_plan_name

      Untuk menemukan nama rencana pengujian:

      • Untuk Android 7.0 dan yang lebih baru, untuk melihat daftar modul pengujian, masukkan

        list modules

      • Untuk Android 6.0 dan yang lebih lama, untuk melihat daftar rencana pengujian di repositori, masukkan

        list plans

      • Untuk Android 6.0 dan yang lebih lama, untuk melihat daftar paket pengujian di repositori, masukkan

        list packages

    • Untuk opsi perintah tambahan bergantung pada versi CTS, lihat referensi perintah konsol, atau di bagian "help all" di konsol Tradefed.

  7. Jalankan beberapa sesi Percobaan ulang hingga semua modul pengujian selesai dan jumlah kegagalan pengujian sama dalam dua sesi percobaan ulang terakhir.

    • Untuk Android 9 dan yang lebih tinggi, gunakan

      run retry --retry session_number --shard-count number_of_shards

    • Untuk Android 7.0–8.1, gunakan

      run cts --retry session_number --shards number_of_shards

    • Untuk opsi perintah Coba Lagi tambahan bergantung pada versi CTS, lihat Konsol Perintah CTS v2.

    • Untuk memahami detail penerapan percobaan ulang CTS, lihat Percobaan Ulang Trade Federation Suite.

  8. Jalankan sesi percobaan ulang hanya pada pengujian berparameter yang gagal. Pengujian berparameter yang lulus tidak dicoba ulang.

    • Untuk Android 11 dan yang lebih tinggi, opsi perintah percobaan ulang berikut diaktifkan secara default dalam perintah run cts:

      run retry --retry  --new-parameterized-handling

  9. Lihat progres dan hasil pengujian yang dilaporkan di konsol.

Menjalankan CTS menggunakan Android Test Station

Android Test Station adalah alat otomatisasi pengujian yang dapat digunakan developer Android dan engineer pengujian untuk menggunakan antarmuka pengguna guna menjalankan rangkaian pengujian standar. Alat ini berfungsi dengan Compatibility Test Suite (CTS) Android.

Alat ini tersedia secara publik melalui Panduan Pengguna ATS, dan kodenya bersifat open source di AOSP (multitest_transport, tradefed_cluster).

Menjalankan CTS untuk Mode Alternatif

Rilis CTS 10 R4 menambahkan rencana pengujian untuk perangkat dengan mode alternatif, atau untuk perangkat dengan lebih dari satu layar. Jalankan rencana pengujian mode alternatif menggunakan run cts-foldable.

Kasus pengujian yang lulus atau gagal untuk mode layar alternatif ditambahkan dengan nilai dari display_mode, misalnya, testcase1[display_mode=0].

Di CTS 13, DeviceStateManager API memungkinkan modul pengujian dengan opsi konfigurasi berikut dijalankan pada berbagai status perangkat perangkat foldable. Eksekusi pengujian bersifat otomatis di CTS berdasarkan status lipat layar yang ditentukan di perangkat tanpa perlu menjalankan rencana pengujian cts-foldable.

<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />

Pengujian multiperangkat di CTS

Android 13 dan yang lebih baru mendukung pengujian multiperangkat. Pengujian yang memerlukan beberapa perangkat akan otomatis dijalankan selama CTS berjalan. CTS 13 menyertakan beberapa pengujian multi-perangkat yang dipicu secara otomatis saat sharding digunakan. Meskipun pengujian tidak memerlukan perubahan tambahan pada penyiapan fisik, virtualenv harus diinstal agar pengujian berjalan dengan benar. Untuk mengetahui detailnya, lihat Suite Multi-Perangkat.

Menjalankan pengujian multiperangkat

Untuk menjalankan pengujian multi-perangkat secara independen, gunakan kode berikut:

  cts-tradefed > run cts-multidevice

Semua opsi reguler didukung. Untuk menargetkan perangkat tertentu, tambahkan --serial <serial1> --serial <serial2> dan seterusnya untuk jumlah perangkat yang ditargetkan.

Untuk memicu pengujian multi-perangkat secara otomatis, gunakan sharding, seperti di --shard-count 2.