Mengoptimalkan CTS

Compatibility Test Suite (CTS) Android menyediakan jutaan pengujian individual. Meskipun perlu sering menjalankan CTS selama fase pengembangan software, Anda dapat mempersingkat waktu yang diperlukan untuk menjalankan pengujian ini.

Penting: Untuk menyetujui build software untuk produksi akhir, menjalankan rangkaian pengujian CTS secara penuh adalah wajib. Build produksi akhir tidak boleh berisi modul yang belum diuji atau yang telah gagal dalam pengujian. Partner bertanggung jawab menemukan kegagalan di awal pengembangan. Semua kegagalan harus diatasi sebelum build akhir.

Halaman ini menjelaskan metode yang dapat Anda gunakan untuk mengurangi waktu eksekusi uji dan cara mengoptimalkan resource hardware ke dalam proses.

Perangkat sharding

Untuk mengurangi waktu siklus, pertimbangkan untuk menjalankan CTS di beberapa perangkat (sharding). Untuk melihat cara sharding dapat digunakan, tinjau Menjalankan pengujian CTS.

Tips: Untuk memaksimalkan efisiensi, sebaiknya hubungkan setidaknya enam perangkat. Tindakan ini dapat mempersingkat total waktu eksekusi CTS menjadi kurang dari 24 jam.

Android Test Station

Gunakan Android Test Station (ATS) untuk menggunakan antarmuka pengguna guna menjalankan rangkaian pengujian Android standar. Alat ini berfungsi sebagai antarmuka web untuk Trade Federation (TF), sehingga Anda dapat menjalankan CTS dengan penyiapan minimal pada serangkaian perangkat pengujian serta menetapkan jadwal untuk terus menjalankan pengujian.

Stasiun pengujian Android mendukung Mode multi-host, yang memungkinkan satu host pengontrol ATS digunakan untuk mengelola perangkat dan pengujian di beberapa host pekerja ATS.

Tips: Untuk menjalankan Android Test Station di emulator, sertakan parameter --use_host_adb.

Emulator berjalan terus-menerus

Untuk menjalankan CTS secara terus-menerus selama fase pengembangan, Perangkat Virtual Android (AVD) dapat digunakan sebagai pengganti hardware. Regresi kegagalan pengujian dapat diidentifikasi lebih awal, sehingga menghemat banyak waktu yang diperlukan untuk melakukan triage dan menganalisis akar masalah. Beberapa instance emulator dapat digunakan untuk sharding dan dapat dijadwalkan untuk berjalan terus-menerus dengan stasiun pengujian Android.

Penting: Implementasi emulator mungkin tidak identik dengan hardware dan pengujian mungkin tidak berjalan atau hasilnya mungkin tidak dapat diandalkan. Pastikan untuk menganalisis modul pengujian mana yang menghasilkan hasil yang berbeda dibandingkan dengan hardware sebelum menyiapkan Emulator untuk dijalankan secara terus-menerus.

drawElements Quality Program (dEQP)

Program Kualitas drawElements (dEQP) disertakan dalam Android CTS. Disebut CtsDepqTestCases, program ini berfokus pada cakupan pengujian grafis Android. Modul ini mencakup hampir 80% dari semua kasus pengujian di Android CTS dan mewakili 6% dari total waktu eksekusi.

Karena driver grafis Android adalah bagian dari firmware Android (BSP) dan tidak banyak berubah selama pengembangan, Anda dapat menjalankan modul ini secara strategis. Misalnya, jika Anda menjalankan CTS setiap dua minggu (atau kurang) selama pengembangan software, berdasarkan jadwal update firmware, Anda dapat mengecualikan modul ini selama beberapa siklus.

Penting: Untuk menghindari masalah di menit terakhir selama sertifikasi akhir, sebaiknya jalankan modul beberapa kali selama pengembangan dan jangan lewati modul ini sepenuhnya.

Salah satu opsinya adalah menjalankan CtsDeqpTestCases secara terpisah di serangkaian perangkat, lalu mengirimkan laporan CTS. Misalnya, di dua host yang berbeda.

Host 1:

cts-tf > run cts --max-log-size 100 --shard-count 6 -o -m CtsDeqpTestCases

Host 2:

cts-tf > run cts --max-log-size 100 --shard-count 6 -o --exclude-filter CtsDeqpTestCases

Kasus pengujian media

Kasus pengujian media memverifikasi layanan multimedia seperti audio, video, dan driver multimedia. Modul pengujian multimedia ini paling banyak berkontribusi pada waktu eksekusi CTS. Penundaan dapat terjadi jika:

• Mendownload file media atau memutar file media berulang kali selama pengujian.
• Mencoba ulang kasus pengujian yang gagal.

Android CTS berisi modul pengujian berikut:

• CtsMediaStressTestCases
• CtsMediaPlayerTestCases
• CtsMediaAudioTestCases
• CtsVideoTestCases
• CtsMediaDecoderTestCases
• CtsMediaCodecTestCases
• CtsMediaV2TestCases

Pertimbangkan untuk menjalankan beberapa pengujian media secara lokal atau di server lokal. Untuk mengetahui detailnya, lihat Menjalankan pengujian media CTS secara lokal.

Framework multimedia dan drivernya (decoder dan encoder) adalah bagian dari firmware Android (BSP). Anda dapat menjalankan modul ini secara strategis dan mengecualikan modul ini selama beberapa siklus, berdasarkan jadwal update firmware.

Penting: Untuk menghindari masalah di menit-menit terakhir selama sertifikasi akhir, sebaiknya jalankan modul multimedia beberapa kali selama pengembangan dan jangan lewati modul ini sepenuhnya.