Hasil uji CTS ditempatkan dalam file:
CTS_ROOT/android-cts/results/start_time.zip
Jika Anda membuat CTS sendiri, CTS_ROOT menyerupai
out/host/linux-x86/cts, tetapi berbeda di setiap platform. Hal ini mencerminkan jalur tempat Anda tidak mengompresi CTS resmi bawaan
yang didownload dari situs ini.
Di dalam zip, file test_result.xml berisi hasil sebenarnya.
Menampilkan hasil Android 10 dan yang lebih baru
File test_result.html ada dalam arsip zip, Anda dapat langsung membukanya di browser web apa pun yang kompatibel dengan HTML5
Menampilkan hasil pra-Android 10
Buka file test_result.xml di browser web yang kompatibel dengan HTML5 untuk melihat hasil pengujian
Jika file ini menampilkan halaman kosong saat menggunakan browser Chrome,
ubah konfigurasi browser
untuk mengaktifkan tanda command line --allow-file-access-from-files.
Baca hasil pengujian
Detail hasil pengujian bergantung pada versi CTS yang Anda gunakan:
- CTS v1 untuk Android 6.0 dan yang lebih lama
- CTS v2 untuk Android 7.0 dan yang lebih baru
Informasi perangkat
Di CTS v1 dan yang lebih lama, pilih Informasi Perangkat (link di atas Ringkasan Pengujian) untuk melihat detail tentang perangkat, firmware (merek, model, build firmware, platform), dan hardware perangkat (resolusi layar, keypad, jenis layar). CTS v2 tidak menampilkan informasi perangkat.
Ringkasan uji
Bagian Ringkasan Pengujian memberikan detail rencana pengujian yang dijalankan, seperti nama rencana CTS dan waktu mulai serta waktu berakhir eksekusi. Laporan ini juga menampilkan ringkasan agregat jumlah pengujian yang lulus, gagal, habis waktunya, atau tidak dapat dijalankan.
Ringkasan pengujian contoh CTS Android 10
Gambar 1: Ringkasan pengujian contoh CTS Android 10
Ringkasan pengujian contoh CTS v2
Gambar 2: Ringkasan pengujian sampel CTS v2
Ringkasan pengujian contoh CTS v1
Gambar 3: Ringkasan pengujian sampel CTS v1
Laporan pengujian
Bagian berikutnya, laporan uji CTS, menyediakan ringkasan pengujian yang diteruskan per paket.
Hal ini diikuti dengan detail pengujian sebenarnya yang dijalankan. Laporan mencantumkan paket pengujian, rangkaian pengujian, kasus pengujian, dan pengujian yang dijalankan. Kolom ini menampilkan hasil eksekusi pengujian—lulus, gagal, waktu habis, atau tidak dieksekusi. Jika pengujian gagal, detail akan diberikan untuk membantu mendiagnosis penyebabnya.
Selain itu, pelacakan tumpukan kegagalan tersedia dalam file XML, tetapi tidak disertakan dalam laporan untuk memastikan kehematan—melihat file XML dengan editor teks akan memberikan detail kegagalan pengujian (telusuri tag [Test] yang sesuai dengan pengujian yang gagal dan cari tag [StackTrace] di dalamnya).
Menampilkan contoh laporan pengujian CTS v2
Gambar 4: Laporan pengujian contoh CTS v2
Menampilkan contoh laporan pengujian CTS v1
Gambar 5: Contoh laporan pengujian CTS v1
Meninjau test_result.xml untuk modul pengujian yang tidak lengkap
Untuk menentukan jumlah modul yang tidak lengkap dalam sesi pengujian tertentu, jalankan perintah 'list results'. Jumlah Modul Selesai dan Total Modul akan dicantumkan untuk setiap sesi sebelumnya. Untuk menentukan modul mana yang lengkap dan tidak lengkap, buka file test_result.xml dan baca nilai atribut "done" untuk setiap modul dalam laporan hasil. Modul dengan nilai done = "false" belum selesai dijalankan.
Kegagalan uji triase
Gunakan saran berikut untuk menentukan prioritas kegagalan uji.
- Pastikan lingkungan CTS disiapkan dengan benar, jika pengujian gagal karena prasyarat yang salah. Hal ini mencakup lingkungan fisik, penyiapan komputer desktop, dan penyiapan perangkat Android.
- Memverifikasi stabilitas perangkat, penyiapan pengujian, atau masalah lingkungan, jika pengujian tampak terlalu tidak stabil.
- Coba lagi pengujian secara terpisah jika masih gagal.
- Periksa faktor eksternal yang menyebabkan kegagalan pengujian, seperti:
- Penyiapan lingkungan. Misalnya, konfigurasi mesin desktop yang salah dikonfigurasi dapat menjadi penyebab kegagalan uji yang terjadi di semua Device-Under-Test (DUT) (termasuk perangkat referensi).
- Dependensi eksternal. Misalnya, jika pengujian gagal di semua perangkat di beberapa situs mulai dari waktu tertentu, URL yang buruk mungkin menjadi penyebabnya.
- Jika DUT tidak menyertakan patch keamanan, kegagalan pengujian keamanannya dapat diperkirakan.
- Validasi dan analisis perbedaan antara perangkat yang lulus dan gagal.
- Analisis pernyataan, log, bugreport, dan sumber CTS. Untuk HostTest, pernyataan dan log dapat sangat umum sehingga sebaiknya periksa dan lampirkan logcat perangkat juga.
- Kirim patch peningkatan pengujian untuk membantu mengurangi kegagalan pengujian.
Simpan hasil parsial
Tradefed tidak menyimpan hasil pengujian sebagian saat pemanggilan pengujian gagal.
Jika Tradefed tidak menghasilkan hasil pengujian apa pun, hal ini menyiratkan bahwa masalah serius telah terjadi selama pengujian berjalan, sehingga membuat hasil pengujian tidak dapat dipercaya. Hasil sebagian dianggap tidak membantu karena tidak memberikan nilai saat menyelidiki masalah perangkat.