Menyiapkan pengujian otomatis CTS

Sebelum dapat menjalankan pengujian CTS otomatis, siapkan lingkungan fisik, siapkan workstation, dan konfigurasikan perangkat yang Anda uji.

Catatan: Untuk mengurangi waktu yang diperlukan untuk menjalankan pengujian, Anda dapat menguji lebih dari satu DUT sekaligus. Misalnya, Anda dapat memasang perangkat ke workstation pengujian yang sama menggunakan hub USB.

Menyiapkan lingkungan fisik

Pengujian CTS tertentu memerlukan penggunaan perangkat eksternal yang disiapkan di dekat DUT. Untuk menyiapkan lingkungan fisik:

Catatan: Jika menguji lebih dari satu DUT sekaligus, Anda harus menyiapkan lingkungan fisik untuk setiap DUT.

1. (opsional) Jika DUT Anda mendukung Bluetooth LE, tempatkan minimal tiga beacon Bluetooth LE dalam jarak 5 meter dari DUT untuk pengujian pemindaian Bluetooth LE. Selain itu:

   • Beacon tidak perlu dikonfigurasi atau memunculkan sesuatu yang spesifik.
   • Beacon dapat berupa apa saja, termasuk iBeacon, Eddystone, atau bahkan perangkat yang menyimulasikan beacon BLE.

2. Letakkan ponsel di depan sebuah pemandangan, seperti dinding atau langit-langit, pada jarak yang setara dengan jarak fokus minimum DUT. Selain itu:

   • Latar harus memiliki pencahayaan yang memadai agar sensor yang sedang diuji dapat mencapai dan tetap berada pada frame per detik (FPS) target maksimum yang dikonfigurasi seperti yang ditentukan dalam CONTROL_AE_TARGET_FPS_RANGE.
   • Penyiapan ini berlaku untuk semua sensor kamera yang dilaporkan oleh getCameraIdList saat pengujian melakukan iterasi pada perangkat yang tercantum dan mengukur performa secara terpisah.
   • Jika DUT mendukung kamera eksternal, seperti webcam USB, pasang kamera eksternal saat menjalankan CTS. Jika tidak, pengujian CTS akan gagal.

3. (opsional) Jika DUT Anda mendukung sistem pengukuran posisi global (GPS) atau sistem satelit navigasi global (GNSS) lainnya, berikan sinyal GNSS ke DUT pada level sinyal yang sesuai untuk penerimaan dan penghitungan lokasi. Selain itu:

   • GPS harus mematuhi ICD-GPS-200C.
   • Sinyal GNSS dapat berupa jenis apa pun, termasuk simulator satelit atau repeater sinyal luar ruangan.
   • Anda dapat menempatkan DUT di dekat jendela sehingga dapat langsung menerima sinyal GNSS yang cukup dari satelit.
   Perhatian: Untuk pengujian GPS, penyiapan koneksi internet tidak boleh memblokir koneksi ke port supl.google.com 7276. Port ini mendownload data bantuan GPS untuk menguji penghitungan posisi di perangkat lokal.

4. Pastikan jaringan Wi-Fi Anda mendukung IPv4 dan IPv6, memiliki koneksi internet dengan DNS untuk IPv4 dan IPv6, mendukung multicast IP, dan dapat memperlakukan DUT sebagai klien terisolasi.

   Catatan: Klien terisolasi adalah konfigurasi saat DUT tidak memiliki visibilitas ke pesan siaran atau multijaringan di subjaringan tersebut. Untuk menyiapkan klien yang terisolasi, gunakan konfigurasi titik akses (AP) Wi-Fi atau jalankan DUT di subjaringan terisolasi tanpa menghubungkan perangkat lain.

   Jika Anda tidak memiliki akses ke jaringan IPv6 native, jaringan operator IPv6, atau VPN untuk lulus pengujian IPv6, gunakan AP Wi-Fi dan tunnel IPv6.

5. Pastikan DUT memiliki flag UP, BROADCAST, dan MULTICAST yang ditetapkan di antarmuka Wi-Fi.

6. Pastikan antarmuka Wi-Fi memiliki alamat IPv4 dan IPv6 yang ditetapkan. Untuk memeriksa properti antarmuka Wi-Fi, jalankan adb shell ifconfig.

7. (opsional) Jika DUT Anda mendukung serentak STA atau STA Wi-Fi, siapkan minimal dua jaringan Wi-Fi. Jaringan Wi-Fi ini harus berjalan di band yang berbeda dengan SSID yang berbeda atau di SSID yang sama dengan BSSID yang berbeda.

8. (opsional) Jika DUT Anda mendukung waktu round-trip (RTT) Wi-Fi, siapkan perangkat yang mendukung Wi-Fi RTT:

   1. Tempatkan perangkat RTT Wi-Fi dalam jarak 12 meter dari DUT.
   2. Nyalakan perangkat Wi-Fi RTT.

   Berikut adalah dua perangkat yang direkomendasikan yang mendukung Wi-Fi RTT: - Google Wifi - Titik akses fitlet2 Compulab (disetel ke bandwidth 40 MHz pada 5 GHz).

Menyiapkan komputer desktop

Sebelum menjalankan pengujian otomatis CTS, pastikan komputer desktop Anda memenuhi persyaratan hardware dan sistem operasi serta telah menginstal software yang sesuai, seperti yang dijelaskan di bagian berikut.

Persyaratan Meet hardware

Komputer desktop CTS Anda harus memenuhi atau melebihi persyaratan hardware berikut:

• Sistem x86 64-bit

• Ruang disk kosong minimal 256 GB untuk mengakomodasi peningkatan jumlah kasus pengujian CTS dan peningkatan reservasi ruang heap Java di Tradefed

• RAM minimum 32 GB

Memenuhi persyaratan sistem operasi

Komputer pengembangan Anda harus menjalankan distribusi Linux 64-bit dengan GNU C Library (glibc) 2.17 atau yang lebih tinggi.

Menginstal software desktop

Untuk menginstal software desktop yang sesuai untuk CTS:

1. Instal paket FFmpeg versi 5.1.3 atau yang lebih tinggi.

2. Instal versi terbaru Android Debug Bridge (adb) dan Android Asset Packaging Tool (AAPT2) dan tambahkan lokasi alat tersebut ke jalur sistem komputer Anda:

   1. Ikuti petunjuk di awal dokumentasi SDK Manager untuk menginstal alat command line sdkmanager. Link untuk mendownload alat command line ada di bagian Khusus alat command line di bagian bawah halaman download Android Studio.
   2. Perbarui jalur sistem Anda untuk menyertakan lokasi sdkmanager yang baru diinstal.
   3. Dengan sdkmanager, instal paket platform-tools dan build-tools terbaru. Paket ini berisi adb dan AAPT2. Untuk informasi tentang cara menginstal paket, lihat Menginstal paket.
   4. Perbarui jalur Anda untuk menyertakan lokasi alat adb dan AAPT2 yang baru diinstal.
   5. Pastikan adb dan AAPT2 berada di jalur Anda.
   Catatan: Atau, jika menggunakan Android Studio di komputer desktop CTS, Anda dapat memeriksa opsi Android SDK Platform-Tools dan Android SDK Build-Tools untuk menginstal platform dan alat build SDK.

3. Instal versi Java Development Kit (JDK) yang sesuai:

   • Untuk Android 11 atau yang lebih tinggi, instal JDK 11.
   • Untuk Android 10 atau yang lebih lama, lihat Menyiapkan CTS (AOSP 10 atau yang lebih lama).

4. (opsional) Untuk Android 13 atau yang lebih tinggi, instal virtualenv. Alat virtualenv diperlukan untuk pengujian multiperangkat.

5. Untuk memastikan Python terinstal, ketik python3. Versi dan tanggal Python akan muncul yang menunjukkan bahwa python diinstal dengan benar.

6. Download dan buka paket CTS dari download Compatibility Test Suite yang cocok dengan versi Android perangkat Anda dan semua antarmuka biner aplikasi (ABI) yang didukung perangkat Anda.

7. Download dan buka versi terbaru file media CTS. File media mencakup klip video dari Big Buck Bunny, yang dilindungi hak cipta oleh Blender Foundation berdasarkan lisensi Creative Commons Attribution 3.0.

8. (opsional) Saat Anda menjalankan CTS untuk pertama kalinya, CTS akan mendownload beberapa file CTS terkait Mainline secara dinamis. Bergantung pada kecepatan jaringan Anda, download ini akan menambahkan 10 menit atau lebih ke waktu proses CTS.

   Untuk menghindari waktu proses CTS tambahan ini, Anda dapat mendownload file CTS terkait Mainline sebelum menjalankan CTS. Untuk informasi tentang cara mendownload file CTS terkait Mainline, lihat Mendownload file CTS terkait Mainline.

Menyiapkan DUT

Setelah menyiapkan komputer desktop, Anda harus menyiapkan dan mengonfigurasi DUT.

Menyiapkan DUT

Untuk menyiapkan DUT:

1. Pastikan DUT menjalankan image sistem berdasarkan build pengguna yang diketahui kompatibel (Android 4.0 atau yang lebih tinggi) dari Codenames, Tags, and Build Numbers dan menggunakan varian build user. Untuk mengetahui informasi selengkapnya tentang varian build, lihat Memilih target.

2. Jika DUT menjalankan Android 13 atau yang lebih tinggi, pastikan build telah menetapkan ro.product.first_api_level ke API level yang digunakan perangkat saat diluncurkan secara komersial. Untuk menetapkan nilai ini, buat perubahan berikut pada file device.mk:

   PRODUCT_SHIPPING_API_LEVEL := 21
   

   Persyaratan CTS tertentu bergantung pada build yang awalnya dikirimkan dengan perangkat. Misalnya, perangkat yang awalnya dikirim dengan build sebelumnya mungkin dikecualikan dari persyaratan sistem yang berlaku untuk perangkat yang dikirim dengan build yang lebih baru. Untuk nilai API level yang valid, lihat Namakode, Tag, dan Nomor Build. Untuk mengetahui informasi selengkapnya tentang ro.product.first_api_level, lihat API level vendor.

   Untuk Android 10 atau yang lebih lama, lihat Menyiapkan CTS (AOSP 10 atau yang lebih lama).

3. Jika perangkat Anda mendukung pengelolaan paket APEX:

   1. Download paket shim APEX untuk versi Android dan arsitektur hardware tertentu. Dua kolom kiri di tabel paket shim memberikan link ke paket yang akan didownload.
   2. Salin paket yang didownload ke /system/apex.
   3. Ganti nama file menjadi com.android.apex.cts.shim.apex.

4. Jika perangkat Anda tidak mendukung pengelolaan paket APEX:

   1. Download paket shim APEX untuk versi Android dan arsitektur hardware tertentu. Dua kolom di sebelah kanan dalam tabel paket shim memberikan link ke paket yang akan didownload.
   2. Salin CtsShim.apk ke /system/app/
   3. Mengganti nama CtsShim.apk menjadi CtsShimPrebuilt.apk
   4. Salin CtsShimPriv.apk ke /system/priv-app/
   5. Mengganti nama CtsShimPriv.apk menjadi CtsShimPrivPrebuilt.apk

5. Jika perangkat Anda melaporkan lebih dari satu elemen aman:

   1. Download google-cardlet.cap.
   2. Salin file yang didownload ke /data/uicc/cardlets/.

6. Jika perangkat Anda melaporkan lebih dari satu elemen pengaman, instal applet contoh ke Elemen Pengaman (eSE) tersemat DUT atau ke kartu SIM yang digunakan oleh DUT. Untuk informasi selengkapnya, lihat Pengujian CTS untuk Elemen Pengaman.

7. Jika perangkat Anda tidak memiliki layar tersemat, hubungkan layar ke perangkat.

8. Jika perangkat memiliki slot kartu memori, pasang kartu SD kosong. Gunakan kartu SD yang mendukung bus kecepatan ultra tinggi (UHS) dengan kapasitas SDHC atau SDXC atau kartu dengan kecepatan class 10 atau lebih baik untuk memastikan kartu tersebut dapat lulus CTS.

   Peringatan: CTS dapat mengubah atau menghapus data di kartu SD yang dicolokkan ke perangkat.

9. Jika perangkat memiliki slot kartu SIM, pasang kartu SIM yang diaktifkan ke setiap slot. Jika perangkat mendukung SMS, setiap kartu SIM harus memiliki kolom nomornya sendiri. Untuk perangkat yang menjalankan Android 12 atau yang lebih baru, semua kartu SIM harus memiliki dukungan untuk menyimpan nomor telepon singkat (ADN). Kartu GSM dan USIM dengan file khusus telekomunikasi (DF_Telecom) memenuhi persyaratan ini.

   Peringatan: CTS dapat mengubah atau menghapus data di kartu SIM yang dicolokkan ke perangkat.

10. Pastikan perangkat Anda memiliki SIM dengan hak istimewa operator CTS yang memenuhi persyaratan yang ditentukan dalam Menyiapkan UICC.

Catatan: Jika menguji lebih dari satu DUT sekaligus, Anda harus menyiapkan setiap DUT.

Mengonfigurasi DUT

Gunakan langkah-langkah berikut untuk mengonfigurasi DUT untuk digunakan dengan CTS.

Catatan: Jika Anda menggunakan Android 10 atau yang lebih lama, baca Mengonfigurasi DUT.

Di DUT:

1. Reset perangkat ke setelan pabrik.

   Peringatan: Reset ini akan menghapus semua data pengguna dari perangkat.

2. Setel bahasa perangkat ke Inggris (Amerika Serikat).

3. Jika perangkat mendukung penyesuaian font default, pastikan jenis font sans-serif default disetel ke Roboto.

4. Jika ada fitur GPS, Wi-Fi, atau jaringan seluler di perangkat, aktifkan setelan lokasi.

5. Hubungkan ke jaringan Wi-Fi yang mendukung IPv6, dapat memperlakukan DUT sebagai klien terisolasi, dan memiliki koneksi internet. Untuk penjelasan klien yang terisolasi, lihat Menyiapkan lingkungan fisik.

6. Pastikan tidak ada pola kunci atau sandi yang ditetapkan.

7. Aktifkan proses debug USB:

   1. Buka Setelan > Tentang ponsel, lalu ketuk Nomor build tujuh kali. Opsi developer muncul dalam kategori setelan Sistem.

   2. Ketuk Proses debug USB.

   Untuk mengaktifkan proses debug USB di Android 10 atau yang lebih rendah, lihat Menyiapkan CTS (AOSP 10 atau yang lebih rendah).

8. Tetapkan waktu ke format 12 jam.

9. Aktifkan Opsi developer > Tetap aktif.

10. Menonaktifkan verifikasi aplikasi USB:

    1. Buka Opsi developer.

    2. Ketuk Verifikasi aplikasi melalui USB.

11. Di Android 13 atau yang lebih baru, aktifkan modem tiruan:

    1. Buka Opsi developer.

    2. Ketuk Izinkan Modem Simulasi.

    Setelan ini diperlukan untuk pengujian telefoni tertentu.

Di komputer desktop:

1. Luncurkan browser dan tutup layar startup atau penyiapan.

2. Hubungkan DUT ke komputer desktop menggunakan kabel USB.

3. Jika sistem meminta Anda untuk menerima kunci RSA yang memungkinkan proses debug melalui komputer ini, klik Allow USB debugging.

4. Tetapkan Roboto2 sebagai font sans-serif menggunakan setelan kemampuan yang dapat diakses pengguna (tidak tersembunyi).

5. Salin file media CTS ke DUT:

   1. Buka (cd) jalur tempat file media didownload dan diekstrak.

   2. Ubah izin file:

      chmod u+x copy_media.sh
      

   3. Salin file:

      • Untuk menyalin klip hingga resolusi 720x480, jalankan:

        ./copy_media.sh 720x480

      • Jika Anda tidak yakin dengan resolusi maksimum, salin semua file:

        ./copy_media.sh all

      • Jika ada beberapa DUT, tambahkan opsi serial (-s) perangkat tertentu ke bagian akhir. Misalnya, untuk menyalin hingga 720x480 ke perangkat dengan serial 1234567, jalankan:

        ./copy_media.sh 720x480 -s 1234567

Mendownload file CTS terkait Mainline

Untuk mendownload file CTS terkait Mainline:

1. Dapatkan API level Android di perangkat dengan menjalankan:

   adb shell getprop ro.build.version.sdk
   

2. Ikuti petunjuk dalam skrip download_mcts.sh untuk mendownload file CTS Mainline.

   Download memerlukan waktu minimal 10 menit, bergantung pada kecepatan jaringan Anda.

Paket shim

Tabel berikut mencantumkan paket yang tersedia untuk setiap versi dan arsitektur perangkat:

Versi Perangkat	Paket (jika APEX didukung)		Paket (jika APEX tidak didukung)
	ARM	x86	ARM	x86
Android 15	15-arm-release	android15-x86-release	android15-arm-CtsShim.apk android15-arm-CtsShimPriv.apk	android15-x86-CtsShim.apk android15-x86-CtsShimPriv.apk
Android 14	android14-arm-release	android14-x86-release	android14-arm-CtsShim.apk android14-arm-CtsShimPriv.apk	android14-x86-CtsShim.apk android14-x86-CtsShimPriv.apk
Android 13	android13-arm-release	android13-x86-release	android13-arm-CtsShim.apk android13-arm-CtsShimPriv.apk	android13-x86-CtsShim.apk android13-x86-CtsShimPriv.apk
Android 12	android12-arm-release	android12-x86-release	android12-arm-CtsShim.apk android12-arm-CtsShimPriv.apk	android12-x86-CtsShim.apk android12-x86-CtsShimPriv.apk
Android 11	android11-arm-release	android11-x86-release	android11-arm-CtsShim.apk android11-arm-CtsShimPriv.apk	android11-x86-CtsShim.apk android11-x86-CtsShimPriv.apk
Android 10	android10-release		android10-arm-CtsShim.apk android10-arm-CtsShimPriv.apk	android10-x86-CtsShim.apk android10-x86-CtsShimPriv.apk
Android 9, O, dan O-MR1	T/A	T/A	arm-CtsShim.apk arm-CtsShimPriv.apk	x86-CtsShim.apk x86-CtsShimPriv.apk

Apa selanjutnya?

Setelah membaca dokumen ini, lanjutkan ke Menjalankan pengujian CTS otomatis.