Menjalankan pengujian CTS-V

Pemverifikasi Compatibility Test Suite Android (Pemverifikasi CTS) melengkapi Compatibility Test Suite (CTS). Meskipun CTS memeriksa API dan fungsi yang dapat diotomatiskan, Pemverifikasi CTS menyediakan pengujian untuk API dan fungsi yang tidak dapat diuji pada perangkat stasioner tanpa input atau penentuan posisi manual, seperti kualitas audio, layar sentuh, akselerometer, dan kamera.

Persyaratan

Sebelum menjalankan Pemverifikasi CTS, pastikan Anda memiliki peralatan berikut:

  • Perangkat yang didukung Android yang telah memverifikasi kompatibilitas Android API dengan lulus CTS. Ini adalah perangkat yang diuji (DUT).
  • Komputer Linux dengan port yang kompatibel dengan USB 2.0. Semua koneksi ke DUT melalui port ini.
  • Perangkat kedua yang didukung Android dengan implementasi Bluetooth, Wi-Fi Langsung, Wi-Fi Aware, UWB (jika DUT mendukung UWB), dan host card emulation (HCE) NFC yang kompatibel.
  • Router Wi-Fi yang dikonfigurasi dengan nama dan sandi titik akses. Router harus dapat terputus dari internet tanpa dimatikan.

Pastikan Anda juga menyiapkan tripod, dudukan perangkat, dan jarak yang telah diukur sebelumnya yang diperlukan untuk pengujian pengukuran jarak (kedekatan) untuk UWB, Wi-Fi NAN, dan Bluetooth RSSI. Untuk mengetahui detailnya, lihat Kalibrasi kehadiran.

Persyaratan UICC untuk pengujian NFC

Pemverifikasi CTS memiliki kasus pengujian NFC berikut:

  • Field-off (menggunakan data transaksi dari 0x54)
  • De-select (menggunakan data transaksi dari 0x52)
  • Perintah HCI (0025000000) (menggunakan data transaksi dari 0x02)

Pengujian peristiwa transaksi memerlukan dua perangkat, salah satunya harus memiliki SecureElement UICC dengan aturan akses berikut:

  • Hash APK CtsVerifier: 61:ED:37:7E:85:D3:86:A8:DF:EE:6B:86:4B:D8:5B:0B:FA:A5:AF:81
  • Pengidentifikasi Aplikasi (AID) yang Diotorisasi untuk akses peristiwa NFC: 0xA000000476416E64726F696443545341

Di sisi emulator, kami berharap peristiwa transaksi akan mendorong aktivitas yang sesuai ke latar depan.

Penyiapan

Android 17 memerlukan langkah penyiapan CTS-V tambahan untuk memberikan peran browser default.

Ubah mode navigasi sistem perangkat pengujian ke mode tiga tombol sebagai berikut:

  1. Buka Setelan.
  2. Buka Sistem > Interaksi > Mode navigasi.
  3. Pilih mode navigasi berbasis tombol apa pun; mode tiga tombol lebih disukai, jika tersedia.

Untuk menyiapkan lingkungan pengujian Pemverifikasi CTS:

  1. Di komputer Linux:

    1. Sebelum menginstal Pemverifikasi CTS, jalankan perintah berikut untuk mengizinkan akses ke antarmuka non-SDK:
    adb shell settings put global hidden_api_policy 1

    1. Instal Android Studio.

    2. Download APK Pemverifikasi CTS untuk versi Android yang akan diuji.

  2. Hubungkan DUT ke komputer Linux.

  3. Dari terminal di komputer Linux, instal CtsVerifier.apk di DUT:

    adb install -r -g CtsVerifier.apk

  4. Untuk Android 10 dan yang lebih baru, jalankan perintah berikut untuk memberikan izin kepada aplikasi untuk membuat laporan:

    adb shell appops set com.android.cts.verifier android:read_device_identifiers allow

  5. Untuk Android 11 dan yang lebih baru, jalankan perintah berikut untuk mengizinkan laporan disimpan di direktori yang ditentukan sendiri di direktori tingkat atas eksternal perangkat:

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

  6. Untuk Android 13 dan yang lebih baru, jalankan perintah berikut untuk mengizinkan akses API pengujian untuk Pemverifikasi CTS:

    adb shell am compat enable ALLOW_TEST_API_ACCESS com.android.cts.verifier

  7. Untuk Android 14 dan yang lebih baru, jalankan perintah berikut untuk memberikan izin kepada aplikasi untuk mengaktifkan layar:

    adb shell appops set com.android.cts.verifier TURN_SCREEN_ON 0

  8. Untuk Android 17 dan yang lebih baru, jalankan perintah berikut untuk memberikan peran browser default ke Pemverifikasi CTS:

    adb shell 'cmd role add-role-holder --user $(am get-current-user) android.app.role.BROWSER com.android.cts.verifier'

  9. Pastikan tanggal dan waktu sistem DUT ditetapkan dengan benar.

Menjalankan Pemverifikasi CTS

Luncurkan aplikasi Pemverifikasi CTS dengan mengetuk ikon Pemverifikasi CTS di DUT.

Ikon CTS Verifier di peluncur

Gambar 1. Ikon Pemverifikasi CTS.

Aplikasi ini menampilkan beberapa kumpulan pengujian yang tersedia untuk verifikasi manual.

Menu pengujian CTS Verifier

Gambar 2. Menu pengujian Pemverifikasi CTS.

Setiap pengujian berisi kumpulan elemen umum di bagian bawah layar.

Verifikasi kualitas video streaming

Gambar 3. Layar pengujian dengan elemen pengujian umum yang disorot.

  • Lulus (✓). Ketuk jika DUT memenuhi persyaratan pengujian sesuai petunjuk Info.
  • Info (?). Ketuk untuk menampilkan petunjuk pengujian. Juga muncul secara otomatis saat pengujian dibuka untuk pertama kalinya.
  • Gagal (!). Ketuk jika DUT tidak memenuhi persyaratan pengujian sesuai petunjuk Info.

Beberapa pengujian, seperti mode aksesori USB, memerlukan penyiapan dan petunjuk pengujian tambahan seperti yang dijelaskan di bagian berikut.

Menguji mode aksesori USB untuk 8.0 dan yang lebih baru

Uji aksesori USB CTS Verifier

Gambar 4. Prosedur pengujian aksesori USB untuk 8.0 dan yang lebih baru.

Uji aksesori USB CTS Verifier

Gambar 5. Menguji mode aksesori USB untuk 8.0 dan yang lebih baru.

Menguji mode aksesori USB untuk 7.x dan yang lebih lama

Pengujian Aksesori USB memerlukan komputer Linux untuk menjalankan program mesin desktop USB (host).

  1. Hubungkan DUT ke komputer Linux.

  2. Di komputer, jalankan program cts-usb-accessory dari paket Pemverifikasi CTS:

    ./cts-usb-accessory

  3. Tunggu hingga dialog muncul di DUT, lalu ketuk OK.

    Uji aksesori USB CTS Verifier

    Gambar 6. Pengujian aksesori USB

  4. Buka Pengujian Aksesori USB di aplikasi Pemverifikasi CTS di DUT.

  5. Di komputer, tinjau output dari konsol. Contoh output:

    CTS USB Accessory Tester
Found possible Android device (413c:2106) - attempting to switch to accessory
mode...
Failed to read protocol versionfigure3
Found Android device in accessory mode (18d1:2d01)...
[RECV] Message from Android device #0
[SENT] Message from Android accessory #0
[RECV] Message from Android device #1
[SENT] Message from Android accessory #1
[RECV] Message from Android device #2
[SENT] Message from Android accessory #2
[RECV] Message from Android device #3
[SENT] Message from Android accessory #3
[RECV] Message from Android device #4
[SENT] Message from Android accessory #4
[RECV] Message from Android device #5
[SENT] Message from Android accessory #5
[RECV] Message from Android device #6
[SENT] Message from Android accessory #6
[RECV] Message from Android device #7
[SENT] Message from Android accessory #7
[RECV] Message from Android device #8
[SENT] Message from Android accessory #8
[RECV] Message from Android device #9
[SENT] Message from Android accessory #9
[RECV] Message from Android device #10
[SENT] Message from Android accessory #10

Menjalankan Pemverifikasi CTS untuk mode alternatif

Mulai rilis CTS 10 R6 dan CTS 11 R2, Pemverifikasi CTS mendukung pengujian yang diperlukan untuk perangkat dengan mode alternatif, atau untuk perangkat dengan lebih dari satu mode layar.

Di bagian atas tampilan daftar utama di Pemverifikasi CTS, tombol ditampilkan untuk memungkinkan pengguna beralih antara mode tampilan yang dilipat dan yang tidak dilipat. Pemverifikasi CTS akan menampilkan pengujian yang diperlukan untuk mode tampilan yang dipilih. Untuk menjalankan mode alternatif di Pemverifikasi CTS, pengguna harus mengalihkan tombol ke mode tampilan yang sesuai dan menjalankan daftar pengujian yang ditampilkan.

Tombol CTS-V

Gambar 7. Tombol pengalihan Pemverifikasi CTS.

Hasil pengujian yang dilipat akan dicatat dalam laporan yang sama dengan pengujian yang tidak dilipat. Untuk mengidentifikasi setiap hasil pengujian dari set pengujian, akhiran ditambahkan ke setiap nama pengujian dalam mode yang dilipat.

<Test result="fail" name="com.android.cts.verifier.deskclock.DeskClockTestsActivity[folded]">
  <RunHistory subtest="CREATE_ALARM[folded]">
    <Run start="1594176663973" end="1594176665841" isAutomated="false" />
  </RunHistory>
</Test>

Mengekspor hasil

Setelah semua pengujian selesai, Anda dapat menyimpan hasilnya sebagai laporan dan mendownloadnya ke komputer. Nama laporan diberi stempel waktu secara otomatis berdasarkan waktu sistem DUT.

  1. Untuk menyimpan hasil pengujian, ketuk ikon simpan (disk) di bagian atas daftar kategori pengujian.

  2. Tunggu dialog yang menampilkan jalur ke laporan yang disimpan (misalnya, /sdcard/verifierReports/ctsVerifierReport-date-time.zip), lalu catat jalur tersebut.

  3. Hubungkan DUT ke komputer Linux.

  4. Dari penginstalan Android SDK di komputer Linux, download laporan dari perangkat terhubung menggunakan adb shell content read atau adb pull CTSVerifierReportPath.

    • Untuk Android 7.x dan yang lebih baru, download semua laporan menggunakan perintah berikut:

      adb pull /sdcard/verifierReports

    • Untuk Android 6.0 dan yang lebih lama, download semua laporan menggunakan perintah berikut:

      adb pull /mnt/sdcard/ctsVerifierReports/

    • Untuk Android 10 dan yang lebih baru, yang menerapkan Otomotif dan perangkat yang berjalan sebagai pengguna sekunder, download laporan terbaru menggunakan perintah berikut:

      adb shell content read --user <var>CURRENT_USER</var> --uri content://com.android.cts.verifier.testresultsprovider/reports/latest > report.zip

      Untuk mencantumkan semua laporan yang tersedia di perangkat terhubung:

        adb shell content query --user CURRENT_USER --uri content://com.android.cts.verifier.testresultsprovider/reports
  ```

To download a report from the list, you can specify the Row ID or
filename. For example:

```shell
  adb shell content read --user CURRENT_USER --uri content://com.android.cts.verifier.testresultsprovider/reports/0 > report.zip
  ```

```shell
  adb shell content read --user CURRENT_USER --uri content://com.android.cts.verifier.testresultsprovider/reports ctsVerifierReport-date-time.zip > report.zip
  ```

  5. Untuk menghapus hasil lulus atau gagal, pilih hasil di aplikasi Pemverifikasi CTS, lalu pilih Menu > Hapus.