CTS yang Didukung Pengembang

Halaman ini menguraikan pedoman penggunaan CTS yang Didukung Pengembang (CTS-D).

Cakupan tes

CTS-D, seperti CTS & CTS Verifier, hanya dapat menerapkan hal berikut:

  • Semua API publik yang dijelaskan dalam SDK pengembang (developer.android.com) untuk level API tertentu.
  • Semua persyaratan HARUS yang disertakan dalam Dokumen Definisi Kompatibilitas Android (CDD) untuk level API tertentu.

Persyaratan yang tidak HARUS, seperti SANGAT DIANJURKAN, HARUS, MUNGKIN, bersifat opsional dan tidak dapat diuji menggunakan CTS.

Karena semua persyaratan API dan CDD terikat pada level API tertentu, semua pengujian CTS (CTS, CTS-D, dan CTS Verifier) ​​terikat pada level API yang sama dengan API atau persyaratan terkaitnya. Jika API tertentu tidak digunakan lagi atau diubah, pengujian terkaitnya harus tidak digunakan lagi atau diperbarui.

Aturan pembuatan tes CTS

  • Suatu tes harus menghasilkan hasil obyektif yang sama secara konsisten.
  • Pengujian harus menentukan apakah suatu perangkat lolos atau gagal dengan menguji perangkat tersebut satu kali di luar kotaknya.
  • Pembuat tes harus menghapus semua kemungkinan faktor yang dapat mempengaruhi hasil tes.
  • Jika perangkat memerlukan kondisi/lingkungan/pengaturan perangkat keras tertentu, pengaturan tersebut harus didefinisikan dengan jelas dalam pesan penerapan. Untuk contoh petunjuk pengaturan, lihat Menyiapkan CTS .
  • Tes tidak boleh dijalankan lebih dari 6 jam setiap kalinya. Jika perlu berjalan lebih lama, harap sertakan alasannya dalam proposal pengujian Anda sehingga kami dapat meninjaunya.

Berikut ini adalah contoh kumpulan kondisi pengujian untuk menguji pembatasan aplikasi:

  • Wifi stabil (untuk tes yang mengandalkan Wifi).
  • Perangkat tetap diam selama pengujian (atau tidak, tergantung pengujiannya).
  • Perangkat dicabut dari sumber listrik apa pun dengan tingkat baterai X persen.
  • Tidak ada aplikasi, layanan latar depan, atau layanan latar belakang yang berjalan, kecuali CTS.
  • Layar mati saat menjalankan CTS.
  • Perangkat ini BUKAN isLowRamDevice .
  • Penghemat baterai/pembatasan aplikasi belum diubah dari status “out-of-the-box”.

Uji kelayakan

Kami menerima pengujian baru yang menerapkan perilaku yang tidak diuji oleh pengujian CTS, CTS Verifier, atau CTS-D yang ada. Tes apa pun yang memeriksa perilaku di luar cakupan cakupan pengujian kami akan ditolak.

Proses pengajuan CTS

  1. Menulis proposal pengujian: Pengembang aplikasi mengirimkan proposal pengujian menggunakan Google Issue Tracker , menjelaskan masalah yang telah diidentifikasi dan mengusulkan pengujian untuk memeriksanya. Proposal harus menyertakan ID persyaratan CDD terkait. Tim Android meninjau proposal tersebut.
  2. Mengembangkan tes CTS: Setelah proposal disetujui, pengirimnya membuat tes CTS pada AOSP di cabang utama (AOSP/utama). Tim Android meninjau kodenya.
  3. Publikasikan tes: Kirimkan CL Anda di AOSP/main lalu pilih ke cabang androidx-tests-dev terbaru. Tes ini sekarang tersedia untuk umum.

Pedoman penulisan tes CTS-D

  • Ikuti Panduan Gaya Kode Java .
  • Ikuti semua langkah yang dijelaskan dalam Pengembangan CTS .
  • Tambahkan pengujian Anda ke rencana pengujian yang sesuai:
    • Gunakan include-filters untuk menambahkan pengujian baru Anda ke rencana pengujian CTS-D: platform/cts/tools/cts-tradefed/res/config/cts-developer.xml .
    • Gunakan exclude-filters untuk mengecualikan pengujian baru Anda dari rencana pengujian CTS utama: platform/cts/tools/cts-tradefed/res/config/cts-developer-exclude.xml .
  • Tangani semua peringatan dan saran errorprone di build_error.log .
  • Rebase perubahan Anda menjadi head . Ini termasuk rencana pengujian cts-developer.xml dan cts-developer-exclude.xml .
  • Bekerja samalah dengan kontak teknik Google Anda untuk menentukan apakah kasus pengujian Anda dapat disertakan dalam modul CTS yang ada. Jika tidak bisa, mereka akan membantu Anda membuat modul baru.
  • Untuk setiap modul pengujian baru yang dibuat, buat file PEMILIK di direktori modul pengujian baru.
    • File OWNER Anda harus berisi informasi berikut, yang diperoleh dari pemilik pengujian Google yang bekerja sama dengan Anda:
    • # Bug component: xxx
    • Pemilik tes Google ldap
  • Di AndroidTest.xml , tentukan parameter berikut. Lihat file contoh ( 1 , 2 ) untuk contoh:
    • Instant_app atau not_instant_app
    • secondary_user atau not_secondary_user
    • all_foldable_states atau no_foldable_states
  • Untuk menentukan minSDK yang benar, lihat dokumentasi <uses-sdk> .
  • Saat memeriksa metode, kelas, atau modul pengujian baru, tambahkan metode tersebut ke rencana pengujian CTS-D dan kecualikan dari rencana pengujian CTS utama dengan cara yang sama seperti untuk pengujian baru.

Jalankan tes CTS-D Anda

Jalankan rencana pengujian CTS-D dari baris perintah menggunakan run cts --plan cts-developer .

Untuk menjalankan kasus pengujian tertentu, gunakan run cts --include-filter "test_module_name test_name" .

Untuk informasi tentang cara menjalankan CTS lengkap, lihat Menjalankan pengujian CTS .

Penerimaan dan pelepasan

Setelah permintaan pengujian dikirimkan, tim internal akan meninjaunya untuk memastikan permintaan tersebut menguji persyaratan CDD atau perilaku API yang terdokumentasi. Jika pengujian ditentukan untuk memeriksa persyaratan atau perilaku yang valid, tim akan meneruskan kasus pengujian ini ke teknisi Google untuk ditinjau lebih lanjut. Insinyur Google akan menghubungi Anda untuk memberikan masukan tentang bagaimana tes ini dapat ditingkatkan sebelum dapat diterima di CTS.

Lihat Jadwal rilis dan informasi cabang untuk rincian jadwal rilis CTS.