Halaman ini menjelaskan praktik terbaik untuk menerapkan driver Neural Networks API (NNAPI) untuk memungkinkan adopsi NNAPI secara luas oleh pengembang aplikasi.
Menjaga waktu startup tetap singkat
Jika driver Anda mengubah bobot model pada penggunaan pertama, pastikan driver mendukung cache kompilasi, yang mengurangi waktu yang digunakan untuk kompilasi saat aplikasi dimulai. Ini penting karena aplikasi mungkin menghindari penggunaan akselerasi perangkat keras jika waktu mulai terlalu lama. Misalnya, beberapa aplikasi memiliki bobot lebih dari 100 MB dan mengubahnya setiap kali aplikasi diluncurkan adalah pemborosan.
Mengurangi latensi minimal
Untuk memastikan bahwa model menggunakan akselerasi perangkat keras, penting untuk mengurangi latensi minimal pada driver. Banyak aplikasi menggunakan model kecil yang dijalankan beberapa kali dan jika latensi minimal untuk menjalankan beban kerja terlalu tinggi, seperti beberapa milidetik, model mungkin menjalankan beban kerja pada CPU, yang hanya membutuhkan waktu satu atau dua milidetik, daripada menggunakan perangkat keras percepatan. Hati-hati dengan sinkronisasi utas yang mahal.
Menggunakan grup NN HAL SchedTune
Dari Android 11 atau lebih tinggi, AOSP menyertakan grup NN HAL SchedTune khusus yang memungkinkan proses NN HAL antarproses menggunakan inti besar, mirip dengan implementasi proses yang sama dalam cgroup top-app yang telah ditentukan sebelumnya. Menggunakan grup SchedTune ini mengurangi overhead driver, terutama untuk model kecil.
Untuk menggunakan grup SchedTune, tambahkan baris berikut ke file init.rc dari proses NN HAL:
writepid /dev/stune/nnapi-hal/tasks