Best practice per l'implementazione del driver NNAPI

Questa pagina descrive le best practice per l'implementazione dei driver dell'API Neural Networks (NNAPI) per consentire un'ampia adozione dell'API da parte degli sviluppatori di app.

Fai in modo che i tempi di avvio siano brevi

Se il driver trasforma i pesi di un modello al primo utilizzo, assicurati che il driver supporti la memorizzazione nella cache di compilazione, che riduce il tempo utilizzato per la compilazione all'avvio di un'app. È importante perché le app potrebbero evitare di usare l'accelerazione hardware se i tempi di avvio sono troppo lunghi. Ad esempio, alcune app hanno più di 100 MB di pesi e la loro trasformazione ogni volta che viene avviata è uno spreco di peso.

Riduci la latenza minima

Per garantire che i modelli utilizzino l'accelerazione hardware, è importante ridurre la latenza minima nei driver. Molte app utilizzano modelli di piccole dimensioni che vengono eseguiti più volte e se la latenza minima per l'esecuzione di un carico di lavoro è troppo elevata, ad esempio pochi millisecondi, i modelli potrebbero eseguire il carico di lavoro sulla CPU, che richiede solo uno o due millisecondi, invece di utilizzare accelerazioni hardware. Presta attenzione alla costosa sincronizzazione dei thread.

Utilizzare il gruppo NN HAL SchedTune

A partire da Android 11 o versioni successive, AOSP include un gruppo SchedTune NN HAL dedicato che consente ai processi NN HAL di inter-elaborazione di utilizzare big core, in modo simile all'implementazione sullo stesso processo all'interno del top-app cgroup predefinito. L'utilizzo di questo gruppo SchedTune riduce il carico di lavoro del conducente, soprattutto per i modelli di piccole dimensioni.

Per utilizzare il gruppo SchedTune, aggiungi la seguente riga al file init.rc del processo NN HAL:

writepid /dev/stune/nnapi-hal/tasks