In Android 17 e versioni successive, il gestore della Neural Processing Unit (NPU) coordina il controllo di ammissione dei modelli e la priorità dei workload tra app e servizi di sistema. Anziché consentire ai job in background di sottrarre risorse alle attività in primo piano sensibili alla latenza, il servizio di sistema npu monitora gli stati del ciclo di vita delle app da ActivityManager e trasmette regole di pianificazione efficaci al driver della NPU del fornitore tramite l'Hardware Abstraction Layer (HAL) di Android Interface Definition Language (AIDL) android.hardware.npu.
API del framework per l'arbitrato del caricamento del modello
Prima di chiamare le librerie di reti neurali di basso livello o di caricare file di modelli di grandi dimensioni, i client del framework interagiscono con android.npumanager.NpuManager per prenotare la capacità del modello. NpuManager è un'API di sistema (@SystemApi), non un'API SDK per app pubblica,
e i chiamanti devono disporre dell'autorizzazione
android.permission.ACCESS_NPU_MODEL_MANAGER_API. I client creano prima una richiesta di caricamento del modello, poi eseguono il flusso di richiesta e approvazione asincrono.
Crea una richiesta di caricamento del modello
Una prenotazione di caricamento del modello è rappresentata da ModelLoadRequest. Questo oggetto contiene i seguenti parametri:
- Identificatore univoco della richiesta
- Classe di dimensioni del modello stimata:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBoNPU_MODEL_SIZE_GREATER_THAN_2G - Priorità del workload prevista, ad esempio
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALoNPU_MODEL_PRIORITY_OPPORTUNISTIC
L'esempio Java seguente crea un ModelLoadRequest per un modello di dimensioni superiori a 2 GB con priorità di esecuzione normale:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Esegui il flusso di richiesta e approvazione
I client inviano la prenotazione in modo asincrono utilizzando il metodo requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Quando viene valutata la capacità della NPU o cambia la pressione del sistema, il framework
informa il client tramite ModelLoadRequestCallback con i seguenti
eventi:
onCanLoadModel(request, status, listener): attivato quando la richiesta viene approvata. Il client riceve un tokenNpuManager.ModelLoadStatusListener. Dopo aver caricato il modello nella memoria della NPU, il client deve chiamarelistener.notifyModelLoaded(request).onRequestUnloadModel(request)oonRequestUnloadModel(request, reason): attivato quando il sistema riscontra una contesa delle risorse, ad esempio un workload in primo piano in entrata o un picco termico, e richiede al client di rilasciare il modello. Dopo aver rilasciato le risorse NPU, il client deve chiamarelistener.notifyModelUnloaded(request).onModelLoadRequestComplete(request, status): notifica al client le transizioni del ciclo di vita delle richieste del terminale, ad esempio l'annullamento.
I client possono annullare le richieste in attesa in qualsiasi momento chiamando
cancelModelLoad(request).
Integrazione dell'HAL di pianificazione
Le implementazioni dei fornitori specifiche per i dispositivi si integrano con lo scheduler della piattaforma implementando l'interfaccia di servizio IScheduling.aidl nel pacchetto android.hardware.npu.
Configura le priorità degli UID e il controllo degli accessi
Il servizio di sistema npu invia i valori di priorità e le regole di accesso per UID all'HAL del fornitore utilizzando setSchedulingConfigs e updateSchedulingConfigs con l'oggetto parcelable SchedulingConfig.aidl:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Ogni campo in SchedulingConfig controlla il modo in cui il driver della NPU del fornitore arbitra il lavoro inviato da un identificatore dell'utente (UID):
| Campo o costante | Descrizione |
|---|---|
MIN_PRIORITY e MAX_PRIORITY |
Limiti di priorità validi (da 0 a 1000), dove
MIN_PRIORITY (0) rappresenta la priorità di pianificazione
più alta e MAX_PRIORITY (1000)
rappresenta la priorità di pianificazione più bassa.
|
uid |
UID Linux dell'app client o del servizio di sistema. |
priority |
Punteggio di importanza della piattaforma compreso tra 0 e 1000, dove 0 indica la priorità più alta. Derivato dallo stato del processo ActivityManager, in modo che le app in primo piano abbiano la precedenza sui processi memorizzati nella cache o in background.
|
hasDirectAccess |
Indica se uid è autorizzato ad aprire sessioni di esecuzione diretta della NPU. Se false, la creazione o l'esecuzione della sessione diretta non va a buon fine con EX_SECURITY.
|
canAttributeOtherUid |
Se un servizio intermediario con privilegi, come AICore, è autorizzato ad attribuire l'utilizzo della NPU e dell'alimentazione a un client chiamante originalUid.
|
Gli scheduler NPU del fornitore devono calcolare una priorità effettiva nell'intervallo da 0 a 2000 (dove 0 è la priorità più alta) aggiungendo SchedulingConfig.priority (da 0 a 1000) alla priorità del job richiesta dal client normalizzata da 0 a 1000 e pianificare le code di esecuzione dell'hardware in base a questa priorità effettiva. Ad esempio, se un'app in background invia un job ad alta priorità, il suo punteggio priority più alto riduce la priorità effettiva (producendo un valore numerico più alto) in modo da non ritardare i workload della fotocamera o della UI in primo piano.
Stato e attribuzione delle attività dei report
I driver del fornitore segnalano il ciclo di vita dei gruppi di esecuzione della NPU alla piattaforma utilizzando WorkInfo.aidl:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Quando un servizio intermediario con canAttributeOtherUid abilitato esegue un modello per conto di un'app client, originalUid contiene l'UID dell'app di origine, mentre uid identifica il servizio di invio. Questa separazione consente alla telemetria della piattaforma e alla contabilità dell'alimentazione di addebitare il lavoro all'app richiedente anziché al daemon intermediario.
Configura il debouncing degli eventi
Quando un listener ISchedulingCallback viene registrato con
IScheduling.setCallback, l'HAL elimina i rimbalzi delle notifiche di lavoro correlate per
almeno ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Gli elementi di lavoro sono considerati correlati quando condividono gli stessi uid, originalUid e debugFeatureId o lo stesso groupId. Il debouncing elimina le rapide ondate di callback durante l'esecuzione di inferenze in streaming o in più passaggi, riducendo l'overhead di Binder e l'eccesso di log.
Gli stati del ciclo di vita del callback vengono segnalati tramite tre metodi su
ISchedulingCallback:
onWorkRequested: il workload viene ricevuto dal servizio o dal driver del fornitore.onWorkStarted: inizia l'esecuzione dell'hardware, contrassegnata con unStartReason:StartReason.INITIAL: esecuzione iniziale per una nuova richiesta di app.StartReason.RESUMED: l'esecuzione è ripresa dopo essere stata messa in pausa (PAUSED).
onWorkEnded: l'esecuzione dell'hardware si interrompe dopo che è trascorsoDEBOUNCE_DURATION_MSsenza lavoro di follow-up correlato, contrassegnato con unEndReason:EndReason.COMPLETED: l'esecuzione è stata completata normalmente.EndReason.CANCELLED_USER: esecuzione annullata dall'app di chiamate.EndReason.CANCELLED_SYSTEM: l'esecuzione è stata prerilasciata e annullata da un lavoro con priorità più alta.EndReason.PAUSED: l'esecuzione è stata temporaneamente messa in pausa per eseguire un lavoro con priorità più alta e può essere ripresa conStartReason.RESUMED.EndReason.FAILED: l'esecuzione non è riuscita a causa di un errore del driver o dell'hardware.
Convalida
Convalida le implementazioni della pianificazione della NPU con le seguenti suite di test:
- Suite di test del fornitore (VTS): esegui
VtsHalNpuSchedulingTargetTest(pacchettizzato inVtsHalNpuTargetTest) per verificare gli aggiornamenti della configurazione diIScheduling, l'ordine di priorità effettivo, le regole di attribuzione degli UID e il debouncing diISchedulingCallback. - Compatibility Test Suite (CTS): esegui
CtsNpuManagerMoblyTestCasesper verificare la definizione delle priorità dei workload della NPU in primo piano rispetto a quelli in background end-to-end. Per istruzioni sulla configurazione dei test, consulta Esegui i test Mobly di NPU Manager.