Pianificazione dei workload

In Android 17 e versioni successive, il gestore della Neural Processing Unit (NPU) coordina il controllo di ammissione dei modelli e la priorità dei workload tra app e servizi di sistema. Anziché consentire ai job in background di sottrarre risorse alle attività in primo piano sensibili alla latenza, il servizio di sistema npu monitora gli stati del ciclo di vita delle app da ActivityManager e trasmette regole di pianificazione efficaci al driver della NPU del fornitore tramite l'Hardware Abstraction Layer (HAL) di Android Interface Definition Language (AIDL) android.hardware.npu.

API del framework per l'arbitrato del caricamento del modello

Prima di chiamare le librerie di reti neurali di basso livello o di caricare file di modelli di grandi dimensioni, i client del framework interagiscono con android.npumanager.NpuManager per prenotare la capacità del modello. NpuManager è un'API di sistema (@SystemApi), non un'API SDK per app pubblica, e i chiamanti devono disporre dell'autorizzazione android.permission.ACCESS_NPU_MODEL_MANAGER_API. I client creano prima una richiesta di caricamento del modello, poi eseguono il flusso di richiesta e approvazione asincrono.

Crea una richiesta di caricamento del modello

Una prenotazione di caricamento del modello è rappresentata da ModelLoadRequest. Questo oggetto contiene i seguenti parametri:

  • Identificatore univoco della richiesta
  • Classe di dimensioni del modello stimata: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB o NPU_MODEL_SIZE_GREATER_THAN_2G
  • Priorità del workload prevista, ad esempio NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL o NPU_MODEL_PRIORITY_OPPORTUNISTIC

L'esempio Java seguente crea un ModelLoadRequest per un modello di dimensioni superiori a 2 GB con priorità di esecuzione normale:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

Esegui il flusso di richiesta e approvazione

I client inviano la prenotazione in modo asincrono utilizzando il metodo requestCanLoadModel:

npuManager.requestCanLoadModel(request, callback, executor);

Quando viene valutata la capacità della NPU o cambia la pressione del sistema, il framework informa il client tramite ModelLoadRequestCallback con i seguenti eventi:

  • onCanLoadModel(request, status, listener): attivato quando la richiesta viene approvata. Il client riceve un token NpuManager.ModelLoadStatusListener. Dopo aver caricato il modello nella memoria della NPU, il client deve chiamare listener.notifyModelLoaded(request).
  • onRequestUnloadModel(request) o onRequestUnloadModel(request, reason): attivato quando il sistema riscontra una contesa delle risorse, ad esempio un workload in primo piano in entrata o un picco termico, e richiede al client di rilasciare il modello. Dopo aver rilasciato le risorse NPU, il client deve chiamare listener.notifyModelUnloaded(request).
  • onModelLoadRequestComplete(request, status): notifica al client le transizioni del ciclo di vita delle richieste del terminale, ad esempio l'annullamento.

I client possono annullare le richieste in attesa in qualsiasi momento chiamando cancelModelLoad(request).

Integrazione dell'HAL di pianificazione

Le implementazioni dei fornitori specifiche per i dispositivi si integrano con lo scheduler della piattaforma implementando l'interfaccia di servizio IScheduling.aidl nel pacchetto android.hardware.npu.

Configura le priorità degli UID e il controllo degli accessi

Il servizio di sistema npu invia i valori di priorità e le regole di accesso per UID all'HAL del fornitore utilizzando setSchedulingConfigs e updateSchedulingConfigs con l'oggetto parcelable SchedulingConfig.aidl:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

Ogni campo in SchedulingConfig controlla il modo in cui il driver della NPU del fornitore arbitra il lavoro inviato da un identificatore dell'utente (UID):

Campo o costante Descrizione
MIN_PRIORITY e MAX_PRIORITY Limiti di priorità validi (da 0 a 1000), dove MIN_PRIORITY (0) rappresenta la priorità di pianificazione più alta e MAX_PRIORITY (1000) rappresenta la priorità di pianificazione più bassa.
uid UID Linux dell'app client o del servizio di sistema.
priority Punteggio di importanza della piattaforma compreso tra 0 e 1000, dove 0 indica la priorità più alta. Derivato dallo stato del processo ActivityManager, in modo che le app in primo piano abbiano la precedenza sui processi memorizzati nella cache o in background.
hasDirectAccess Indica se uid è autorizzato ad aprire sessioni di esecuzione diretta della NPU. Se false, la creazione o l'esecuzione della sessione diretta non va a buon fine con EX_SECURITY.
canAttributeOtherUid Se un servizio intermediario con privilegi, come AICore, è autorizzato ad attribuire l'utilizzo della NPU e dell'alimentazione a un client chiamante originalUid.

Gli scheduler NPU del fornitore devono calcolare una priorità effettiva nell'intervallo da 0 a 2000 (dove 0 è la priorità più alta) aggiungendo SchedulingConfig.priority (da 0 a 1000) alla priorità del job richiesta dal client normalizzata da 0 a 1000 e pianificare le code di esecuzione dell'hardware in base a questa priorità effettiva. Ad esempio, se un'app in background invia un job ad alta priorità, il suo punteggio priority più alto riduce la priorità effettiva (producendo un valore numerico più alto) in modo da non ritardare i workload della fotocamera o della UI in primo piano.

Stato e attribuzione delle attività dei report

I driver del fornitore segnalano il ciclo di vita dei gruppi di esecuzione della NPU alla piattaforma utilizzando WorkInfo.aidl:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

Quando un servizio intermediario con canAttributeOtherUid abilitato esegue un modello per conto di un'app client, originalUid contiene l'UID dell'app di origine, mentre uid identifica il servizio di invio. Questa separazione consente alla telemetria della piattaforma e alla contabilità dell'alimentazione di addebitare il lavoro all'app richiedente anziché al daemon intermediario.

Configura il debouncing degli eventi

Quando un listener ISchedulingCallback viene registrato con IScheduling.setCallback, l'HAL elimina i rimbalzi delle notifiche di lavoro correlate per almeno ISchedulingCallback.DEBOUNCE_DURATION_MS (50 ms). Gli elementi di lavoro sono considerati correlati quando condividono gli stessi uid, originalUid e debugFeatureId o lo stesso groupId. Il debouncing elimina le rapide ondate di callback durante l'esecuzione di inferenze in streaming o in più passaggi, riducendo l'overhead di Binder e l'eccesso di log.

Gli stati del ciclo di vita del callback vengono segnalati tramite tre metodi su ISchedulingCallback:

  • onWorkRequested: il workload viene ricevuto dal servizio o dal driver del fornitore.
  • onWorkStarted: inizia l'esecuzione dell'hardware, contrassegnata con un StartReason:
    • StartReason.INITIAL: esecuzione iniziale per una nuova richiesta di app.
    • StartReason.RESUMED: l'esecuzione è ripresa dopo essere stata messa in pausa (PAUSED).
  • onWorkEnded: l'esecuzione dell'hardware si interrompe dopo che è trascorso DEBOUNCE_DURATION_MS senza lavoro di follow-up correlato, contrassegnato con un EndReason:
    • EndReason.COMPLETED: l'esecuzione è stata completata normalmente.
    • EndReason.CANCELLED_USER: esecuzione annullata dall'app di chiamate.
    • EndReason.CANCELLED_SYSTEM: l'esecuzione è stata prerilasciata e annullata da un lavoro con priorità più alta.
    • EndReason.PAUSED: l'esecuzione è stata temporaneamente messa in pausa per eseguire un lavoro con priorità più alta e può essere ripresa con StartReason.RESUMED.
    • EndReason.FAILED: l'esecuzione non è riuscita a causa di un errore del driver o dell'hardware.

Convalida

Convalida le implementazioni della pianificazione della NPU con le seguenti suite di test:

  • Suite di test del fornitore (VTS): esegui VtsHalNpuSchedulingTargetTest (pacchettizzato in VtsHalNpuTargetTest) per verificare gli aggiornamenti della configurazione di IScheduling, l'ordine di priorità effettivo, le regole di attribuzione degli UID e il debouncing di ISchedulingCallback.
  • Compatibility Test Suite (CTS): esegui CtsNpuManagerMoblyTestCases per verificare la definizione delle priorità dei workload della NPU in primo piano rispetto a quelli in background end-to-end. Per istruzioni sulla configurazione dei test, consulta Esegui i test Mobly di NPU Manager.