NPU Manager

Android 17 y versiones posteriores admiten el administrador de unidades de procesamiento neuronal (NPU) (com.android.npumanager), un componente del sistema en el Proyecto de código abierto de Android (AOSP) que coordina la asignación y la programación de los recursos de la NPU en los servicios del sistema y las cargas de trabajo de las apps. Cuando se traslada el arbitraje de recursos de los daemons personalizados de los proveedores a la plataforma de Android, el administrador de NPU aumenta la previsibilidad, evita la falta de recursos, administra los límites térmicos y mejora el rendimiento general del dispositivo.

Contexto y motivación

Antes del administrador de NPU, las apps y los servicios del sistema enviaban cargas de trabajo de aprendizaje automático (AA) directamente a los controladores de proveedores o a los entornos de ejecución de propiedad exclusiva. Ese modelo de acceso directo generó varios problemas sistémicos:

  • Competencia ineficiente por los recursos: Las cargas de trabajo de ML pesadas, como los motores de inferencia de modelos de lenguaje grandes (LLM) y las canalizaciones de visión integrado en el dispositivo, competían directamente con otros sistemas de alta prioridad por los recursos de NPU limitados, como la RAM estática (SRAM), la memoria de ponderación de modelos y los canales de ejecución.
  • Inestabilidad del sistema: Las cargas de trabajo no coordinadas podrían activar la limitación térmica, los errores de página de memoria o la finalización de apps en segundo plano por parte del daemon de eliminación de memoria insuficiente (lmkd) cuando las demandas superaban la capacidad del hardware.
  • Priorización estática: El servidor del sistema no pudo ajustar la prioridad de la NPU en respuesta a los cambios de contexto, como cuando una tarea en segundo plano cargó un modelo grande mientras una canalización de cámara o un asistente sensibles a la latencia estaban activos en primer plano.

El administrador de NPU aborda estos desafíos actuando como un árbitro a nivel del sistema que controla la carga de modelos y ajusta de forma dinámica las prioridades de ejecución según el estado actual del dispositivo y de la app.

Arquitectura del sistema

El administrador de NPU se ejecuta como un servicio del sistema llamado npu dentro de system_server, empaquetado en el APEX del sistema com.android.npumanager. El servicio separa la política de la plataforma y el seguimiento del ciclo de vida de la app de las implementaciones de controladores de sistema en chip (SoC) de bajo nivel.

En el siguiente diagrama, se ilustran las capas del entorno de NPU Manager:

Capas de entorno del administrador de NPU

Figura 1: Capas del entorno de NPU Manager.

Componentes clave

  • Cliente de la API de Framework (android.npumanager.NpuManager): Los clientes usan este punto de entrada para solicitar reservas de carga de modelos.
  • Servicio del sistema (npu): Este servicio controla las aprobaciones de carga de modelos y emite solicitudes de descarga según las reglas de prioridad de programación.
  • HAL de programación de NPU (android.hardware.npu): Esta capa de abstracción de hardware (HAL) del lenguaje de definición de la interfaz de Android (AIDL) retransmite las prioridades de las apps para Android y las devoluciones de llamada de programación entre el framework y el controlador.
  • Controlador del proveedor: El controlador administra los bloques de ejecución de hardware y, además, implementa la priorización de bajo nivel.

Para obtener detalles sobre la API del framework y la HAL, consulta Programación de cargas de trabajo.

Preparación y diagnóstico del dispositivo

Los dispositivos que integran una NPU y admiten el Administrador de NPU declaran la función de hardware android.hardware.npu (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT). Las apps pueden declarar el uso opcional o obligatorio de la NPU en AndroidManifest.xml, como se muestra en el siguiente ejemplo:

<uses-feature android:name="android.hardware.npu" android:required="false" />

Inspecciona el estado del servicio

Durante la puesta en marcha y la validación, puedes inspeccionar la política de carga de modelos activa, las solicitudes de carga de modelos y las prioridades de identificador de usuario (UID) por app desde adb shell con el siguiente comando:

adb shell dumpsys npu

Para obtener información sobre la configuración de las pruebas de compatibilidad en Android 17 y versiones posteriores, consulta Ejecuta pruebas de Mobly del administrador de NPU y Programación de cargas de trabajo.