NPU Manager

Android 17 及更高版本支持神经处理单元 (NPU) 管理器 (com.android.npumanager),这是 Android 开源项目 (AOSP) 中的一个系统组件,用于协调系统服务和应用工作负载之间的 NPU 资源分配和调度。通过将资源仲裁从自定义供应商守护程序移至 Android 平台,NPU 管理器可提高可预测性、防止资源匮乏、管理热边界并提升整体设备性能。

背景和动机

在 NPU 管理器推出之前,应用和系统服务会直接向供应商驱动程序或专有运行时提交机器学习 (ML) 工作负载。这种直接访问模式带来了一些系统性问题:

  • 资源竞争效率低下:繁重的机器学习工作负载(例如大语言模型 [LLM] 推理引擎和设备端视觉流水线)会直接与其他高优先级系统竞争有限的 NPU 资源,例如静态 RAM (SRAM)、模型权重内存和执行通道。
  • 系统不稳定:当需求超出硬件容量时,未协调的工作负载可能会触发热节流、内存页面错误或低内存终止守护程序 (lmkd) 终止后台应用。
  • 静态优先级:系统服务器无法根据上下文变化调整 NPU 优先级,例如,当后台任务加载大型模型,而对延迟敏感的相机流水线或助理在前台处于活跃状态时。

NPU 管理器可充当系统级仲裁器,根据当前设备健康状况和应用状态控制模型加载并动态调整执行优先级,从而解决这些挑战。

系统架构

NPU 管理器作为名为 npu 的系统服务在 system_server 内运行,并打包在 com.android.npumanager 系统 APEX 中。该服务将平台政策和应用生命周期跟踪与低级系统芯片 (SoC) 驱动程序实现分离开来。

下图展示了 NPU Manager 环境层:

NPU Manager 环境层

图 1. NPU Manager 环境层。

关键组件

  • 框架 API 客户端 (android.npumanager.NpuManager):客户端使用此入口点请求模型加载预留。
  • 系统服务 (npu):此服务会根据调度优先级规则控制模型加载审批并发出卸载请求。
  • NPU 调度 HAL (android.hardware.npu):此 Android 接口定义语言 (AIDL) 硬件抽象层 (HAL) 可在框架和驱动程序之间传递 Android 应用优先级和调度回调。
  • 供应商驱动程序:驱动程序控制硬件执行块并实现低级优先级。

如需了解框架 API 和 HAL 的详细信息,请参阅工作负载调度。

设备就绪情况和诊断

集成 NPU 并支持 NPU Manager 的设备会声明 android.hardware.npu 硬件功能 (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT)。应用可以在 AndroidManifest.xml 中声明可选或必需的 NPU 用途,如以下示例所示:

<uses-feature android:name="android.hardware.npu" android:required="false" />

检查服务状态

在启动和验证期间,您可以使用以下命令从 adb shell 检查活跃模型加载政策、模型加载请求和每个应用的用户标识符 (UID) 优先级:

adb shell dumpsys npu

如需了解 Android 17 及更高版本上的兼容性测试配置,请参阅运行 NPU Manager Mobly 测试和工作负载调度。