NPU Manager

Android 17 及更高版本支持神经处理单元 (NPU) 管理器 (com.android.npumanager),这是 Android 开源项目 (AOSP) 中的一个系统组件,用于协调系统服务和应用工作负载之间的 NPU 硬件资源。通过将资源仲裁从自定义供应商守护程序移至 Android 平台,NPU 管理器可提高可预测性、防止资源匮乏、管理内存和电源边界,并提升整体设备性能。

背景和动机

在 NPU 管理器推出之前,应用和系统服务会直接向供应商驱动程序或专有运行时提交机器学习 (ML) 工作负载。这种直接访问模式带来了一些系统性问题:

  • 资源竞争效率低下:繁重的机器学习工作负载(例如大语言模型 [LLM] 推理引擎和设备端视觉流水线)会直接争夺有限的 NPU 静态 RAM (SRAM)、模型权重内存和硬件执行队列。
  • 系统不稳定:不协调的模型分配会占用数 GB 的物理 DRAM,当需求超出硬件容量时,会触发热节流、页面错误或低内存终止守护进程 (lmkd) 终止后台应用。
  • 缺乏情境感知能力:系统服务器无法在用户情境切换期间调整 NPU 执行优先级或回收空闲模型权重,例如当后台任务持有数 GB 的模型,而对延迟敏感的相机流水线或助理进入前台时。

NPU Manager 可充当中央系统仲裁器,根据实时设备健康状况和应用状态,协调调度优先级、模型缓冲区生命周期、硬件执行会话、模型编译和功耗核算,从而解决这些挑战。

系统架构

NPU 管理器作为名为 npu 的系统服务在 system_server 内运行,并打包在 com.android.npumanager 系统 APEX 中。该服务将平台政策和应用生命周期跟踪与低级系统芯片 (SoC) 驱动程序实现分离开来。

下图展示了 NPU Manager 环境层:

NPU Manager 环境层

图 2. NPU Manager 环境层。

子系统支柱

NPU Manager 文档分为以下功能领域:

子系统 主接口 职责
工作负载调度 android.npumanager.NpuManager、
android.hardware.npu.IScheduling
控制模型加载准入,并将应用重要性和有效作业优先级传递给 NPU 驱动程序。

设备就绪情况和诊断

集成 NPU 并支持 NPU Manager 的设备会声明 android.hardware.npu 硬件功能 (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT)。应用可以在 AndroidManifest.xml 中声明可选或必需的 NPU 用途,如以下示例所示:

<uses-feature android:name="android.hardware.npu" android:required="false" />

检查服务状态

在启动和验证期间,您可以使用以下命令从 adb shell 检查活跃的 NPU 设备、客户端会话、优先级表和已注册的缓冲区:

adb shell dumpsys npu

如需了解 Android 17 及更高版本上的兼容性测试配置,请参阅运行 NPU Manager Mobly 测试和工作负载调度。