工作负载调度

在 Android 17 及更高版本中,神经处理单元 (NPU) 管理器负责协调应用和系统服务之间的模型准入控制和工作负载优先级。npu 系统服务不会让后台作业占用对延迟敏感的前台任务的资源,而是会跟踪 ActivityManager 中的应用生命周期状态,并通过 android.hardware.npu Android 接口定义语言 (AIDL) 硬件抽象层 (HAL) 将有效的调度规则传递给供应商 NPU 驱动程序。

用于模型加载仲裁的框架 API

在调用低级神经网络库或加载大型模型文件之前,框架客户端会与 android.npumanager.NpuManager 交互以预留模型容量。NpuManager 是系统 API (@SystemApi),而不是公开应用 SDK API,并且调用方必须拥有 android.permission.ACCESS_NPU_MODEL_MANAGER_API 权限。客户端首先构建模型加载请求,然后运行异步请求和审批流程。

构建模型加载请求

模型加载预留由 ModelLoadRequest 表示。此对象包含以下参数:

  • 唯一请求标识符
  • 预估模型大小类别:NPU_MODEL_SIZE_LESS_THAN_1GB、NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB 或 NPU_MODEL_SIZE_GREATER_THAN_2G
  • 预期工作负载优先级,例如 NPU_MODEL_PRIORITY_BACKGROUND、NPU_MODEL_PRIORITY_NORMAL 或 NPU_MODEL_PRIORITY_OPPORTUNISTIC

以下 Java 示例为大于 2 GB 的模型构建了一个 ModelLoadRequest,其执行优先级为正常:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

执行请求和审批流程

客户端使用 requestCanLoadModel 方法异步提交预留:

npuManager.requestCanLoadModel(request, callback, executor);

当 NPU 容量被评估或系统压力发生变化时,框架会通过 ModelLoadRequestCallback 向客户端发送以下事件通知:

  • onCanLoadModel(request, status, listener):在请求获得批准时触发。客户端收到 NpuManager.ModelLoadStatusListener 令牌。 将模型加载到 NPU 内存后,客户端必须调用 listener.notifyModelLoaded(request)。
  • onRequestUnloadModel(request) 或 onRequestUnloadModel(request, reason):当系统遇到资源争用(例如传入的前台工作负载或温度飙升)并要求客户端释放其模型时触发。释放 NPU 资源后,客户端必须调用 listener.notifyModelUnloaded(request)。
  • onModelLoadRequestComplete(request, status):向客户端通知终端请求生命周期转换,例如取消。

客户端可以随时通过调用 cancelModelLoad(request) 取消待处理的请求。

调度 HAL 集成

设备专用供应商实现通过在 android.hardware.npu 软件包中实现 IScheduling.aidl 服务接口,与平台调度程序集成。

配置 UID 优先级和访问权限控制

npu 系统服务使用 setSchedulingConfigs 和 updateSchedulingConfigs 以及 SchedulingConfig.aidl Parcelable 将每个 UID 的优先级值和访问规则推送到供应商 HAL:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

SchedulingConfig 中的每个字段都控制着供应商 NPU 驱动程序如何仲裁由用户标识符 (UID) 提交的工作:

字段或常量 说明
MIN_PRIORITY和MAX_PRIORITY 有效的优先级边界(0 到 1000),其中 MIN_PRIORITY (0) 表示最高调度优先级,MAX_PRIORITY (1000) 表示最低调度优先级。
uid 客户端应用或系统服务的 Linux UID。
priority 平台重要性得分,范围为 0 到 1000,其中 0 表示最高优先级。 派生自 ActivityManager 进程状态,因此前台应用优先于缓存或后台进程。
hasDirectAccess 是否允许 uid 打开直接 NPU 执行会话。如果为 false,则直接会话创建或执行会失败,并显示 EX_SECURITY。
canAttributeOtherUid 特权中介服务(例如 AICore)是否有权将 NPU 工作和电量用量归因于调用客户端 originalUid。

供应商 NPU 调度器必须通过将 SchedulingConfig.priority(0 到 1000)添加到归一化为 0 到 1000 的客户端请求作业优先级,来计算 0 到 2000 范围内的有效优先级(其中 0 为最高优先级),并根据该有效优先级调度硬件执行队列。例如,如果后台应用提交了高优先级作业,其较高的 priority 分数会降低其有效优先级(产生较高的数值),因此不会延迟前台相机或界面工作负载。

报告任务状态和归因

供应商驱动程序使用 WorkInfo.aidl 将 NPU 执行组的生命周期报告回平台:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

当启用了 canAttributeOtherUid 的中介服务代表客户端应用执行模型时,originalUid 会携带发起应用的 UID,而 uid 会标识提交服务。通过这种分离,平台遥测和耗电量统计可以将工作计入请求应用,而不是中间守护程序。

配置事件去抖

向 IScheduling.setCallback 注册 ISchedulingCallback 监听器后,HAL 会在至少 ISchedulingCallback.DEBOUNCE_DURATION_MS(50 毫秒)的时间内对相关工作通知进行去抖动处理。如果工作项具有相同的 uid、originalUid 和 debugFeatureId,或具有相同的 groupId,则会被视为相关工作项。防抖功能可抑制流式传输或多步推理运行期间的快速回调风暴,从而减少 Binder 开销和日志泛滥。

回调生命周期状态通过 ISchedulingCallback 上的三种方法进行报告:

  • onWorkRequested:供应商服务或驱动程序收到工作负载。
  • onWorkStarted:硬件执行开始,并带有 StartReason 标记:
    • StartReason.INITIAL:针对新应用请求的初始执行运行。
    • StartReason.RESUMED:执行在暂停后恢复 (PAUSED)。
  • onWorkEnded:在 DEBOUNCE_DURATION_MS 过去后,如果没有相关的后续工作,硬件执行会停止,并标记为 EndReason:
    • EndReason.COMPLETED:执行正常完成。
    • EndReason.CANCELLED_USER:执行被发起调用的应用取消。
    • EndReason.CANCELLED_SYSTEM:执行被更高优先级的工作抢占并取消。
    • EndReason.PAUSED:执行暂时暂停,以运行优先级较高的工作,并有资格使用 StartReason.RESUMED 恢复。
    • EndReason.FAILED:由于驱动程序或硬件错误,执行失败。

验证

使用以下测试套件验证 NPU 调度实现:

  • 供应商测试套件 (VTS):运行 VtsHalNpuSchedulingTargetTest(打包在 VtsHalNpuTargetTest 中)以验证 IScheduling 配置更新、有效优先级排序、UID 归因规则和 ISchedulingCallback 去抖动。
  • 兼容性测试套件 (CTS):运行 CtsNpuManagerMoblyTestCases,以验证端到端前台与后台 NPU 工作负载优先级。如需了解测试设置说明,请参阅运行 NPU Manager Mobly 测试。