Планирование рабочих нагрузок

В Android 17 и более поздних версиях менеджер нейропроцессора (NPU) координирует управление доступом к моделям и приоритет рабочих нагрузок в приложениях и системных сервисах. Чтобы фоновые задачи не мешали работе приоритетных процессов, системный сервис npu отслеживает жизненный цикл приложений из ActivityManager и передает правила планирования драйверу NPU через аппаратно-зависимый уровень (HAL) языка описания интерфейсов Android (AIDL) android.hardware.npu.

Framework API для арбитража загрузки моделей

Прежде чем вызывать низкоуровневые библиотеки нейронных сетей или загружать большие файлы моделей, клиенты фреймворка взаимодействуют с android.npumanager.NpuManager, чтобы зарезервировать емкость модели. NpuManager – это системный API (@SystemApi), а не общедоступный API SDK приложения. Вызывающие объекты должны иметь разрешение android.permission.ACCESS_NPU_MODEL_MANAGER_API. Сначала клиенты создают запрос на загрузку модели, а затем запускают асинхронный запрос и процесс одобрения.

Как создать запрос на загрузку модели

Резервирование загрузки модели представлено в виде ModelLoadRequest. Этот объект содержит следующие параметры:

  • Уникальный идентификатор запроса
  • Класс размера модели: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB или NPU_MODEL_SIZE_GREATER_THAN_2G.
  • Приоритет рабочей нагрузки, например NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL или NPU_MODEL_PRIORITY_OPPORTUNISTIC.

В следующем примере на Java создается объект ModelLoadRequest для модели размером более 2 ГБ с обычным приоритетом выполнения:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

Выполните запрос и процесс одобрения

Клиенты отправляют запрос на бронирование асинхронно с помощью метода requestCanLoadModel:

npuManager.requestCanLoadModel(request, callback, executor);

Когда оценивается емкость NPU или меняется нагрузка на систему, фреймворк уведомляет клиента через ModelLoadRequestCallback о следующих событиях:

  • onCanLoadModel(request, status, listener): срабатывает, когда запрос одобрен. Клиент получает токен NpuManager.ModelLoadStatusListener. После загрузки модели в память NPU клиент должен вызвать listener.notifyModelLoaded(request).
  • onRequestUnloadModel(request) или onRequestUnloadModel(request, reason). Срабатывает, когда в системе возникает конфликт ресурсов, например из-за входящей рабочей нагрузки на переднем плане или скачка температуры, и клиенту требуется освободить модель. После освобождения ресурсов NPU клиент должен вызвать listener.notifyModelUnloaded(request).
  • onModelLoadRequestComplete(request, status) – уведомляет клиента о переходах жизненного цикла терминального запроса, например об отмене.

Клиенты могут в любое время отменить ожидающие запросы, позвонив по номеру cancelModelLoad(request).

Интеграция HAL планирования

Реализации поставщиков для конкретных устройств интегрируются с планировщиком платформы путем реализации интерфейса сервиса IScheduling.aidl в пакете android.hardware.npu.

Настройте приоритеты UID и контроль доступа

Системный сервис npu передает значения приоритета и правила доступа для каждого UID в HAL поставщика, используя setSchedulingConfigs и updateSchedulingConfigs с сериализуемым объектом SchedulingConfig.aidl.

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

Каждое поле в SchedulingConfig определяет, как драйвер NPU поставщика распределяет работу, отправленную идентификатором пользователя (UID):

Поле или константа Описание
MIN_PRIORITY и MAX_PRIORITY Допустимые границы приоритета (0–1000), где MIN_PRIORITY (0) – наивысший приоритет планирования, а MAX_PRIORITY (1000) – самый низкий.
uid UID Linux клиентского приложения или системного сервиса.
priority Оценка важности платформы в диапазоне от 0 до 1000, где 0 – наивысший приоритет. Определяется на основе состояния процесса ActivityManager, поэтому активные приложения имеют более высокий приоритет, чем кешированные или фоновые процессы.
hasDirectAccess Разрешено ли uid открывать сеансы прямого выполнения NPU. Если false, прямое создание или выполнение сеанса завершается ошибкой EX_SECURITY.
canAttributeOtherUid Разрешено ли привилегированному поставщику посреднических услуг, например AICore, соотносить работу NPU и энергопотребление с вызывающим клиентом originalUid.

Планировщики NPU от поставщиков должны вычислять эффективный приоритет в диапазоне от 0 до 2000 (где 0 – наивысший приоритет), добавляя SchedulingConfig.priority (от 0 до 1000) к приоритету задачи, запрошенному клиентом и нормализованному до диапазона от 0 до 1000, и планировать очереди выполнения на аппаратном уровне в соответствии с этим эффективным приоритетом. Например, если фоновое приложение отправляет задание с высоким приоритетом, то более высокий балл priority снижает его эффективный приоритет (увеличивая числовое значение), чтобы не задерживать работу камеры или интерфейса на переднем плане.

Отчет о статусе и атрибуции задач

Драйверы поставщика сообщают платформе о жизненном цикле групп выполнения NPU с помощью WorkInfo.aidl:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

Когда посреднический сервис с включенным canAttributeOtherUid выполняет модель от имени клиентского приложения, originalUid содержит UID исходного приложения, а uid идентифицирует отправляющий сервис. Это позволяет телеметрии платформы и учету энергопотребления выставлять счета за работу запрашивающему приложению, а не промежуточному демону.

Как настроить дедупликацию событий

Когда прослушиватель ISchedulingCallback регистрируется с помощью IScheduling.setCallback, HAL устраняет дребезг уведомлений о связанных задачах в течение как минимум ISchedulingCallback.DEBOUNCE_DURATION_MS (50 мс). Рабочие элементы считаются связанными, если у них совпадают значения uid, originalUid и debugFeatureId или groupId. Устранение дребезга контактов подавляет быстрые штормы обратных вызовов во время потоковой передачи или многоэтапных запусков инференса, уменьшая накладные расходы binder и переполнение журналов.

Состояния жизненного цикла обратного вызова передаются через три метода в ISchedulingCallback:

  • onWorkRequested – рабочая нагрузка получена сервисом или драйвером поставщика.
  • onWorkStarted: начинается выполнение на аппаратном уровне, помеченное тегом StartReason:
    • StartReason.INITIAL: первоначальное выполнение для нового запроса приложения.
    • StartReason.RESUMED: выполнение возобновлено после приостановки (PAUSED).
  • onWorkEnded: выполнение аппаратных операций прекращается, если в течение DEBOUNCE_DURATION_MS не было связанных с ними последующих действий, помеченных как EndReason:
    • EndReason.COMPLETED: выполнение завершено в обычном режиме.
    • EndReason.CANCELLED_USER: выполнение отменено вызывающим приложением.
    • EndReason.CANCELLED_SYSTEM: выполнение прервано и отменено из-за более приоритетной задачи.
    • EndReason.PAUSED – выполнение временно приостановлено для выполнения более приоритетной задачи и может быть возобновлено с помощью StartReason.RESUMED.
    • EndReason.FAILED: не удалось выполнить из-за ошибки драйвера или оборудования.

Проверка

Проверьте реализации планирования NPU с помощью следующих наборов тестов:

  • Vendor Test Suite (VTS). Запустите VtsHalNpuSchedulingTargetTest (входит в пакет VtsHalNpuTargetTest), чтобы проверить обновления конфигурации IScheduling, эффективный порядок приоритетов, правила атрибуции UID и устранение дребезга контактов ISchedulingCallback.
  • Compatibility Test Suite (CTS). Запустите CtsNpuManagerMoblyTestCases, чтобы проверить сквозную приоритизацию рабочих нагрузок NPU в активном и фоновом режимах. Инструкции по настройке тестирования приведены в разделе Запуск тестов Mobly для NPU Manager.