В Android 17 и более поздних версиях менеджер нейропроцессора (NPU) координирует управление доступом к моделям и приоритет рабочих нагрузок в приложениях и системных сервисах. Чтобы фоновые задачи не мешали работе приоритетных процессов, системный сервис npu отслеживает жизненный цикл приложений из ActivityManager и передает правила планирования драйверу NPU через аппаратно-зависимый уровень (HAL) языка описания интерфейсов Android (AIDL) android.hardware.npu.
Framework API для арбитража загрузки моделей
Прежде чем вызывать низкоуровневые библиотеки нейронных сетей или загружать большие файлы моделей, клиенты фреймворка взаимодействуют с android.npumanager.NpuManager, чтобы зарезервировать емкость модели. NpuManager – это системный API (@SystemApi), а не общедоступный API SDK приложения. Вызывающие объекты должны иметь разрешение android.permission.ACCESS_NPU_MODEL_MANAGER_API. Сначала клиенты создают запрос на загрузку модели, а затем запускают асинхронный запрос и процесс одобрения.
Как создать запрос на загрузку модели
Резервирование загрузки модели представлено в виде ModelLoadRequest. Этот объект содержит следующие параметры:
- Уникальный идентификатор запроса
- Класс размера модели:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBилиNPU_MODEL_SIZE_GREATER_THAN_2G. - Приоритет рабочей нагрузки, например
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALилиNPU_MODEL_PRIORITY_OPPORTUNISTIC.
В следующем примере на Java создается объект ModelLoadRequest для модели размером более 2 ГБ с обычным приоритетом выполнения:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Выполните запрос и процесс одобрения
Клиенты отправляют запрос на бронирование асинхронно с помощью метода requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Когда оценивается емкость NPU или меняется нагрузка на систему, фреймворк уведомляет клиента через ModelLoadRequestCallback о следующих событиях:
onCanLoadModel(request, status, listener): срабатывает, когда запрос одобрен. Клиент получает токенNpuManager.ModelLoadStatusListener. После загрузки модели в память NPU клиент должен вызватьlistener.notifyModelLoaded(request).onRequestUnloadModel(request)илиonRequestUnloadModel(request, reason). Срабатывает, когда в системе возникает конфликт ресурсов, например из-за входящей рабочей нагрузки на переднем плане или скачка температуры, и клиенту требуется освободить модель. После освобождения ресурсов NPU клиент должен вызватьlistener.notifyModelUnloaded(request).onModelLoadRequestComplete(request, status)– уведомляет клиента о переходах жизненного цикла терминального запроса, например об отмене.
Клиенты могут в любое время отменить ожидающие запросы, позвонив по номеру cancelModelLoad(request).
Интеграция HAL планирования
Реализации поставщиков для конкретных устройств интегрируются с планировщиком платформы путем реализации интерфейса сервиса IScheduling.aidl в пакете android.hardware.npu.
Настройте приоритеты UID и контроль доступа
Системный сервис npu передает значения приоритета и правила доступа для каждого UID в HAL поставщика, используя setSchedulingConfigs и updateSchedulingConfigs с сериализуемым объектом SchedulingConfig.aidl.
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Каждое поле в SchedulingConfig определяет, как драйвер NPU поставщика распределяет работу, отправленную идентификатором пользователя (UID):
| Поле или константа | Описание |
|---|---|
MIN_PRIORITY и MAX_PRIORITY |
Допустимые границы приоритета (0–1000), где MIN_PRIORITY (0) – наивысший приоритет планирования, а MAX_PRIORITY (1000) – самый низкий.
|
uid |
UID Linux клиентского приложения или системного сервиса. |
priority |
Оценка важности платформы в диапазоне от 0 до 1000, где 0 – наивысший приоритет. Определяется на основе состояния процесса ActivityManager, поэтому активные приложения имеют более высокий приоритет, чем кешированные или фоновые процессы.
|
hasDirectAccess |
Разрешено ли uid открывать сеансы прямого выполнения NPU. Если false, прямое создание или выполнение сеанса завершается ошибкой EX_SECURITY.
|
canAttributeOtherUid |
Разрешено ли привилегированному поставщику посреднических услуг, например AICore, соотносить работу NPU и энергопотребление с вызывающим клиентом originalUid.
|
Планировщики NPU от поставщиков должны вычислять эффективный приоритет в диапазоне от 0 до 2000 (где 0 – наивысший приоритет), добавляя SchedulingConfig.priority (от 0 до 1000) к приоритету задачи, запрошенному клиентом и нормализованному до диапазона от 0 до 1000, и планировать очереди выполнения на аппаратном уровне в соответствии с этим эффективным приоритетом. Например, если фоновое приложение отправляет задание с высоким приоритетом, то более высокий балл priority снижает его эффективный приоритет (увеличивая числовое значение), чтобы не задерживать работу камеры или интерфейса на переднем плане.
Отчет о статусе и атрибуции задач
Драйверы поставщика сообщают платформе о жизненном цикле групп выполнения NPU с помощью WorkInfo.aidl:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Когда посреднический сервис с включенным canAttributeOtherUid выполняет модель от имени клиентского приложения, originalUid содержит UID исходного приложения, а uid идентифицирует отправляющий сервис. Это позволяет телеметрии платформы и учету энергопотребления выставлять счета за работу запрашивающему приложению, а не промежуточному демону.
Как настроить дедупликацию событий
Когда прослушиватель ISchedulingCallback регистрируется с помощью IScheduling.setCallback, HAL устраняет дребезг уведомлений о связанных задачах в течение как минимум ISchedulingCallback.DEBOUNCE_DURATION_MS (50 мс). Рабочие элементы считаются связанными, если у них совпадают значения uid, originalUid и debugFeatureId или groupId. Устранение дребезга контактов подавляет быстрые штормы обратных вызовов во время потоковой передачи или многоэтапных запусков инференса, уменьшая накладные расходы binder и переполнение журналов.
Состояния жизненного цикла обратного вызова передаются через три метода в ISchedulingCallback:
onWorkRequested– рабочая нагрузка получена сервисом или драйвером поставщика.onWorkStarted: начинается выполнение на аппаратном уровне, помеченное тегомStartReason:StartReason.INITIAL: первоначальное выполнение для нового запроса приложения.StartReason.RESUMED: выполнение возобновлено после приостановки (PAUSED).
onWorkEnded: выполнение аппаратных операций прекращается, если в течениеDEBOUNCE_DURATION_MSне было связанных с ними последующих действий, помеченных какEndReason:EndReason.COMPLETED: выполнение завершено в обычном режиме.EndReason.CANCELLED_USER: выполнение отменено вызывающим приложением.EndReason.CANCELLED_SYSTEM: выполнение прервано и отменено из-за более приоритетной задачи.EndReason.PAUSED– выполнение временно приостановлено для выполнения более приоритетной задачи и может быть возобновлено с помощьюStartReason.RESUMED.EndReason.FAILED: не удалось выполнить из-за ошибки драйвера или оборудования.
Проверка
Проверьте реализации планирования NPU с помощью следующих наборов тестов:
- Vendor Test Suite (VTS). Запустите
VtsHalNpuSchedulingTargetTest(входит в пакетVtsHalNpuTargetTest), чтобы проверить обновления конфигурацииIScheduling, эффективный порядок приоритетов, правила атрибуции UID и устранение дребезга контактовISchedulingCallback. - Compatibility Test Suite (CTS). Запустите
CtsNpuManagerMoblyTestCases, чтобы проверить сквозную приоритизацию рабочих нагрузок NPU в активном и фоновом режимах. Инструкции по настройке тестирования приведены в разделе Запуск тестов Mobly для NPU Manager.