在 Android 17 以上版本中,神經處理單元 (NPU) 管理工具會協調應用程式和系統服務的模型許可控制和工作負載優先順序。npu 系統服務會追蹤 ActivityManager 的應用程式生命週期狀態,並透過 android.hardware.npu Android 介面定義語言 (AIDL) 硬體抽象層 (HAL),將有效的排程規則轉送至供應商 NPU 驅動程式,避免背景工作耗盡資源,導致對延遲敏感的前景工作無法執行。
模型載入仲裁的架構 API
呼叫低階類神經網路程式庫或載入大型模型檔案前,架構用戶端會與 android.npumanager.NpuManager 互動,保留模型容量。NpuManager 是系統 API (@SystemApi),而非公開應用程式 SDK API,且呼叫端必須具備 android.permission.ACCESS_NPU_MODEL_MANAGER_API 權限。用戶端會先建立模型載入要求,然後執行非同步要求和核准流程。
建構模型載入要求
模型載入預留項目會以 ModelLoadRequest 表示。這個物件包含下列參數:
- 專屬要求 ID
- 預估模型大小類別:
NPU_MODEL_SIZE_LESS_THAN_1GB、NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB或NPU_MODEL_SIZE_GREATER_THAN_2G - 預期的工作負載優先順序,例如
NPU_MODEL_PRIORITY_BACKGROUND、NPU_MODEL_PRIORITY_NORMAL或NPU_MODEL_PRIORITY_OPPORTUNISTIC
以下 Java 範例會為大於 2 GB 的模型建構 ModelLoadRequest,並設定一般執行優先順序:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
執行要求和核准流程
用戶端會使用 requestCanLoadModel 方法,以非同步方式提交預訂:
npuManager.requestCanLoadModel(request, callback, executor);
評估 NPU 容量或系統壓力變化時,架構會透過 ModelLoadRequestCallback 通知用戶端,並提供下列事件:
onCanLoadModel(request, status, listener):要求獲准時觸發。用戶端會收到NpuManager.ModelLoadStatusListener權杖。將模型載入 NPU 記憶體後,用戶端必須呼叫listener.notifyModelLoaded(request)。onRequestUnloadModel(request)或onRequestUnloadModel(request, reason):系統發生資源爭用 (例如有前景工作負載或溫度飆升),需要用戶端釋出模型時,就會觸發這個事件。釋出 NPU 資源後,用戶端必須呼叫listener.notifyModelUnloaded(request)。onModelLoadRequestComplete(request, status):通知用戶端終端要求生命週期轉換,例如取消。
客戶隨時可以撥打 cancelModelLoad(request) 取消待處理的要求。
排程 HAL 整合
裝置專屬的供應商實作項目會實作 android.hardware.npu 套件中的 IScheduling.aidl 服務介面,與平台排程器整合。
設定 UID 優先順序和存取控管
npu 系統服務會使用 setSchedulingConfigs 和 updateSchedulingConfigs,搭配 SchedulingConfig.aidl parcelable,將每個 UID 的優先順序值和存取規則推送至供應商 HAL:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
SchedulingConfig 中的每個欄位都會控制供應商 NPU 驅動程式如何仲裁使用者 ID (UID) 提交的工作:
| 欄位或常數 | 說明 |
|---|---|
MIN_PRIORITY和MAX_PRIORITY |
有效的優先順序界限 (0 至 1000),其中 MIN_PRIORITY (0) 代表最高排程優先順序,MAX_PRIORITY (1000) 代表最低排程優先順序。 |
uid |
用戶端應用程式或系統服務的 Linux UID。 |
priority |
平台重要性分數介於 0 到 1000 之間,其中 0 代表最高優先順序。衍生自 ActivityManager 程序狀態,因此前景應用程式的優先順序高於快取或背景程序。 |
hasDirectAccess |
uid 是否可開啟直接 NPU 執行工作階段。如果 false,直接建立或執行工作階段會失敗,並顯示 EX_SECURITY。 |
canAttributeOtherUid |
是否授權 AICore 等特殊權限中介服務,將 NPU 工作和用電量歸因於呼叫用戶端 originalUid。 |
供應商 NPU 排程器必須計算有效優先順序,範圍為 0 至 2000 (其中 0 為最高優先順序),方法是將 SchedulingConfig.priority (0 至 1000) 加到用戶端要求的工作優先順序 (正規化為 0 至 1000),並根據該有效優先順序排定硬體執行佇列。舉例來說,如果背景應用程式提交高優先順序工作,其較高的 priority 分數會降低有效優先順序 (產生較高的數值),因此不會延遲前景相機或 UI 工作負載。
回報工作狀態和歸因
供應商驅動程式會使用 WorkInfo.aidl,將 NPU 執行群組的生命週期回報給平台:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
啟用 canAttributeOtherUid 的中介服務代表用戶端應用程式執行模型時,originalUid 會攜帶原始應用程式 UID,而 uid 則會識別提交服務。這樣一來,平台遙測和電源記帳功能就能向提出要求的應用程式 (而非中介 Daemon) 收取工作費用。
設定事件去除彈跳
向 IScheduling.setCallback 註冊 ISchedulingCallback 監聽器時,HAL 會在至少 ISchedulingCallback.DEBOUNCE_DURATION_MS (50 毫秒) 內,對相關工作通知進行去抖動處理。如果工作項目共用相同的 uid、originalUid 和 debugFeatureId,或共用相同的 groupId,則視為相關。去抖動功能可抑制串流或多步驟推論執行期間,快速回呼風暴,減少 Binder 負擔和記錄氾濫。
回呼生命週期狀態會透過 ISchedulingCallback 上的三種方法回報:
onWorkRequested:供應商服務或驅動程式收到工作負載。onWorkStarted:硬體開始執行,並標記StartReason:StartReason.INITIAL:新應用程式要求的初始執行作業。StartReason.RESUMED:執行作業已從暫停狀態恢復 (PAUSED)。
onWorkEnded:如果經過DEBOUNCE_DURATION_MS後沒有相關後續工作,硬體執行作業就會停止,並標記EndReason:EndReason.COMPLETED:執行作業正常完成。EndReason.CANCELLED_USER:呼叫應用程式已取消執行。EndReason.CANCELLED_SYSTEM:執行作業遭到優先順序較高的工作搶占並取消。EndReason.PAUSED:暫時暫停執行,以執行優先順序較高的工作,並可使用StartReason.RESUMED繼續執行。EndReason.FAILED:因驅動程式或硬體錯誤而無法執行。
驗證
使用下列測試套件驗證 NPU 排程實作:
- 供應商測試套件 (VTS):執行
VtsHalNpuSchedulingTargetTest(封裝在VtsHalNpuTargetTest中),驗證IScheduling設定更新、有效優先順序、UID 歸因規則和ISchedulingCallback去除彈跳。 - 相容性測試套件 (CTS):執行
CtsNpuManagerMoblyTestCases,驗證端對端前景與背景 NPU 工作負載優先順序。如需測試設定操作說明,請參閱「執行 NPU Manager Mobly 測試」。