Android 17 以上版本支援神經處理單元 (NPU) Manager (com.android.npumanager),這是 Android 開放原始碼計畫 (AOSP) 中的系統元件,可協調系統服務和應用程式工作負載之間的 NPU 資源分配和排程。NPU Manager 將資源仲裁從自訂供應商 Daemon 移至 Android 平台,提高可預測性、防止資源匱乏、管理熱邊界,並提升整體裝置效能。
背景和動機
在 NPU Manager 推出前,應用程式和系統服務會直接將機器學習 (ML) 工作負載提交給供應商驅動程式或專屬執行階段。這種直接存取模式會引發一些系統性問題:
- 資源競爭效率不彰:大型語言模型 (LLM) 推論引擎和裝置端視覺管道等繁重的機器學習工作負載,會直接與其他高優先順序系統競爭有限的 NPU 資源,例如靜態 RAM (SRAM)、模型權重記憶體和執行管道。
- 系統不穩定:如果工作負載未經協調,當需求超出硬體容量時,可能會觸發熱調節、記憶體分頁錯誤,或由記憶體不足終止程式守護程序 (
lmkd) 終止背景應用程式。 - 靜態優先順序:系統伺服器無法根據情境變化調整 NPU 優先順序,例如背景工作載入大型模型,而對延遲敏感的相機管道或助理在前景執行。
NPU Manager 可做為系統層級仲裁者,解決這些難題。它會根據目前的裝置健康狀態和應用程式狀態,控管模型載入作業,並動態調整執行優先順序。
系統架構
NPU Manager 會在 system_server 中以名為 npu 的系統服務執行,並封裝在 com.android.npumanager 系統 APEX 中。這項服務會將平台政策和應用程式生命週期追蹤,與低階系統單晶片 (SoC) 驅動程式實作分開。
下圖說明 NPU Manager 環境層:

圖 1. NPU Manager 環境層。
重要元件
- Framework API 用戶端 (
android.npumanager.NpuManager):用戶端會使用這個進入點,要求預留模型載入資源。 - 系統服務 (
npu):這項服務會根據排程優先順序規則,控管模型載入核准作業,並發出卸載要求。 - NPU 排程 HAL (
android.hardware.npu):這個 Android 介面定義語言 (AIDL) 硬體抽象層 (HAL) 會在架構和驅動程式之間,轉送 Android 應用程式優先順序和排程回呼。 - 供應商驅動程式:驅動程式會控制硬體執行區塊,並實作低階優先順序。
如要瞭解架構 API 和 HAL 的詳細資料,請參閱「工作負載排程」。
裝置就緒狀態和診斷
整合 NPU 並支援 NPU Manager 的裝置會宣告 android.hardware.npu 硬體功能 (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT)。應用程式可在 AndroidManifest.xml 中宣告選用或必要的 NPU 用途,如以下範例所示:
<uses-feature android:name="android.hardware.npu" android:required="false" />
檢查服務狀態
在啟動和驗證期間,您可以使用下列指令,從 adb shell 檢查有效的模型載入政策、模型載入要求,以及每個應用程式的使用者 ID (UID) 優先順序:
adb shell dumpsys npu如要瞭解 Android 17 以上版本的相容性測試設定,請參閱「執行 NPU Manager Mobly 測試」和「工作負載排程」。