Android 17 以上版本支援神經處理單元 (NPU) Manager (com.android.npumanager),這是 Android 開放原始碼計畫 (AOSP) 中的系統元件,可協調系統服務和應用程式工作負載之間的 NPU 硬體資源。NPU Manager 將資源仲裁從自訂供應商 Daemon 移至 Android 平台,提高可預測性、防止資源匱乏、管理記憶體和電源邊界,並提升整體裝置效能。
背景和動機
在 NPU Manager 推出前,應用程式和系統服務會直接將機器學習 (ML) 工作負載提交給供應商驅動程式或專屬執行階段。這種直接存取模式會引發一些系統性問題:
- 資源競爭效率不彰:大型語言模型 (LLM) 推論引擎和裝置端視覺管道等繁重的機器學習工作負載,會直接競爭有限的 NPU 靜態 RAM (SRAM)、模型權重記憶體和硬體執行佇列。
- 系統不穩定:模型分配不協調,導致數 GB 的實體 DRAM 遭到固定,當需求超出硬體容量時,會觸發熱調節、頁面錯誤,或低記憶體終止程式守護程序 (
lmkd) 終止背景應用程式。 - 缺乏情境感知:系統伺服器無法在使用者情境轉換時調整 NPU 執行優先順序,或回收閒置的模型權重,例如背景工作保留數 GB 的模型,而對延遲敏感的相機管道或助理進入前景。
NPU Manager 可做為中央系統仲裁者,根據即時裝置健康狀態和應用程式狀態,協調排程優先順序、模型緩衝區生命週期、硬體執行工作階段、模型編譯和電源計算,解決上述難題。
系統架構
NPU Manager 會在 system_server 中以名為 npu 的系統服務執行,並封裝在 com.android.npumanager 系統 APEX 中。這項服務會將平台政策和應用程式生命週期追蹤,與低階系統單晶片 (SoC) 驅動程式實作分開。
下圖說明 NPU Manager 環境層:

圖 2. NPU Manager 環境層。
子系統支柱
NPU Manager 說明文件分為下列功能領域:
| 子系統 | 主要介面 | 職責 |
|---|---|---|
| 工作負載排程 |
android.npumanager.NpuManager,android.hardware.npu.IScheduling
|
控制模型載入許可,並將應用程式重要性和有效工作優先順序轉達給 NPU 驅動程式。 |
裝置就緒狀態和診斷
整合 NPU 並支援 NPU Manager 的裝置會宣告 android.hardware.npu 硬體功能 (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT)。應用程式可在 AndroidManifest.xml 中宣告選用或必要的 NPU 用途,如以下範例所示:
<uses-feature android:name="android.hardware.npu" android:required="false" />
檢查服務狀態
在啟動和驗證期間,您可以使用下列指令,從 adb shell 檢查使用中的 NPU 裝置、用戶端工作階段、優先順序表和已註冊的緩衝區:
adb shell dumpsys npu如要瞭解 Android 17 以上版本的相容性測試設定,請參閱「執行 NPU Manager Mobly 測試」和「工作負載排程」。