NPU Manager

Android 17 以上版本支援神經處理單元 (NPU) Manager (com.android.npumanager),這是 Android 開放原始碼計畫 (AOSP) 中的系統元件,可協調系統服務和應用程式工作負載之間的 NPU 硬體資源。NPU Manager 將資源仲裁從自訂供應商 Daemon 移至 Android 平台,提高可預測性、防止資源匱乏、管理記憶體和電源邊界,並提升整體裝置效能。

背景和動機

在 NPU Manager 推出前,應用程式和系統服務會直接將機器學習 (ML) 工作負載提交給供應商驅動程式或專屬執行階段。這種直接存取模式會引發一些系統性問題:

  • 資源競爭效率不彰:大型語言模型 (LLM) 推論引擎和裝置端視覺管道等繁重的機器學習工作負載,會直接競爭有限的 NPU 靜態 RAM (SRAM)、模型權重記憶體和硬體執行佇列。
  • 系統不穩定:模型分配不協調,導致數 GB 的實體 DRAM 遭到固定,當需求超出硬體容量時,會觸發熱調節、頁面錯誤,或低記憶體終止程式守護程序 (lmkd) 終止背景應用程式。
  • 缺乏情境感知:系統伺服器無法在使用者情境轉換時調整 NPU 執行優先順序,或回收閒置的模型權重,例如背景工作保留數 GB 的模型,而對延遲敏感的相機管道或助理進入前景。

NPU Manager 可做為中央系統仲裁者,根據即時裝置健康狀態和應用程式狀態,協調排程優先順序、模型緩衝區生命週期、硬體執行工作階段、模型編譯和電源計算,解決上述難題。

系統架構

NPU Manager 會在 system_server 中以名為 npu 的系統服務執行,並封裝在 com.android.npumanager 系統 APEX 中。這項服務會將平台政策和應用程式生命週期追蹤,與低階系統單晶片 (SoC) 驅動程式實作分開。

下圖說明 NPU Manager 環境層:

NPU Manager 環境層

圖 2. NPU Manager 環境層。

子系統支柱

NPU Manager 說明文件分為下列功能領域:

子系統 主要介面 職責
工作負載排程 android.npumanager.NpuManager,
android.hardware.npu.IScheduling
控制模型載入許可,並將應用程式重要性和有效工作優先順序轉達給 NPU 驅動程式。

裝置就緒狀態和診斷

整合 NPU 並支援 NPU Manager 的裝置會宣告 android.hardware.npu 硬體功能 (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT)。應用程式可在 AndroidManifest.xml 中宣告選用或必要的 NPU 用途,如以下範例所示:

<uses-feature android:name="android.hardware.npu" android:required="false" />

檢查服務狀態

在啟動和驗證期間,您可以使用下列指令,從 adb shell 檢查使用中的 NPU 裝置、用戶端工作階段、優先順序表和已註冊的緩衝區:

adb shell dumpsys npu

如要瞭解 Android 17 以上版本的相容性測試設定,請參閱「執行 NPU Manager Mobly 測試」和「工作負載排程」。