NPU Manager

Android 17 以上版本支援神經處理單元 (NPU) Manager (com.android.npumanager),這是 Android 開放原始碼計畫 (AOSP) 中的系統元件,可協調系統服務和應用程式工作負載之間的 NPU 資源分配和排程。NPU Manager 將資源仲裁從自訂供應商 Daemon 移至 Android 平台,提高可預測性、防止資源匱乏、管理熱邊界,並提升整體裝置效能。

背景和動機

在 NPU Manager 推出前,應用程式和系統服務會直接將機器學習 (ML) 工作負載提交給供應商驅動程式或專屬執行階段。這種直接存取模式會引發一些系統性問題:

  • 資源競爭效率不彰:大型語言模型 (LLM) 推論引擎和裝置端視覺管道等繁重的機器學習工作負載,會直接與其他高優先順序系統競爭有限的 NPU 資源,例如靜態 RAM (SRAM)、模型權重記憶體和執行管道。
  • 系統不穩定:如果工作負載未經協調,當需求超出硬體容量時,可能會觸發熱調節、記憶體分頁錯誤,或由記憶體不足終止程式守護程序 (lmkd) 終止背景應用程式。
  • 靜態優先順序:系統伺服器無法根據情境變化調整 NPU 優先順序,例如背景工作載入大型模型,而對延遲敏感的相機管道或助理在前景執行。

NPU Manager 可做為系統層級仲裁者,解決這些難題。它會根據目前的裝置健康狀態和應用程式狀態,控管模型載入作業,並動態調整執行優先順序。

系統架構

NPU Manager 會在 system_server 中以名為 npu 的系統服務執行,並封裝在 com.android.npumanager 系統 APEX 中。這項服務會將平台政策和應用程式生命週期追蹤,與低階系統單晶片 (SoC) 驅動程式實作分開。

下圖說明 NPU Manager 環境層:

NPU Manager 環境層

圖 1. NPU Manager 環境層。

重要元件

  • Framework API 用戶端 (android.npumanager.NpuManager):用戶端會使用這個進入點,要求預留模型載入資源。
  • 系統服務 (npu):這項服務會根據排程優先順序規則,控管模型載入核准作業,並發出卸載要求。
  • NPU 排程 HAL (android.hardware.npu):這個 Android 介面定義語言 (AIDL) 硬體抽象層 (HAL) 會在架構和驅動程式之間,轉送 Android 應用程式優先順序和排程回呼。
  • 供應商驅動程式:驅動程式會控制硬體執行區塊,並實作低階優先順序。

如要瞭解架構 API 和 HAL 的詳細資料,請參閱「工作負載排程」。

裝置就緒狀態和診斷

整合 NPU 並支援 NPU Manager 的裝置會宣告 android.hardware.npu 硬體功能 (PackageManager.FEATURE_NEURAL_PROCESSING_UNIT)。應用程式可在 AndroidManifest.xml 中宣告選用或必要的 NPU 用途,如以下範例所示:

<uses-feature android:name="android.hardware.npu" android:required="false" />

檢查服務狀態

在啟動和驗證期間,您可以使用下列指令,從 adb shell 檢查有效的模型載入政策、模型載入要求,以及每個應用程式的使用者 ID (UID) 優先順序:

adb shell dumpsys npu

如要瞭解 Android 17 以上版本的相容性測試設定,請參閱「執行 NPU Manager Mobly 測試」和「工作負載排程」。