Trên Android 17 trở lên, Trình quản lý Bộ xử lý nơron (NPU) điều phối việc kiểm soát quyền truy cập vào mô hình và mức độ ưu tiên của khối lượng công việc trên các ứng dụng và dịch vụ hệ thống. Thay vì cho phép các tác vụ nền làm chậm các tác vụ trên nền trước có độ nhạy cao về độ trễ, dịch vụ hệ thống npu sẽ theo dõi trạng thái vòng đời của ứng dụng từ ActivityManager và chuyển tiếp các quy tắc lập lịch hiệu quả đến trình điều khiển NPU của nhà cung cấp thông qua lớp trừu tượng phần cứng (HAL) android.hardware.npu Ngôn ngữ định nghĩa giao diện Android (AIDL).
Framework API để phân xử việc tải mô hình
Trước khi gọi thư viện mạng nơron cấp thấp hoặc tải các tệp mô hình lớn,
ứng dụng khung sẽ tương tác với android.npumanager.NpuManager để đặt trước dung lượng
mô hình. NpuManager là một API hệ thống (@SystemApi), không phải là API SDK ứng dụng công khai và phương thức gọi phải có quyền android.permission.ACCESS_NPU_MODEL_MANAGER_API. Trước tiên, ứng dụng khách sẽ xây dựng một yêu cầu tải mô hình, sau đó chạy quy trình phê duyệt và tài nguyên không đồng bộ.
Tạo yêu cầu tải mô hình
Yêu cầu đặt trước tải mô hình được biểu thị bằng ModelLoadRequest. Đối tượng này chứa các tham số sau:
- Giá trị nhận dạng duy nhất của yêu cầu
- Cấp kích thước mô hình ước tính:
NPU_MODEL_SIZE_LESS_THAN_1GB,NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GBhoặcNPU_MODEL_SIZE_GREATER_THAN_2G - Mức độ ưu tiên dự kiến của khối lượng công việc, chẳng hạn như
NPU_MODEL_PRIORITY_BACKGROUND,NPU_MODEL_PRIORITY_NORMALhoặcNPU_MODEL_PRIORITY_OPPORTUNISTIC
Ví dụ về Java sau đây tạo một ModelLoadRequest cho mô hình lớn hơn 2 GB với mức độ ưu tiên thực thi thông thường:
ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
.setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
.setPriority(NPU_MODEL_PRIORITY_NORMAL)
.build();
Thực hiện quy trình yêu cầu và phê duyệt
Ứng dụng khách gửi yêu cầu đặt trước không đồng bộ bằng phương thức requestCanLoadModel:
npuManager.requestCanLoadModel(request, callback, executor);
Khi dung lượng NPU được đánh giá hoặc áp lực hệ thống thay đổi, khung sẽ thông báo cho ứng dụng thông qua ModelLoadRequestCallback bằng các sự kiện sau:
onCanLoadModel(request, status, listener): Được kích hoạt khi yêu cầu được phê duyệt. Ứng dụng khách nhận được mã thông báoNpuManager.ModelLoadStatusListener. Sau khi tải mô hình vào bộ nhớ NPU, ứng dụng khách phải gọilistener.notifyModelLoaded(request).onRequestUnloadModel(request)hoặconRequestUnloadModel(request, reason): Được kích hoạt khi hệ thống gặp phải tình trạng tranh chấp tài nguyên, chẳng hạn như khối lượng công việc trên nền trước hoặc mức tăng nhiệt độ, và yêu cầu ứng dụng khách giải phóng mô hình của mình. Sau khi giải phóng tài nguyên NPU, ứng dụng khách phải gọilistener.notifyModelUnloaded(request).onModelLoadRequestComplete(request, status): Thông báo cho ứng dụng về các chuyển đổi trong vòng đời của yêu cầu thiết bị đầu cuối, chẳng hạn như huỷ.
Khách hàng có thể huỷ yêu cầu đang chờ xử lý bất cứ lúc nào bằng cách gọi đến số cancelModelLoad(request).
Tích hợp HAL lập lịch biểu
Các phương thức triển khai của nhà cung cấp dành riêng cho thiết bị sẽ tích hợp với trình lập lịch biểu của nền tảng bằng cách triển khai giao diện dịch vụ IScheduling.aidl trong gói android.hardware.npu.
Định cấu hình mức độ ưu tiên của UID và kiểm soát quyền truy cập
Dịch vụ hệ thống npu đẩy các giá trị ưu tiên và quy tắc truy cập theo UID đến HAL của nhà cung cấp bằng cách sử dụng setSchedulingConfigs và updateSchedulingConfigs với SchedulingConfig.aidl có thể phân tích cú pháp:
package android.hardware.npu;
@VintfStability
parcelable SchedulingConfig {
const int MIN_PRIORITY = 0;
const int MAX_PRIORITY = 1000;
int uid;
int priority;
boolean hasDirectAccess;
boolean canAttributeOtherUid;
}
Mỗi trường trong SchedulingConfig kiểm soát cách trình điều khiển NPU của nhà cung cấp phân xử công việc do giá trị nhận dạng người dùng (UID) gửi:
| Trường hoặc hằng số | Mô tả |
|---|---|
MIN_PRIORITY và MAX_PRIORITY |
Giới hạn mức độ ưu tiên hợp lệ (0 đến 1000), trong đó
MIN_PRIORITY (0) đại diện cho mức độ ưu tiên
lập lịch biểu cao nhất và MAX_PRIORITY (1000)
đại diện cho mức độ ưu tiên lập lịch biểu thấp nhất.
|
uid |
UID Linux của ứng dụng khách hoặc dịch vụ hệ thống. |
priority |
Điểm số về mức độ quan trọng của nền tảng trong khoảng từ 0 đến 1000, trong đó 0 là mức độ ưu tiên cao nhất. Bắt nguồn từ trạng thái quy trình ActivityManager, vì vậy, các ứng dụng trên nền trước sẽ có thứ hạng cao hơn các tiến trình nền hoặc quy trình được lưu vào bộ nhớ đệm.
|
hasDirectAccess |
Liệu uid có được phép mở phiên thực thi NPU trực tiếp hay không. Nếu false, thì việc tạo hoặc thực thi phiên trực tiếp sẽ không thành công với EX_SECURITY.
|
canAttributeOtherUid |
Liệu một dịch vụ trung gian đặc quyền, chẳng hạn như AICore, có được uỷ quyền để phân bổ mức sử dụng điện năng và công việc của NPU cho một ứng dụng gọi hay không originalUid.
|
Trình lập lịch biểu NPU của nhà cung cấp phải tính toán mức độ ưu tiên hiệu quả trong phạm vi từ 0 đến 2000 (trong đó 0 là mức độ ưu tiên cao nhất) bằng cách thêm SchedulingConfig.priority (0 đến 1000) vào mức độ ưu tiên của công việc mà ứng dụng yêu cầu được chuẩn hoá thành 0 đến 1000, đồng thời lên lịch cho hàng đợi thực thi phần cứng theo mức độ ưu tiên hiệu quả đó. Ví dụ: nếu một ứng dụng nền gửi một công việc có mức độ ưu tiên cao, thì điểm priority cao hơn sẽ làm giảm mức độ ưu tiên hiệu quả (tạo ra giá trị số cao hơn) để không làm chậm camera nền trước hoặc khối lượng công việc của giao diện người dùng.
Báo cáo trạng thái và mô hình phân bổ của tác vụ
Trình điều khiển của nhà cung cấp báo cáo vòng đời của các nhóm thực thi NPU cho nền tảng bằng cách sử dụng WorkInfo.aidl:
package android.hardware.npu;
import android.hardware.npu.Uuid;
@VintfStability
parcelable WorkInfo {
int id;
@nullable Uuid groupId;
int uid;
int debugPid;
int originalUid;
@nullable String debugFeatureId;
int jobPriority;
int effectivePriority;
long timestampMs;
int deviceNumber;
}
Khi một dịch vụ trung gian đã bật canAttributeOtherUid thực thi một mô hình thay mặt cho ứng dụng khách, originalUid sẽ mang UID của ứng dụng gốc trong khi uid xác định dịch vụ gửi. Sự phân tách này cho phép hệ thống đo từ xa và tính toán mức tiêu thụ điện năng của nền tảng tính phí công việc cho ứng dụng yêu cầu thay vì trình nền trung gian.
Định cấu hình tính năng chống dội sự kiện
Khi trình nghe ISchedulingCallback được đăng ký bằng IScheduling.setCallback, HAL sẽ gỡ bỏ các thông báo công việc liên quan trong ít nhất ISchedulingCallback.DEBOUNCE_DURATION_MS (50 mili giây). Các mục công việc được coi là có liên quan khi chúng có cùng uid, originalUid và debugFeatureId hoặc có cùng groupId. Tính năng chống dội giúp ngăn chặn các cơn bão gọi lại nhanh chóng trong quá trình truyền trực tuyến hoặc chạy suy luận nhiều bước, giảm mức hao tổn Binder và tình trạng tràn nhật ký.
Trạng thái vòng đời của lệnh gọi lại được báo cáo thông qua 3 phương thức trên ISchedulingCallback:
onWorkRequested: Dịch vụ hoặc trình điều khiển của nhà cung cấp nhận được khối lượng công việc.onWorkStarted: Quá trình thực thi phần cứng bắt đầu, được gắn thẻ bằngStartReason:StartReason.INITIAL: Lần chạy thực thi ban đầu cho một yêu cầu ứng dụng mới.StartReason.RESUMED: Tiếp tục thực thi sau khi tạm dừng (PAUSED).
onWorkEnded: Quá trình thực thi phần cứng sẽ dừng sau khiDEBOUNCE_DURATION_MStrôi qua mà không có công việc tiếp theo liên quan, được gắn thẻEndReason:EndReason.COMPLETED: Quá trình thực thi đã hoàn tất bình thường.EndReason.CANCELLED_USER: Ứng dụng gọi đã huỷ quá trình thực thi.EndReason.CANCELLED_SYSTEM: Quá trình thực thi bị ưu tiên và huỷ bởi công việc có mức độ ưu tiên cao hơn.EndReason.PAUSED: Quá trình thực thi tạm dừng để chạy công việc có mức độ ưu tiên cao hơn và đủ điều kiện để tiếp tục bằngStartReason.RESUMED.EndReason.FAILED: Không thực thi được do lỗi trình điều khiển hoặc lỗi phần cứng.
Xác nhận kết quả
Xác thực việc triển khai lập lịch biểu NPU bằng các bộ kiểm thử sau:
- Bộ kiểm thử nhà cung cấp (VTS): Chạy
VtsHalNpuSchedulingTargetTest(được đóng gói trongVtsHalNpuTargetTest) để xác minh nội dung cập nhật cấu hìnhIScheduling, thứ tự ưu tiên hiệu quả, quy tắc phân bổ UID và tính năng chống dội phímISchedulingCallback. - Bộ kiểm tra tính tương thích (CTS): Chạy
CtsNpuManagerMoblyTestCasesđể xác minh mức độ ưu tiên của khối lượng công việc NPU trên nền trước so với nền sau từ đầu đến cuối. Để biết hướng dẫn thiết lập kiểm thử, hãy xem phần Chạy kiểm thử Mobly của Trình quản lý NPU.