การกำหนดเวลาภาระงาน

ใน Android 17 ขึ้นไป ตัวจัดการหน่วยประมวลผลระบบประสาท (NPU) จะประสานงานการควบคุมการรับโมเดลและลำดับความสำคัญของภาระงานในแอปและบริการของระบบ แทนที่จะปล่อยให้งานที่ทำอยู่เบื้องหลังทำให้งานที่ทำอยู่เบื้องหน้าที่ไวต่อเวลาตอบสนองไม่ได้รับทรัพยากร บริการระบบ npu จะติดตามสถานะวงจรของแอปจาก ActivityManager และส่งต่อกฎการจัดกำหนดการที่มีประสิทธิภาพไปยังไดรเวอร์ NPU ของผู้ให้บริการผ่านระดับชั้นการจัดการฮาร์ดแวร์โดยตรง (HAL) ของภาษาที่ใช้สื่อสารข้อมูลระหว่างคอมโพเนนต์ของ Android (AIDL) android.hardware.npu

Framework API สำหรับการชี้ขาดการโหลดโมเดล

ก่อนที่จะเรียกใช้ไลบรารีโครงข่ายประสาทระดับต่ำหรือโหลดไฟล์โมเดลขนาดใหญ่ ไคลเอ็นต์เฟรมเวิร์กจะโต้ตอบกับ android.npumanager.NpuManager เพื่อจองความจุของโมเดล NpuManager เป็น API ของระบบ (@SystemApi) ไม่ใช่ API ของ SDK แอปสาธารณะ และผู้เรียกต้องมีสิทธิ์ android.permission.ACCESS_NPU_MODEL_MANAGER_API ไคลเอ็นต์จะสร้างคำขอโหลดโมเดลก่อน จากนั้นจึงเรียกใช้คำขอที่โหลดแบบอะซิงโครนัสและขั้นตอนการอนุมัติ

สร้างคำขอโหลดโมเดล

การจองการโหลดโมเดลจะแสดงด้วย ModelLoadRequest ออบเจ็กต์นี้มีพารามิเตอร์ต่อไปนี้

  • ตัวระบุคำขอที่ไม่ซ้ำกัน
  • คลาสขนาดโมเดลโดยประมาณ: NPU_MODEL_SIZE_LESS_THAN_1GB, NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB หรือ NPU_MODEL_SIZE_GREATER_THAN_2G
  • ลำดับความสำคัญของภาระงานที่ต้องการ เช่น NPU_MODEL_PRIORITY_BACKGROUND, NPU_MODEL_PRIORITY_NORMAL หรือ NPU_MODEL_PRIORITY_OPPORTUNISTIC

ตัวอย่าง Java ต่อไปนี้จะสร้าง ModelLoadRequest สำหรับโมเดลที่มีขนาดใหญ่กว่า 2 GB โดยมีลำดับความสำคัญในการดำเนินการตามปกติ

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

ดำเนินการตามขั้นตอนคำขอและการอนุมัติ

ไคลเอ็นต์จะส่งการจองแบบไม่พร้อมกันโดยใช้เมธอด requestCanLoadModel ดังนี้

npuManager.requestCanLoadModel(request, callback, executor);

เมื่อมีการประเมินความจุ NPU หรือแรงกดดันของระบบเปลี่ยนแปลง เฟรมเวิร์กจะแจ้งเตือนไคลเอ็นต์ผ่าน ModelLoadRequestCallback ด้วยเหตุการณ์ต่อไปนี้

  • onCanLoadModel(request, status, listener): เริ่มทำงานเมื่อคำขอได้รับอนุมัติ ไคลเอ็นต์จะได้รับโทเค็น NpuManager.ModelLoadStatusListener หลังจากโหลดโมเดลลงในหน่วยความจำ NPU แล้ว ไคลเอ็นต์ต้องเรียกใช้ listener.notifyModelLoaded(request)
  • onRequestUnloadModel(request) หรือ onRequestUnloadModel(request, reason): เริ่มทำงานเมื่อระบบพบการแย่งชิงทรัพยากร เช่น ภาระงานที่เข้ามาในเบื้องหน้าหรืออุณหภูมิที่พุ่งสูงขึ้น และกำหนดให้ไคลเอ็นต์ต้องปล่อยโมเดล หลังจากปล่อยทรัพยากร NPU แล้ว ไคลเอ็นต์ต้องเรียกใช้ listener.notifyModelUnloaded(request)
  • onModelLoadRequestComplete(request, status): แจ้งให้ไคลเอ็นต์ทราบถึงการเปลี่ยนสถานะวงจรคำขอของเทอร์มินัล เช่น การยกเลิก

ลูกค้าสามารถยกเลิกคำขอที่รอดำเนินการได้ทุกเมื่อโดยโทรไปที่ cancelModelLoad(request)

การผสานรวม HAL การกำหนดเวลา

การติดตั้งใช้งานของผู้ให้บริการเฉพาะอุปกรณ์จะผสานรวมกับเครื่องจัดตารางเวลาของแพลตฟอร์มโดยการติดตั้งใช้งานอินเทอร์เฟซบริการ IScheduling.aidl ในแพ็กเกจ android.hardware.npu

กำหนดค่าลำดับความสำคัญของ UID และการควบคุมการเข้าถึง

บริการระบบ npu จะพุชค่าลำดับความสำคัญต่อ UID และกฎการเข้าถึงไปยัง HAL ของผู้ให้บริการโดยใช้ setSchedulingConfigs และ updateSchedulingConfigs พร้อมกับพาร์เซล SchedulingConfig.aidl ดังนี้

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

แต่ละช่องใน SchedulingConfig จะควบคุมวิธีที่ไดรเวอร์ NPU ของผู้ให้บริการตัดสินงานที่ส่งโดยตัวระบุผู้ใช้ (UID) ดังนี้

ฟิลด์หรือค่าคงที่ คำอธิบาย
MIN_PRIORITY และ MAX_PRIORITY ขอบเขตลำดับความสำคัญที่ถูกต้อง (0 ถึง 1000) โดยที่ MIN_PRIORITY (0) แสดงถึงลำดับความสำคัญสูงสุดในการกำหนดเวลา และ MAX_PRIORITY (1000) แสดงถึงลำดับความสำคัญต่ำสุดในการกำหนดเวลา
uid UID ของ Linux ของแอปไคลเอ็นต์หรือบริการของระบบ
priority คะแนนความสำคัญของแพลตฟอร์มอยู่ในช่วง 0 ถึง 1000 โดย 0 คือลำดับความสำคัญสูงสุด ได้มาจากสถานะกระบวนการ ActivityManager ดังนั้นแอปที่ทำงานอยู่เบื้องหน้าจึงมีความสำคัญมากกว่ากระบวนการที่แคชไว้หรือกระบวนการเบื้องหลัง
hasDirectAccess อนุญาตให้ uid เปิดเซสชันการดำเนินการ NPU โดยตรงหรือไม่ หากเป็น false การสร้างหรือ การดำเนินการเซสชันโดยตรงจะล้มเหลวพร้อมข้อผิดพลาด EX_SECURITY
canAttributeOtherUid บริการตัวกลางที่มีสิทธิ์พิเศษ เช่น AICore ได้รับอนุญาตให้ระบุแหล่งที่มาของงาน NPU และการใช้พลังงานไปยังไคลเอ็นต์ที่เรียกใช้หรือไม่ originalUid

ตัวจัดตารางเวลา NPU ของผู้ให้บริการต้องคำนวณลำดับความสำคัญที่มีผลในช่วง 0 ถึง 2000 (โดยที่ 0 คือลำดับความสำคัญสูงสุด) โดยเพิ่ม SchedulingConfig.priority (0 ถึง 1000) ลงในลำดับความสำคัญของงานที่ไคลเอ็นต์ขอซึ่งปรับให้เป็นมาตรฐานเป็น 0 ถึง 1000 และจัดตารางเวลาคิวการดำเนินการของฮาร์ดแวร์ตามลำดับความสำคัญที่มีผลนั้น ตัวอย่างเช่น หากแอปที่ทำงานอยู่เบื้องหลังส่งงานที่มีลำดับความสำคัญสูง คะแนน priority ที่สูงขึ้นจะลดลำดับความสำคัญที่มีผล (ทำให้ค่าตัวเลขสูงขึ้น) เพื่อไม่ให้เกิดความล่าช้าในภาระงานของกล้องหรือ UI ที่ทำงานอยู่เบื้องหน้า

รายงานสถานะงานและการระบุแหล่งที่มา

ไดรเวอร์ของผู้ให้บริการจะรายงานวงจรของกลุ่มการดำเนินการ NPU กลับไปยังแพลตฟอร์มโดยใช้ WorkInfo.aidl ดังนี้

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

เมื่อบริการตัวกลางที่เปิดใช้ canAttributeOtherUid เรียกใช้โมเดลในนามของแอปไคลเอ็นต์ originalUid จะมี UID ของแอปต้นทาง ขณะที่ uid จะระบุบริการที่ส่ง การแยกนี้ช่วยให้การวัดและส่งข้อมูลทางไกลของแพลตฟอร์มและการบัญชีพลังงานเรียกเก็บเงินค่าการทำงานจากแอปที่ขอแทนที่จะเป็น Daemon ตัวกลาง

กำหนดค่าการดีเบานซ์เหตุการณ์

เมื่อลงทะเบียน Listener ISchedulingCallback กับ IScheduling.setCallback แล้ว HAL จะลดการแจ้งเตือนงานที่เกี่ยวข้องในระยะเวลาอย่างน้อย ISchedulingCallback.DEBOUNCE_DURATION_MS (50 มิลลิวินาที) ระบบจะถือว่ารายการงานมีความเกี่ยวข้องเมื่อมี uid, originalUid และ debugFeatureId เหมือนกัน หรือมี groupId เหมือนกัน การดีเบานซ์จะช่วยลดการเรียกกลับที่รวดเร็วเกินไปในระหว่างการสตรีมหรือการอนุมานแบบหลายขั้นตอน ซึ่งจะช่วยลดภาระงานของ binder และการบันทึกข้อมูลที่มากเกินไป

ระบบจะรายงานสถานะวงจรของ Callback ผ่าน 3 เมธอดใน ISchedulingCallback ดังนี้

  • onWorkRequested: บริการหรือไดรเวอร์ของผู้ให้บริการได้รับภาระงานแล้ว
  • onWorkStarted: การดำเนินการของฮาร์ดแวร์เริ่มต้นขึ้น โดยติดแท็กด้วย StartReason:
    • StartReason.INITIAL: การดำเนินการเริ่มต้นสำหรับคำขอแอปใหม่
    • StartReason.RESUMED: การดำเนินการกลับมาทำงานอีกครั้งหลังจากหยุดชั่วคราว (PAUSED)
  • onWorkEnded: การดำเนินการของฮาร์ดแวร์จะหยุดลงหลังจากผ่านไป DEBOUNCE_DURATION_MS โดยไม่มีงานติดตามผลที่เกี่ยวข้อง ซึ่งติดแท็กด้วย EndReason:
    • EndReason.COMPLETED: การดำเนินการเสร็จสมบูรณ์ตามปกติ
    • EndReason.CANCELLED_USER: แอปที่เรียกใช้ยกเลิกการดำเนินการ
    • EndReason.CANCELLED_SYSTEM: การดำเนินการถูกขัดจังหวะและยกเลิกโดยงานที่มีลำดับความสำคัญสูงกว่า
    • EndReason.PAUSED: การดำเนินการหยุดชั่วคราวเพื่อเรียกใช้งานที่มีลำดับความสำคัญสูงกว่า และมีสิทธิ์กลับมาทำงานต่อด้วย StartReason.RESUMED
    • EndReason.FAILED: ดำเนินการไม่สำเร็จเนื่องจากข้อผิดพลาดของไดรเวอร์หรือฮาร์ดแวร์

การตรวจสอบ

ตรวจสอบการใช้งานการจัดกำหนดการ NPU ด้วยชุดโปรแกรมทดสอบต่อไปนี้

  • ชุดโปรแกรมทดสอบของผู้ให้บริการ (VTS): เรียกใช้ VtsHalNpuSchedulingTargetTest (รวมอยู่ใน VtsHalNpuTargetTest) เพื่อยืนยันการอัปเดตการกำหนดค่า IScheduling, การจัดลำดับความสำคัญที่มีผล, กฎการระบุแหล่งที่มาของ UID และการดีเบานซ์ของ ISchedulingCallback
  • ชุดเครื่องมือทดสอบความเข้ากันได้ (CTS): เรียกใช้ CtsNpuManagerMoblyTestCases เพื่อยืนยันการจัดลำดับความสำคัญของภาระงาน NPU แบบครบวงจรระหว่างเบื้องหน้ากับเบื้องหลัง ดูวิธีการตั้งค่าการทดสอบได้ที่เรียกใช้การทดสอบ Mobly ของ NPU Manager