زمان‌بندی بار کاری

در Android 17 و نسخه‌های بالاتر، «مدیر واحد پردازش عصبی» (NPU) کنترل پذیرش مدل و اولویت حجم کاری را در برنامه‌ها و سرویس‌های سیستم هماهنگ می‌کند. به‌جای اینکه کارهای پس‌زمینه باعث شوند کارهای پیش‌زمینه حساس به تأخیر از منابع محروم شوند، سرویس سیستم npu وضعیت‌های چرخه حیات برنامه را از ActivityManager ردیابی می‌کند و قوانین زمان‌بندی مؤثر را ازطریق لایه انتزاعی سخت‌افزار (HAL) زبان تعریف میانای Android (AIDL) android.hardware.npu به درایور NPU فروشنده منتقل می‌کند.

Framework API برای داوری بار مدل

قبل‌از فراخوانی کتابخانه‌های شبکه عصبی سطح پایین یا بار کردن فایل‌های مدل بزرگ، مشتریان چارچوب با android.npumanager.NpuManager تعامل برقرار می‌کنند تا ظرفیت مدل را رزرو کنند. ‫NpuManager یک میانای برنامه‌سازی کاربردی سیستم (@SystemApi) است، نه میانای برنامه‌سازی کاربردی کیت توسعه نرم‌افزار برنامه عمومی، و تماس‌گیرندگان باید اجازه android.permission.ACCESS_NPU_MODEL_MANAGER_API را داشته باشند. مشتریان ابتدا درخواست بار کردن مدل را می‌سازند و سپس درخواست ناهمگام و جریان تأیید را اجرا می‌کنند.

ساختن درخواست بارگیری مدل

رزرو بار مدل با ModelLoadRequest نشان داده می‌شود. این شیء حاوی پارامترهای زیر است:

  • شناسه درخواست یکتا
  • کلاس اندازه مدل تخمینی: NPU_MODEL_SIZE_LESS_THAN_1GB، NPU_MODEL_SIZE_BETWEEN_1GB_AND_2GB، یا NPU_MODEL_SIZE_GREATER_THAN_2G
  • اولویت حجم کاری موردنظر، مثل NPU_MODEL_PRIORITY_BACKGROUND، NPU_MODEL_PRIORITY_NORMAL، یا NPU_MODEL_PRIORITY_OPPORTUNISTIC

نمونه Java زیر یک ModelLoadRequest برای مدلی بزرگ‌تر از ۲ گیگابایت با اولویت اجرای عادی می‌سازد:

ModelLoadRequest request = new ModelLoadRequest.Builder(requestId)
        .setSize(NPU_MODEL_SIZE_GREATER_THAN_2G)
        .setPriority(NPU_MODEL_PRIORITY_NORMAL)
        .build();

اجرای جریان درخواست و تأیید

مشتریان رزرو را به‌طور ناهمگام بااستفاده از روش requestCanLoadModel ارسال می‌کنند:

npuManager.requestCanLoadModel(request, callback, executor);

وقتی ظرفیت NPU ارزیابی می‌شود یا فشار سیستم تغییر می‌کند، چارچوب ازطریق ModelLoadRequestCallback با رویدادهای زیر به مشتری اطلاع می‌دهد:

  • onCanLoadModel(request, status, listener): وقتی درخواست تأیید شود، فعال می‌شود. مشتری یک کد NpuManager.ModelLoadStatusListener دریافت می‌کند. پس‌از بار کردن مدل در حافظه NPU، کارخواه باید listener.notifyModelLoaded(request) را فراخوانی کند.
  • onRequestUnloadModel(request) یا onRequestUnloadModel(request, reason): زمانی فعال می‌شود که سیستم با رقابت منابع مواجه شود، مانند بار کاری پیش‌زمینه ورودی یا افزایش ناگهانی دما، و از کارخواه می‌خواهد مدل خود را آزاد کند. پس‌از آزاد کردن منابع NPU، کلاینت باید listener.notifyModelUnloaded(request) را فراخوانی کند.
  • ‫onModelLoadRequestComplete(request, status): به مشتری درباره انتقال‌های چرخه حیات درخواست پایانه، مثل لغو، اطلاع می‌دهد.

مشتریان می‌توانند هروقت خواستند با تماس با cancelModelLoad(request) درخواست‌های معلقه را لغو کنند.

زمان‌بندی یکپارچه‌سازی HAL

پیاده‌سازی‌های فروشنده مختص دستگاه با پیاده‌سازی میانای سرویس IScheduling.aidl در بسته android.hardware.npu با زمان‌بند پلاتفرم ادغام می‌شوند.

پیکربندی اولویت‌های UID و کنترل دسترسی

سرویس سیستم npu مقادیر اولویت و قوانین دسترسی هر UID را بااستفاده از setSchedulingConfigs و updateSchedulingConfigs با SchedulingConfig.aidl قابل‌بسته‌بندی به HAL فروشنده ارسال می‌کند:

package android.hardware.npu;

@VintfStability
parcelable SchedulingConfig {
    const int MIN_PRIORITY = 0;
    const int MAX_PRIORITY = 1000;
    int uid;
    int priority;
    boolean hasDirectAccess;
    boolean canAttributeOtherUid;
}

هر فیلد در SchedulingConfig نحوه داوری درایور NPU فروشنده را برای کارهای ارسال‌شده توسط شناسه کاربر (UID) کنترل می‌کند:

فیلد یا ثابت شرح
‫MIN_PRIORITY و MAX_PRIORITY حدود اولویت معتبر (0 تا 1000)، که در آن MIN_PRIORITY (0) نشان‌دهنده بالاترین اولویت زمان‌بندی و MAX_PRIORITY (1000) نشان‌دهنده پایین‌ترین اولویت زمان‌بندی است.
uid شناسه کاربری Linux برنامه کارخواه یا سرویس سیستم.
priority امتیاز اهمیت پلاتفرم در محدوده 0 تا 1000، که 0 بالاترین اولویت است. از وضعیت فرایند ActivityManager مشتق شده است، بنابراین برنامه‌های پیش‌زمینه رتبه بالاتری نسبت به فرایندهای ذخیره‌شده در حافظه نهان یا پس‌زمینه دارند.
hasDirectAccess آیا uid مجاز است جلسه‌های اجرای مستقیم NPU را باز کند یا نه. اگر false، ایجاد یا اجرای مستقیم جلسه با EX_SECURITY ناموفق است.
canAttributeOtherUid آیا یک سرویس واسطه ممتاز، مانند AICore، مجاز است که کار NPU و مصرف برق را به یک کلاینت تماس‌گیرنده نسبت دهد originalUid.

زمان‌بندهای NPU فروشنده باید اولویت مؤثری را در محدوده 0 تا 2000 (که 0 بالاترین اولویت است) با افزودن SchedulingConfig.priority (0 تا 1000) به اولویت کار درخواست‌شده ازسوی کارخواه که به 0 تا 1000 نرمال‌سازی شده است محاسبه کنند و صف‌های اجرای سخت‌افزار را براساس آن اولویت مؤثر زمان‌بندی کنند. برای مثال، اگر برنامه پس‌زمینه‌ای کار با اولویت بالا ارسال کند، امتیاز priority بالاتر آن اولویت مؤثرش را کاهش می‌دهد (مقدار عددی بالاتری تولید می‌کند) تا بارهای کاری میانای کاربر یا دوربین پیش‌زمینه را به‌تأخیر نیندازد.

گزارش کردن وضعیت تکلیف و ارجاع

درایورهای عرضه‌کننده چرخه حیات گروه‌های اجرای NPU را بااستفاده از WorkInfo.aidl به پلاتفرم گزارش می‌دهند:

package android.hardware.npu;

import android.hardware.npu.Uuid;

@VintfStability
parcelable WorkInfo {
    int id;
    @nullable Uuid groupId;
    int uid;
    int debugPid;
    int originalUid;
    @nullable String debugFeatureId;
    int jobPriority;
    int effectivePriority;
    long timestampMs;
    int deviceNumber;
}

وقتی یک سرویس واسطه با canAttributeOtherUid فعال، مدلی را ازطرف برنامه کارخواه اجرا می‌کند، originalUid شناسه کاربری برنامه مبدأ را حمل می‌کند، درحالی‌که uid سرویس ارسال‌کننده را شناسایی می‌کند. این جداسازی به تله‌متری پلاتفرم و حسابداری توان اجازه می‌دهد تا کار را به‌جای دیمون واسطه، به برنامه درخواست‌کننده صورت‌حساب کند.

پیکربندی لرزش‌گیری رویداد

وقتی شنونده ISchedulingCallback با IScheduling.setCallback ثبت می‌شود، HAL اعلان‌های کاری مرتبط را در سراسر حداقل ISchedulingCallback.DEBOUNCE_DURATION_MS (۵۰ میلی‌ثانیه) لرزش‌گیری می‌کند. موارد کاری زمانی مرتبط درنظر گرفته می‌شوند که uid، originalUid، و debugFeatureId یکسانی داشته باشند یا groupId یکسانی داشته باشند. لرزش‌گیری، طوفان‌های فراخوانی سریع را درطول جاری‌سازی یا اجرای استنتاج چندمرحله‌ای سرکوب می‌کند و سربار Binder و سیل گزارش را کاهش می‌دهد.

وضعیت‌های چرخه حیات فراخوانی ازطریق سه روش در ISchedulingCallback گزارش می‌شود:

  • onWorkRequested: حجم کاری توسط سرویس یا درایور فروشنده دریافت می‌شود.
  • onWorkStarted: اجرای سخت‌افزار شروع می‌شود، با برچسب StartReason:
    • ‫StartReason.INITIAL: اجرای اولیه برای درخواست برنامه جدید.
    • StartReason.RESUMED: اجرا پس‌از توقف موقت ازسر گرفته شد (PAUSED).
  • onWorkEnded: اجرای سخت‌افزار پس‌از گذشت DEBOUNCE_DURATION_MS بدون کار پیگیری مرتبط، با برچسب EndReason متوقف می‌شود:
    • EndReason.COMPLETED: اجرا به‌طور عادی تکمیل شد.
    • ‫EndReason.CANCELLED_USER: برنامه تماس‌گیرنده اجرا را لغو کرد.
    • ‫EndReason.CANCELLED_SYSTEM: اجرای کار با اولویت بالاتر پیش‌دستی کرد و لغو شد.
    • EndReason.PAUSED: اجرا موقتاً متوقف شد تا کار با اولویت بالاتر اجرا شود و واجدشرایط ازسرگیری با StartReason.RESUMED است.
    • EndReason.FAILED: اجرا به‌دلیل خطای درایور یا سخت‌افزار ناموفق بود.

اعتبارسنجی

پیاده‌سازی‌های زمان‌بندی NPU را با مجموعه‌های آزمون زیر اعتبارسنجی کنید:

  • مجموعه آزمون فروشنده (VTS): VtsHalNpuSchedulingTargetTest (بسته‌بندی‌شده در VtsHalNpuTargetTest) را اجرا کنید تا به‌روزرسانی‌های پیکربندی IScheduling، ترتیب اولویت مؤثر، قوانین انتساب شناسه کاربری، و لرزش‌گیری ISchedulingCallback را درستی‌سنجی کنید.
  • مجموعه آزمایش سازگاری (CTS): CtsNpuManagerMoblyTestCases را اجرا کنید تا اولویت‌بندی حجم کاری NPU پیش‌زمینه درمقابل پس‌زمینه را به‌صورت سرتاسری درستی‌سنجی کنید. برای دستورالعمل‌های راه‌اندازی آزمایش، به اجرای آزمایش‌های Mobly در «مدیر NPU» مراجعه کنید.