बर्स्ट निष्पादन और तेज़ संदेश सूची

न्यूरल नेटवर्क्स एचएएल 1.2 में बर्स्ट एक्ज़ीक्यूशन का सिद्धांत दिया गया है. बर्स्ट एक्ज़ीक्यूशन, तैयार किए गए उसी मॉडल को एक्ज़ीक्यूट करने का क्रम होते हैं जो रैपिड सीक्वेंस में होता है. जैसे, कैमरा कैप्चर किए जाने वाले फ़्रेम पर या लगातार ऑडियो के सैंपल पर काम करने वाले ऐक्शन. बर्स्ट ऑब्जेक्ट का इस्तेमाल बर्स्ट एक्ज़ीक्यूशन के सेट को कंट्रोल करने और एक्ज़िक्यूशन के बीच में संसाधनों को सुरक्षित रखने के लिए किया जाता है. इससे एक्ज़ीक्यूशन का ओवरहेड कम होता है. बर्स्ट ऑब्जेक्ट तीन तरह के ऑप्टिमाइज़ेशन की सुविधा देते हैं:

  1. एक्ज़ीक्यूशन के क्रम से पहले, बर्स्ट ऑब्जेक्ट बनाया जाता है. साथ ही, क्रम खत्म होने पर यह ऑब्जेक्ट फ़्री होता है. इस वजह से, बर्स्ट ऑब्जेक्ट से ड्राइवर को पता चलता है कि उसे अच्छी परफ़ॉर्मेंस वाली स्थिति में कितने समय तक रहना चाहिए.
  2. बर्स्ट ऑब्जेक्ट, एक्ज़ीक्यूशन के बीच संसाधनों को सुरक्षित रख सकता है. उदाहरण के लिए, कोई ड्राइवर पहली बार एक्ज़ीक्यूशन करने पर मेमोरी ऑब्जेक्ट को मैप कर सकता है और बर्स्ट ऑब्जेक्ट में मैपिंग को कैश मेमोरी में सेव कर सकता है, ताकि उसे बाद के एक्ज़ीक्यूशन के लिए फिर से इस्तेमाल किया जा सके. कैश मेमोरी में सेव किए गए किसी भी संसाधन को तब रिलीज़ किया जा सकता है, जब बर्स्ट ऑब्जेक्ट खत्म हो जाता है या जब NNAPI रनटाइम, बर्स्ट ऑब्जेक्ट को यह सूचना देता है कि अब संसाधन की ज़रूरत नहीं है.
  3. बर्स्ट ऑब्जेक्ट, ऐप्लिकेशन और ड्राइवर की प्रोसेस के बीच संपर्क करने के लिए तेज़ मैसेज सूची (एफ़एमक्यू) का इस्तेमाल करता है. इससे इंतज़ार का समय कम हो सकता है, क्योंकि एफ़एमक्यू, एचआईडीएल को बायपास कर सकता है. साथ ही, शेयर की गई मेमोरी में ऐटॉमिक सर्कुलर एफ़आईएफ़ओ के ज़रिए, डेटा को सीधे दूसरी प्रोसेस में पास करता है. उपभोक्ता प्रोसेस के पास किसी आइटम को हटाने के लिए, एफ़आईएफ़ओ में मौजूद एलिमेंट की संख्या के लिए पोल करना या एफ़एमक्यू के इवेंट फ़्लैग का इंतज़ार करके प्रोसेस शुरू करना ज़रूरी है. यह इवेंट फ़्लैग, एक तेज़ यूज़रस्पेस म्यूटेक्स (futex) है.

एफ़एमक्यू, एक लो-लेवल डेटा स्ट्रक्चर है. यह प्रोसेस के दौरान लाइफ़टाइम गारंटी नहीं देता है. साथ ही, इसमें यह तय करने का कोई खास तरीका नहीं होता है कि एफ़एमक्यू के हिसाब से प्रोसेस चल रही है या नहीं. ऐसे में, अगर एफ़एमक्यू के प्रोड्यूसर की मौत हो जाती है, तो हो सकता है कि उपभोक्ता डेटा के पहुंचने का इंतज़ार न करें. इस समस्या का एक समाधान ड्राइवर के लिए है, ताकि वह एफ़एमक्यू को हाई-लेवल बर्स्ट ऑब्जेक्ट से जोड़ सके. इससे, यह पता लगाया जा सकता है कि बर्स्ट की कार्रवाई कब खत्म हुई.

बर्स्ट एक्ज़ीक्यूशन एक जैसे आर्ग्युमेंट पर काम करते हैं और नतीजे अन्य एक्ज़ीक्यूशन पाथ की तरह ही होते हैं. इसलिए, मौजूदा एफ़एमक्यू को वही डेटा एनएनएपीआई सर्विस ड्राइवर को भेजना होगा. हालांकि, एफ़एमक्यू सिर्फ़ सामान्य पुराने डेटा को ट्रांसफ़र कर सकते हैं. कॉम्प्लेक्स डेटा को ट्रांसफ़र करने के लिए, सीधे एफ़एमक्यू में नेस्ट किए गए बफ़र (वेक्टर टाइप) को क्रम में लगाकर उन्हें डीसीरियलाइज़ (क्रम से) किया जाता है. साथ ही, मांग पर मेमोरी पूल के हैंडल ट्रांसफ़र करने के लिए HIDL कॉलबैक ऑब्जेक्ट का इस्तेमाल किया जाता है. एफ़एमक्यू के प्रोड्यूसर को, उपभोक्ता को अनुरोध या उसके नतीजे वाले मैसेज अपने-आप भेजने होंगे. इसके लिए, सूची को ब्लॉक करने पर MessageQueue::writeBlocking का इस्तेमाल करना होगा या अगर सूची ब्लॉक नहीं की जा रही है, तो MessageQueue::write का इस्तेमाल करना होगा.

बर्स्ट इंटरफ़ेस

न्यूरल नेटवर्क एचएएल के लिए बर्स्ट इंटरफ़ेस hardware/interfaces/neuralnetworks/1.2/ में दिए गए हैं. इनके बारे में यहां बताया गया है. एनडीके लेयर में बर्स्ट इंटरफ़ेस के बारे में ज़्यादा जानकारी के लिए, frameworks/ml/nn/runtime/include/NeuralNetworks.h देखें.

Type.hal

types.hal इससे एफ़एमक्यू पर भेजे जाने वाले डेटा का टाइप पता चलता है.

  • FmqRequestDatum: एक्ज़ीकेशन Request ऑब्जेक्ट और MeasureTiming वैल्यू को सीरियल के तौर पर दिखाने वाला एक एलिमेंट. इसे तेज़ी से मैसेज की सूची में भेजा जाता है.
  • FmqResultDatum: एक्ज़ीक्यूशन (ErrorStatus, OutputShapes, और Timing) से मिली वैल्यू को सीरियल के तौर पर दिखाने वाला एक एलिमेंट, जिसे तेज़ी से चलने वाले मैसेज की सूची से दिखाया जाता है.

आईबीर्स्टकॉन्टेक्स्ट.हेल

IBurstContext.hal यह एचआईडीएल इंटरफ़ेस ऑब्जेक्ट के बारे में बताता है, जो न्यूरल नेटवर्क सेवा में मौजूद होता है.

  • IBurstContext: बर्स्ट के संसाधनों को मैनेज करने के लिए कॉन्टेक्स्ट ऑब्जेक्ट.

आईबर्नस्टकॉलबैक.हैल

IBurstCallback.hal न्यूरल नेटवर्क रनटाइम से बनाए गए कॉलबैक के लिए, HIDL इंटरफ़ेस ऑब्जेक्ट के बारे में बताता है. इस सुविधा का इस्तेमाल, स्लॉट आइडेंटिफ़ायर से जुड़े hidl_memory ऑब्जेक्ट को वापस पाने के लिए किया जाता है.

  • IBurstCallback: किसी सेवा में, मेमोरी ऑब्जेक्ट को वापस पाने के लिए इस्तेमाल किया जाने वाला कॉलबैक ऑब्जेक्ट होता है.

Iतैयार मॉडल.हेल

IPreparedModel.hal को HAL 1.2 में बढ़ाया गया है. इसके लिए, पहले से तैयार मॉडल से IBurstContext ऑब्जेक्ट बनाया गया है.

  • configureExecutionBurst: यह बर्स्ट ऑब्जेक्ट को कॉन्फ़िगर करता है, जिसका इस्तेमाल तैयार किए गए मॉडल पर तुरंत एक के बाद एक अनुमान लागू करने के लिए किया जाता है.

ड्राइवर को बर्स्ट एक्ज़ीक्यूट करने की सुविधा दें

HIDL NNAPI सेवा में बर्स्ट ऑब्जेक्ट के साथ काम करने का सबसे आसान तरीका बर्स्ट यूटिलिटी फ़ंक्शन ::android::nn::ExecutionBurstServer::create का इस्तेमाल करना है, जो ExecutionBurstServer.h में मिलता है और libneuralnetworks_common और libneuralnetworks_util स्टैटिक लाइब्रेरी में पैकेज होता है. इस फ़ैक्ट्री फ़ंक्शन में दो ओवरलोड हैं:

  • एक ओवरलोड, IPreparedModel ऑब्जेक्ट के लिए पॉइंटर स्वीकार करता है. यह यूटिलिटी फ़ंक्शन, मॉडल को चलाने के लिए किसी IPreparedModel ऑब्जेक्ट में executeSynchronously तरीके का इस्तेमाल करता है.
  • एक ओवरलोड के लिए, पसंद के मुताबिक बनाया जा सकने वाला IBurstExecutorWithCache ऑब्जेक्ट स्वीकार किया जाता है. इसका इस्तेमाल उन रिसॉर्स (जैसे कि hidl_memory मैपिंग) को कैश मेमोरी में सेव करने के लिए किया जा सकता है जो कई बार एक्ज़ीक्यूट किए जाते हैं.

हर ओवरलोड, IBurstContext ऑब्जेक्ट (जो बर्स्ट ऑब्जेक्ट को दिखाता है) को दिखाता है. इसमें लिसनर थ्रेड खुद होता है और उसे मैनेज करता है. इस थ्रेड को requestChannel एफ़एमक्यू से अनुरोध मिलते हैं, यह अनुमान लगाता है, फिर resultChannel एफ़एमक्यू के ज़रिए नतीजे दिखाता है. जब बर्स्ट के क्लाइंट की IBurstContext की जानकारी हट जाती है, तब यह थ्रेड और IBurstContext ऑब्जेक्ट में मौजूद अन्य सभी रिसॉर्स अपने-आप रिलीज़ हो जाते हैं.

इसके अलावा, आपके पास IBurstContext को लागू करने का विकल्प भी है. इसमें, requestChannel और IPreparedModel::configureExecutionBurst को पास किए गए resultChannel एफ़एमक्यू पर मैसेज भेजने और पाने का तरीका बताया गया है.

बर्स्ट यूटिलिटी फ़ंक्शन ExecutionBurstServer.h में मौजूद हैं.

/**
 * Create automated context to manage FMQ-based executions.
 *
 * This function is intended to be used by a service to automatically:
 * 1) Receive data from a provided FMQ
 * 2) Execute a model with the given information
 * 3) Send the result to the created FMQ
 *
 * @param callback Callback used to retrieve memories corresponding to
 *     unrecognized slots.
 * @param requestChannel Input FMQ channel through which the client passes the
 *     request to the service.
 * @param resultChannel Output FMQ channel from which the client can retrieve
 *     the result of the execution.
 * @param executorWithCache Object which maintains a local cache of the
 *     memory pools and executes using the cached memory pools.
 * @result IBurstContext Handle to the burst context.
 */
static sp<ExecutionBurstServer> create(
        const sp<IBurstCallback>& callback, const FmqRequestDescriptor& requestChannel,
        const FmqResultDescriptor& resultChannel,
        std::shared_ptr<IBurstExecutorWithCache> executorWithCache);

/**
 * Create automated context to manage FMQ-based executions.
 *
 * This function is intended to be used by a service to automatically:
 * 1) Receive data from a provided FMQ
 * 2) Execute a model with the given information
 * 3) Send the result to the created FMQ
 *
 * @param callback Callback used to retrieve memories corresponding to
 *     unrecognized slots.
 * @param requestChannel Input FMQ channel through which the client passes the
 *     request to the service.
 * @param resultChannel Output FMQ channel from which the client can retrieve
 *     the result of the execution.
 * @param preparedModel PreparedModel that the burst object was created from.
 *     IPreparedModel::executeSynchronously will be used to perform the
 *     execution.
 * @result IBurstContext Handle to the burst context.
 */
  static sp<ExecutionBurstServer> create(const sp<IBurstCallback>& callback,
                                         const FmqRequestDescriptor& requestChannel,
                                         const FmqResultDescriptor& resultChannel,
                                         IPreparedModel* preparedModel);

नीचे दिए गए लिंक में बर्स्ट इंटरफ़ेस को लागू करने की जानकारी दी गई है. यह इंटरफ़ेस, frameworks/ml/nn/driver/sample/SampleDriver.cpp पर न्यूरल नेटवर्क सैंपल ड्राइवर में मिला है.

Return<void> SamplePreparedModel::configureExecutionBurst(
        const sp<V1_2::IBurstCallback>& callback,
        const MQDescriptorSync<V1_2::FmqRequestDatum>& requestChannel,
        const MQDescriptorSync<V1_2::FmqResultDatum>& resultChannel,
        configureExecutionBurst_cb cb) {
    NNTRACE_FULL(NNTRACE_LAYER_DRIVER, NNTRACE_PHASE_EXECUTION,
                 "SampleDriver::configureExecutionBurst");
    // Alternatively, the burst could be configured via:
    // const sp<V1_2::IBurstContext> burst =
    //         ExecutionBurstServer::create(callback, requestChannel,
    //                                      resultChannel, this);
    //
    // However, this alternative representation does not include a memory map
    // caching optimization, and adds overhead.
    const std::shared_ptr<BurstExecutorWithCache> executorWithCache =
            std::make_shared<BurstExecutorWithCache>(mModel, mDriver, mPoolInfos);
    const sp<V1_2::IBurstContext> burst = ExecutionBurstServer::create(
            callback, requestChannel, resultChannel, executorWithCache);
    if (burst == nullptr) {
        cb(ErrorStatus::GENERAL_FAILURE, {});
    } else {
        cb(ErrorStatus::NONE, burst);
    }
    return Void();
}