Questa pagina è stata tradotta dall'API Cloud Translation.

Estensioni del fornitore

Estensioni dei fornitori dell'API Neural Networks (NNAPI), introdotte in Android 10 di operazioni e tipi di dati definiti dal fornitore. Sui dispositivi con NN HAL 1.2 o versioni successive, i driver possono fornire operazioni personalizzate con accelerazione hardware tramite che supportano le estensioni del fornitore corrispondenti. Le estensioni del fornitore non modificano il comportamento delle operazioni esistenti.

Le estensioni del fornitore offrono un'alternativa più strutturata al funzionamento degli OEM. che sono stati ritirati in Android 10. Per ulteriori informazioni, vedi Tipi di operazioni e dati dell'OEM.

Lista consentita per l'utilizzo delle estensioni

Le estensioni del fornitore possono essere usate soltanto da app per Android specificate esplicitamente e binari nativi nelle partizioni /product, /vendor, /odm e /data. Le app e i programmi binari nativi situati nella partizione /system non possono utilizzare il fornitore estensioni.

È disponibile un elenco di app Android e programmi binari che possono usare le estensioni dei fornitori NNAPI memorizzati in /vendor/etc/nnapi_extensions_app_allowlist. Ogni riga del file contiene una nuova voce. Una voce può essere un percorso binario nativo preceduto dal prefisso Una barra (/), ad esempio /data/foo, oppure il nome di un pacchetto di app Android, per ad esempio com.foo.bar.

La lista consentita viene applicata in modo forzato dalla libreria condivisa del runtime NNAPI. Questa libreria protegge dall'uso accidentale, ma non dall'elusione deliberata un'app direttamente utilizzando l'interfaccia HAL del driver NNAPI.

Definizione dell'estensione del fornitore

Il fornitore crea e gestisce un file di intestazione con la definizione dell'estensione. R un esempio completo di definizione di estensione è disponibile in example/fibonacci/FibonacciExtension.h

Ogni estensione deve avere un nome univoco che inizi con il nome di dominio inverso del fornitore.

const char EXAMPLE_EXTENSION_NAME[] = "com.example.my_extension";

Il nome funge da spazio dei nomi per operazioni e tipi di dati. La NNAPI utilizza questo per distinguere le estensioni del fornitore.

Le operazioni e i tipi di dati vengono dichiarati in modo simile a quelli runtime/include/NeuralNetworks.h

enum {
    /**
     * A custom scalar type.
     */
    EXAMPLE_SCALAR = 0,

    /**
     * A custom tensor type.
     *
     * Attached to this tensor is {@link ExampleTensorParams}.
     */
    EXAMPLE_TENSOR = 1,
};

enum {
    /**
     * Computes example function.
     *
     * Inputs:
     * * 0: A scalar of {@link EXAMPLE_SCALAR}.
     *
     * Outputs:
     * * 0: A tensor of {@link EXAMPLE_TENSOR}.
     */
    EXAMPLE_FUNCTION = 0,
};

Un'operazione di estensione può utilizzare qualsiasi tipo di operando, incluso l'operando senza estensione e i tipi di operando di altre estensioni. Quando utilizzi un tipo di operando da un'altra estensione, il driver deve supportare l'altra estensione.

Le estensioni possono anche dichiarare strutture personalizzate da associare agli operandi delle estensioni.

/**
 * Quantization parameters for {@link EXAMPLE_TENSOR}.
 */
typedef struct ExampleTensorParams {
    double scale;
    int64_t zeroPoint;
} ExampleTensorParams;

Usa le estensioni nei client NNAPI

La runtime/include/NeuralNetworksExtensions.h (API C) fornisce il supporto delle estensioni di runtime. Questa sezione fornisce una Panoramica dell'API C.

Per verificare se un dispositivo supporta un'estensione, usa ANeuralNetworksDevice_getExtensionSupport

bool isExtensionSupported;
CHECK_EQ(ANeuralNetworksDevice_getExtensionSupport(device, EXAMPLE_EXTENSION_NAME,
                                                   &isExtensionSupported),
         ANEURALNETWORKS_NO_ERROR);
if (isExtensionSupported) {
    // The device supports the extension.
    ...
}

Per creare un modello con un operando di estensione, utilizza ANeuralNetworksModel_getExtensionOperandType per ottenere il tipo di operando e chiamare ANeuralNetworksModel_addOperand.

int32_t type;
CHECK_EQ(ANeuralNetworksModel_getExtensionOperandType(model, EXAMPLE_EXTENSION_NAME, EXAMPLE_TENSOR, &type),
         ANEURALNETWORKS_NO_ERROR);
ANeuralNetworksOperandType operandType{
        .type = type,
        .dimensionCount = dimensionCount,
        .dimensions = dimensions,
};
CHECK_EQ(ANeuralNetworksModel_addOperand(model, &operandType), ANEURALNETWORKS_NO_ERROR);

Se vuoi, utilizza ANeuralNetworksModel_setOperandExtensionData per associare dati aggiuntivi a un operando di estensione.

ExampleTensorParams params{
        .scale = 0.5,
        .zeroPoint = 128,
};
CHECK_EQ(ANeuralNetworksModel_setOperandExtensionData(model, operandIndex, &params, sizeof(params)),
         ANEURALNETWORKS_NO_ERROR);

Per creare un modello con un'operazione di estensione, utilizza ANeuralNetworksModel_getExtensionOperationType per ottenere il tipo di operazione e richiamare ANeuralNetworksModel_addOperation.

ANeuralNetworksOperationType type;
CHECK_EQ(ANeuralNetworksModel_getExtensionOperationType(model, EXAMPLE_EXTENSION_NAME, EXAMPLE_FUNCTION,
                                                        &type),
         ANEURALNETWORKS_NO_ERROR);
CHECK_EQ(ANeuralNetworksModel_addOperation(model, type, inputCount, inputs, outputCount, outputs),
         ANEURALNETWORKS_NO_ERROR);

Aggiungi il supporto delle estensioni a un driver NNAPI

I driver segnalano le estensioni supportate tramite IDevice::getSupportedExtensions . L'elenco restituito deve contenere una voce che descriva ciascuna voce supportata .

Extension {
    .name = EXAMPLE_EXTENSION_NAME,
    .operandTypes = {
        {
            .type = EXAMPLE_SCALAR,
            .isTensor = false,
            .byteSize = 8,
        },
        {
            .type = EXAMPLE_TENSOR,
            .isTensor = true,
            .byteSize = 8,
        },
    },
}

Dei 32 bit utilizzati per identificare tipi e operazioni, l'alta velocità Model::ExtensionTypeEncoding::HIGH_BITS_PREFIX è l'estensione prefisso e il valore basso Model::ExtensionTypeEncoding::LOW_BITS_TYPE bit rappresenta il tipo o l'operazione dell'estensione.

Quando gestisce un'operazione o un tipo di operando, il driver deve controllare l'estensione . Se il prefisso dell'estensione ha un valore diverso da zero, l'operazione o l'operando è un tipo di estensione. Se il valore è 0, il tipo di operazione o operando non è un tipo di estensione.

Per mappare il prefisso al nome di un'estensione, cercalo in model.extensionNameToPrefix La mappatura tra il prefisso e il nome dell'estensione è una corrispondenza uno a uno (biiezione) per un dato modello. Valori di prefisso diversi possono corrispondere lo stesso nome di estensione in modelli diversi.

Il conducente deve convalidare le operazioni di estensione e i tipi di dati poiché la NNAPI non è in grado di convalidare determinate operazioni di estensione e tipi di dati specifici.

Gli operandi delle estensioni possono avere dati associati in operand.extraParams.extension, che il runtime considera come un blob di dati non elaborati di dimensioni arbitrarie.

Tipi di operazioni e dati dell'OEM

NNAPI ha un'operazione OEM e tipi di dati OEM per consentire produttori di dispositivi di fornire funzionalità personalizzate e specifiche per il conducente. Questi e i tipi di dati vengono usati solo dalle applicazioni OEM. La semantica dell'OEM e i tipi di dati sono specifici dell'OEM e possono cambiare in qualsiasi momento. L'OEM e i tipi di dati sono codificati utilizzando OperationType::OEM_OPERATION, OperandType::OEM e OperandType::TENSOR_OEM_BYTE.