A partir do Android 11, a NNAPI inclui duas operações de fluxo de controle, IF e WHILE , que usam outros modelos como argumentos e os executam condicionalmente ( IF ) ou repetidamente ( WHILE ). Isso permite construir modelos que executam diferentes operações com base nos valores de entrada ou executam operações várias vezes sem desenrolar. Isso é importante para casos de uso como RNN dinâmico e seq2seq.
No NN HAL 1.3, o modelo incorpora vários subgráficos, incluindo o subgráfico principal que é usado para especificar entradas e saídas de uma execução. Um subgráfico pode fazer referência a outros subgráficos usando operandos do tipo SUBGRAPH . A estrutura poderá enviar uma operação de fluxo de controle para um acelerador somente se o acelerador suportar todas as operações em todos os subgráficos referenciados por essa operação de fluxo de controle.
Interfaces HAL
No NN HAL 1.3, as definições relacionadas ao fluxo de controle estão em types.hal .
- Tipos de operação
IFeWHILE - Tipo de operando
SUBGRAPHe vida útil do operandoSUBGRAPHcorrespondente - Estrutura
Modelque contém o subgráfico principal e uma lista de subgráficos referenciados - Estrutura
Capabilitiesque contémifPerformanceewhilePerformance
IDevice.hal contém IDevice , cujo método getSupportedOperations_1_3() deve tratar IF e WHILE diferentemente de outras operações.
IPreparedModel.hal contém IPreparedModel , cujos métodos execute_1_3() , executeSynchronously_1_3() e executeFenced() usam um argumento opcional loopTimeoutDuration .
Implementação de driver
Para obter um exemplo de implementação de operação, consulte CpuExecutor::executeIfOperation e CpuExecutor::executeWhileOperation . Para obter um exemplo de lógica de validação de operação, consulte validateIfOperation() e validateWhileOperation() .
Observe que é importante oferecer suporte a operações aritméticas e de comparação em operandos TENSOR_INT32 de formato 1 , pois eles podem ser usados como contadores de loop. Da mesma forma, operações que produzem operandos TENSOR_BOOL8 de formato 1 devem ser usadas com condições IF e WHILE .
Tempo limite de execução do loop WHILE
Para evitar loops infinitos, a execução deve ser abortada se um loop WHILE demorar mais do que o valor loopTimeoutDuration passado para uma chamada de IPreparedModel::execute_1_3() , IPreparedModel::executeSynchronously_1_3() ou IPreparedModel::executeFenced() (ou o valor padrão se omitido).
Validação
Os testes de fluxo de controle fazem parte dos conjuntos de testes CTS e VTS. Para obter mais informações, consulte Validação .