Streaming simultâneo de câmeras

O Android permite que os dispositivos suportem streaming simultâneo de dispositivos de câmera. Por exemplo, isso permite que um dispositivo tenha as câmeras frontal e traseira operando ao mesmo tempo. A partir do Android 11, a API Camera2 inclui os seguintes métodos que os aplicativos podem chamar para determinar se as câmeras são compatíveis com streaming simultâneo e as configurações de streaming compatíveis.

• getConcurrentCameraIds : obtém o conjunto de combinações de identificadores de dispositivos de câmera atualmente conectados que suportam a configuração simultânea de sessões de dispositivos de câmera.
• isConcurrentSessionConfigurationSupported : verifica se o conjunto fornecido de dispositivos de câmera e suas configurações de sessão correspondentes podem ser configurados simultaneamente.

Um conjunto de combinações de fluxo obrigatórias que devem ser suportadas durante o streaming simultâneo é incluído por meio das características da câmera de um dispositivo de câmera na propriedade SCALER_MANDATORY_CONCURRENT_STREAM_COMBINATIONS .

Cada dispositivo de câmera anunciado por meio de getConcurrentStreamingCameraIds() deve oferecer suporte às seguintes configurações garantidas para streams simultâneos.

Alvo 1		Alvo 2
Tipo	tamanho máximo	Tipo	tamanho máximo	Exemplos de casos de uso
YUV	s1440p			Processamento de vídeo ou imagem no aplicativo
PRIV	s1440p			Análise do visor no aplicativo
JPEG	s1440p			Sem captura de imagens estáticas no visor
YUV/PRIV	s720p	JPEG	s1440p	Imagens estáticas padrão
YUV/PRIV	s720p	YUV/PRIV	s1440p	Vídeo ou processamento no aplicativo com visualização

Dispositivos com o recurso MONOCHROME ( CameraCharacteristics#REQUEST_AVAILABLE_CAPABILITIES inclui CameraMetadata#REQUEST_AVAILABLE_CAPABILITIES_MONOCHROME ) que suportam Y8 devem suportar a substituição de fluxos YUV por Y8 em todas as combinações de fluxo garantidas.

s720p refere-se a 720p (1280 x 720) ou à resolução máxima suportada para o formato específico retornado por StreamConfigurationMap.getOutputSizes() . s1440p refere-se a 1440p (1920 x 1440) ou à resolução máxima suportada para o formato específico retornado por StreamConfigurationMap.getOutputSizes() . Dispositivos cujos recursos não incluem ANDROID_REQUEST_AVAILABLE_CAPABILITIES_BACKWARD_COMPATIBLE devem suportar pelo menos um único fluxo Y16, Dataspace::DEPTH com resolução sVGA, durante operação simultânea, onde sVGA é a menor das duas resoluções a seguir:

• resolução máxima de saída para o formato fornecido
• 640x480

Implementação

Para permitir que os aplicativos consultem um dispositivo para determinar se suas câmeras suportam streaming simultâneo, implemente a interface HAL ICameraProvider@2.6 , que inclui os seguintes métodos:

• getConcurrentStreamingCameraIds
• isConcurrentStreamCombinationSupported

Para obter uma implementação de referência da interface HAL ICameraProvider@2.6 , consulte a biblioteca HAL da câmera emulada em EmulatedCameraProviderHWLImpl.cpp .

Validação

Para testar se a implementação desse recurso funciona conforme o esperado, use o teste ConcurrentCameraTest.java CTS. Além disso, teste usando um aplicativo que abre várias câmeras e as opera simultaneamente.

Problemas de alocação de recursos

Se HALs de câmera anunciarem suporte para operação simultânea de dispositivos de câmera, eles poderão enfrentar problemas de alocação de recursos, especialmente no caso em que há recursos suficientes de processador de sinal de imagem (ISP) no telefone para transmitir câmeras frontais e traseiras (ou outras) simultaneamente , mas não em sua capacidade total. Neste caso, o HAL da câmera deve alocar recursos de hardware limitados para cada dispositivo de câmera.

Cenário de exemplo

O cenário a seguir demonstra esse problema.

Problema

O dispositivo possui a seguinte configuração:

• A ID da câmera 0 é uma câmera lógica apoiada por uma câmera ampla e ultralarga, cada uma utilizando um recurso do ISP.
• Camera ID 1 é uma câmera que utiliza um recurso do ISP.

O dispositivo (telefone) possui dois ISPs. Se o ID da câmera 0 for aberto e uma sessão for configurada, é possível que o HAL da câmera reserve dois ISPs antecipando o uso da câmera ultralarga e ampla.

Se for esse o caso, a câmera frontal (ID 1 ) não pode configurar nenhum stream porque ambos os ISPs estão em uso.

Solução

Para resolver esse problema, a estrutura pode abrir os IDs de câmera 0 e 1 antes de configurar as sessões para fornecer uma dica ao HAL da câmera sobre como alocar recursos (porque agora espera a operação simultânea de câmeras). No entanto, isso pode levar a recursos limitados, por exemplo, o zoom pode não ser capaz de lidar com a taxa de alcance total do zoom (porque a troca de IDs de câmera física pode ser problemática).

Para implementar esta solução, faça as seguintes atualizações em provider@2.6::ICameraProvider::getConcurrentCameraStreamingCameraIds .

• Determinar que, para operação simultânea de câmeras, a estrutura da câmera deve abrir os dispositivos de câmera ( @3.2::ICameraDevice::open ) antes de configurar quaisquer sessões nos dispositivos de câmera. Isso permite que os fornecedores de câmeras aloquem recursos adequadamente.

• Para resolver o problema de não ser capaz de lidar com a taxa de alcance total do zoom, certifique-se de que os aplicativos de câmera, ao usar câmeras simultaneamente, tenham a garantia de usar a configuração de controle ZOOM_RATIO entre apenas 1x e MAX_DIGITAL_ZOOM em vez do ZOOM_RATIO_RANGE completo (isso evita a troca de câmeras físicas internamente, o que potencialmente requer mais ISPs).

Observação: os IDs de câmera anunciados em combinação por meio de getConcurrenStreamingCameraIds não devem entrar em conflito. Por exemplo, se getConcurrentStreamingCameraIds anunciar {0,1}, {2,1}, os IDs de câmera 0 e 2 poderão entrar em conflito, no entanto, os IDs de câmera 0 e 1 e 1 e 2 não deverão entrar em conflito.

Problema com testDualCameraPreview

Quando você faz as atualizações acima, pode criar um problema com um comportamento permitido pelo teste MultiViewTest.java#testDualCameraPreview .

O teste testDualCameraPreview não configura sessões somente após abrir todas as câmeras. Segue esta sequência:

for each camera  in cameraDevices :
  device = openCamera(camera)
     createCaptureSession(device);

No entanto, tolera falhas de abertura de câmera com ERROR_MAX_CAMERAS_IN_USE [1] . Aplicativos de terceiros podem depender desse comportamento.

Como o HAL da câmera não saberá o conjunto completo de IDs de câmera que estão sendo abertos para operação simultânea antes de configurar as sessões, pode ser difícil alocar recursos de hardware (assumindo que haja alguma competição para eles).

Para resolver esse problema, mantendo a compatibilidade com versões anteriores, além de oferecer suporte ao streaming simultâneo, os HALs de câmera deverão falhar nas chamadas openCamera com ERROR_MAX_CAMERAS_IN_USE se não puderem suportar a configuração de fluxo completo para todas as câmeras em execução simultaneamente.