Como usar o CTS Verifier

O Verificador do conjunto de teste de compatibilidade do Android (CTS Verifier) complementa Conjunto de teste de compatibilidade (CTS). Enquanto o CTS verifica as APIs e funções que podem ser automatizado, o Verificador do CTS oferece testes para APIs e funções que não podem ser testada em um dispositivo fixo sem entrada ou posicionamento manual, como áudio tela touchscreen, acelerômetro e câmera.

Requisitos

Antes de executar o verificador do CTS, verifique se você tem os seguintes equipamentos:

• Dispositivo Android que confirmou a compatibilidade com a API Android ao no CTS. Este é o dispositivo em teste (DUT, na sigla em inglês).
• Computador Linux com porta compatível com USB 2.0. Todas as conexões com o DUT vão por essa porta.
• Segundo dispositivo Android com Bluetooth, Wi-Fi Direct e Wi-Fi compatíveis conhecidos Aware, UWB (se o DUT for compatível com UWB) e emulação de cartão host NFC (HCE) implementação.
• Um roteador Wi-Fi configurado com nome e senha de ponto de acesso. O roteador Deve conseguir se desconectar da Internet, mas sem energia

Prepare também tripés, suportes para dispositivos e distâncias necessárias para os testes de medição de distância (proximidade) para UWB, Wi-Fi NAN e Bluetooth RSSI. Para mais detalhes, consulte Calibragem de presença.

Requisitos do UICC para testes de NFC

O CTS Verifier tem os seguintes casos de teste NFC:

• Campo desativado (usa dados de transação de 0 x 54)
• Desmarcar (usa dados de transação de 0x52)
• Comando HCI (0025000000) (usa dados de transação de 0x02)

Os testes de eventos de transação exigem dois dispositivos, um dos quais precisa ter SecureElement UICC com as seguintes regras de acesso:

• Hash de APK do CtsVerifier: 61:ED:37:7E:85:D3:86:A8:DF:EE:6B:86:4B:D8:5B:0B:FA:A5:AF:81
• Identificador de aplicativo autorizado (AID, na sigla em inglês) para acesso a eventos NFC: 0xA000000476416E64726F696443545341

No lado do emulador, esperamos que o evento de transação envie por push o evento atividade em primeiro plano.

Configurar

Mude o modo de navegação do sistema do dispositivo de teste para o modo de três botões conforme da seguinte forma:

1. Abra "Configurações".
2. Acesse Sistema > Gesto > Navegação do sistema.
3. Selecione qualquer modo de navegação baseado em botão (preferencialmente o modo de três botões), se disponíveis.

.

Observação: a mudança do modo de navegação do sistema é uma opção de fluxo de trabalho no Pixel 4 dispositivos com o Android 10. Ele pode mudar em outros dispositivos Android ou versões do SO.

Para configurar o ambiente de teste do verificador do CTS:

1. No computador Linux:

   • Execute o comando a seguir antes de instalar o Verificador do CTS para permitir a interfaces externas ao SDK.

     adb shell settings put global hidden_api_policy 1
     

   • Instale o Android Studio.

   • Faça o download do APK Verifier do CTS para a versão do Android a ser testada.

2. Conecte o DUT ao computador Linux.

3. Em um terminal no computador Linux, instale CtsVerifier.apk no DUT.

   adb install -r -g CtsVerifier.apk
   

4. Para o Android 10 e versões mais recentes, execute o seguinte: para dar permissão ao app para criar o relatório.

   adb shell appops set com.android.cts.verifier android:read_device_identifiers allow
   

5. Para o Android 11 e versões mais recentes, execute o seguinte: para permitir que os relatórios sejam salvos em um diretório autodefinido na diretório de nível superior externo do dispositivo.

   adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0
   

6. No Android 13 e versões mais recentes, execute o seguinte: para permitir o acesso à API de teste para o verificador do CTS.

   adb shell am compat enable ALLOW_TEST_API_ACCESS com.android.cts.verifier
   

7. No Android 14 e versões mais recentes, execute o seguinte: para dar permissão ao app para acender a tela.

   adb shell appops set com.android.cts.verifier TURN_SCREEN_ON 0
   

8. Verifique se a data e a hora do sistema estão definidas corretamente no DUT.

.

Observação: consulte o CTS Verifier para Instant Apps para saber mais.

Executar o CTS Verifier

Toque no ícone do Verificador do CTS no DUT para iniciar o aplicativo dele.

Figura 1. Ícone do CTS Verifier

O app exibe vários conjuntos de teste disponíveis para verificação manual.

Figura 2. Menu de testes do CTS Verifier

Cada teste contém um conjunto de elementos comuns na parte inferior da tela.

Figura 3. Tela de teste com elementos comuns destacados

• Aprovado (✓). Toque se o DUT atende aos requisitos do teste de acordo com as informações. instruções.
• Informação (?). Toque para exibir as instruções do teste. Também aparece automaticamente na primeira vez que um teste é aberto.
• Falha (!). Toque se o DUT não atender aos requisitos de teste de acordo com as informações. instruções.

.

Observação :em alguns testes, a aprovação/reprovação é determinada automaticamente.

Alguns testes, como o modo de acessório USB e o teste de calibração da câmera, exigem configuração de teste adicional e instruções, conforme detalhado nas seções a seguir.

Testar o modo de acessório USB para 8.0 e versões mais recentes

Figura 4. Procedimento de teste de acessórios USB para as versões 8.0 e 8.0 acima de

Figura 5. Como testar o modo de acessório USB para 8.0 e acima de

Teste o modo de acessório USB para 7.x e versões anteriores

O teste de acessórios USB exige um computador Linux para executar a máquina de trabalho USB. (host).

1. Conecte o DUT ao computador Linux.

2. No computador, execute o programa cts-usb-accessory do CTS Pacote do verificador:

   ./cts-usb-accessory

3. Aguarde uma mensagem pop-up aparecer no DUT e selecione OK.
   

   Figura 6. Teste de acessório USB

4. Acesse o teste de acessórios USB no aplicativo do verificador do CTS no DUT.

5. No computador, confira a saída do console. Exemplo de saída:

   CTS USB Accessory Tester
   Found possible Android device (413c:2106) - attempting to switch to accessory
   mode...
   Failed to read protocol versionfigure3
   Found Android device in accessory mode (18d1:2d01)...
   [RECV] Message from Android device #0
   [SENT] Message from Android accessory #0
   [RECV] Message from Android device #1
   [SENT] Message from Android accessory #1
   [RECV] Message from Android device #2
   [SENT] Message from Android accessory #2
   [RECV] Message from Android device #3
   [SENT] Message from Android accessory #3
   [RECV] Message from Android device #4
   [SENT] Message from Android accessory #4
   [RECV] Message from Android device #5
   [SENT] Message from Android accessory #5
   [RECV] Message from Android device #6
   [SENT] Message from Android accessory #6
   [RECV] Message from Android device #7
   [SENT] Message from Android accessory #7
   [RECV] Message from Android device #8
   [SENT] Message from Android accessory #8
   [RECV] Message from Android device #9
   [SENT] Message from Android accessory #9
   [RECV] Message from Android device #10
   [SENT] Message from Android accessory #10
   

Calibrar o campo de visão da câmera

Use o procedimento de calibração do campo de visão para determinar rapidamente o dispositivo campo de visão com precisão moderada.

1. Configure o ambiente de teste:

   1. Imprima o Destino calibration-pattern.pdf em papel 11” x 17” ou A3.
   2. Monte o padrão impresso em um apoio rígido.

   3. Posicione a câmera e o alvo impresso conforme mostrado abaixo diagrama.
      

      Figura 7. Alvo impresso da câmera

2. Defina a largura desejada:

   1. Meça a distância (em centímetros) entre as linhas sólidas no padrão desejado para considerar imprecisões de impressão (aproximadamente 38 cm).
   2. Inicie o aplicativo de calibragem.
   3. Pressione o botão de configuração e selecione Distância do marcador.
   4. Meça e insira a distância até o padrão desejado (aproximadamente 100 cm).
   5. Pressione o botão "Voltar" para retornar à visualização da calibragem.

3. Verifique se o dispositivo e o alvo estão posicionados conforme mostrado na figura e o as distâncias corretas foram inseridas na caixa de diálogo de configuração. Prévia exibe a imagem com uma linha vertical sobreposta; essa linha deve alinhada com a linha central do padrão de destino. A grade transparente pode ser usada com as outras linhas verticais para garantir que o eixo óptico seja ortogonal ao alvo.

4. Faça o teste de calibração:

   1. Selecione uma resolução de imagem (usando o seletor no canto inferior esquerdo) e toque em na tela para tirar uma foto. O teste entra no modo de calibragem exibe a foto com duas linhas verticais sobrepostas na imagem.
   2. Determinar a acurácia:
      • Se as linhas estiverem alinhadas com as linhas verticais no padrão de destino dentro de alguns centímetros, o campo de visão informado para a resolução selecionada está correta.
      • Se elas não estiverem alinhadas, o campo de visão informado será impreciso. Para corrigir isso, ajuste o controle deslizante na parte inferior da tela até a sobreposição se alinha o mais próximo possível ao padrão de destino. Quando a sobreposição e a imagem do padrão de destino estiverem alinhadas, a campo de visão exibido é uma aproximação do campo de . O campo de visão relatado deve estar dentro de +/-2 graus de o valor de calibragem.
   3. Pressione o botão "Voltar" e repita o teste de calibração para toda a imagem e resoluções compatíveis com o DUT.

Executar o CTS Verifier para modos alternativos

A partir das versões CTS 10 R6 e CTS 11 R2, o CTS Verifier oferece suporte aos testes necessários para dispositivos com modos alternativos ou para dispositivos com mais de um modo de tela.

Na parte de cima da visualização em lista principal do verificador do CTS, um botão é exibido para ativar que os usuários possam alternar entre os modos de tela desdobrado e dobrado. O Verificador do CTS vai mostrar os testes necessários para o modo de exibição selecionado. Para executar o comando no CTS Verifier, é preciso mudar o botão para a tela adequada e execute a lista de testes mostrada.

Os resultados dos testes dobrados vão ser registrados no mesmo relatório com o dispositivo desdobrado provas. Para identificar cada resultado de teste de origem do conjunto de teste, um é adicionado a cada nome de teste no modo dobrado.

<Test result="fail" name="com.android.cts.verifier.deskclock.DeskClockTestsActivity[folded]">
  <RunHistory subtest="CREATE_ALARM[folded]">
    <Run start="1594176663973" end="1594176665841" isAutomated="false" />
  </RunHistory>
</Test>

Exportar resultados

Após a conclusão de todos os testes, você pode salvar os resultados como um relatório e fazer o download deles em um computador. Os nomes dos relatórios recebem um carimbo de data/hora com base no DUT no horário do sistema.

Observação :as métricas de execução do teste (tempo de execução e detecção de automação) são coletados do relatório salvo e usados exclusivamente para o conjunto de testes melhorias.

1. Para salvar os resultados do teste, toque no ícone de salvamento (disco) na parte de cima da lista de categorias de teste.

   Observação: o Android 7.0 e versões mais recentes não incluem o recurso de pré-lançamento.

2. Aguarde uma mensagem pop-up que exibe o caminho do arquivo para o relatório salvo (por exemplo, /sdcard/verifierReports/ctsVerifierReport-date-time.zip). grave o caminho.

3. Conecte o DUT ao computador Linux.

4. Na instalação do SDK do Android no computador Linux, faça o download dos relatórios. do dispositivo conectado usando adb shell content read ou adb pull CTSVerifierReportPath.

   • Para Android 7.x e versões mais recentes, faça o download de todos os relatórios usando este comando:

     adb pull /sdcard/verifierReports
     

   • Para o Android 6.0 e versões anteriores, faça o download de todos os relatórios usando este comando:

     adb pull /mnt/sdcard/ctsVerifierReports/
     

   • Para o Android 10 e versões mais recentes, Automotivo e dispositivos executados como um usuário secundário, fazer o download o relatório mais recente usando o seguinte comando:

     adb shell content read --user CURRENT_USER --uri
     
     content://com.android.cts.verifier.testresultsprovider/reports/latest > report.zip
     

     Observação: use adb shell am get-current-user para acessar o ID CURRENT_USER.

     Para listar todos os relatórios disponíveis no dispositivo conectado:

     adb shell content query --user CURRENT_USER --uri
     
     content://com.android.cts.verifier.testresultsprovider/reports
     

     Para fazer o download de um relatório da lista, especifique o ID da linha ou nome do arquivo. Exemplo:

     adb shell content read --user CURRENT_USER --uri
     
     content://com.android.cts.verifier.testresultsprovider/reports/0 > report.zip
     
     adb shell content read --user CURRENT_USER --uri
     
     content://com.android.cts.verifier.testresultsprovider/reports/ctsVerifierReport-date-time.zip >
     report.zip
     

5. Para limpar os resultados de aprovação/reprovação, selecione os resultados no app do CTS Verifier e selecione Menu > Limpar.