Executando testes CTS

Trade Federation é uma estrutura de teste contínuo para executar testes em dispositivos Android. Para executar o Compatibility Test Suite (CTS), primeiro leia a Trade Federation Overview para obter uma explicação da estrutura de teste Tradefed.

Para executar um plano de teste:

  1. Configure Devices Under Test (DUTs) de acordo com a configuração do dispositivo Android .
  2. Certifique-se de ter instalado as versões recentes do Android Debug Bridge (adb) e do Android Asset Packaging Tool (AAPT) e adicionado o local dessas ferramentas ao caminho do sistema de sua máquina. Para obter informações sobre como instalar essas ferramentas, consulte Configurando o CTS: ADB e AAPT.
  3. Baixe as compilações CTS lançadas em sua máquina host Linux e descompacte a compilação no local do host.
  4. Conecte pelo menos um dispositivo. Para preparar o DUT:
    • Pressione o botão inicial para definir o dispositivo para a tela inicial.
    • Não use o DUT para outras tarefas.
    • Mantenha o DUT em uma posição estacionária para evitar a ativação da atividade do sensor.
    • Aponte a câmera do dispositivo para um objeto que possa ser focalizado.
    • Não pressione nenhuma tecla no dispositivo enquanto o CTS estiver em execução. Pressionar teclas ou tocar na tela de um DUT interfere na execução dos testes e pode levar a falhas nos testes.
  5. Inicie o script cts-tradefed do console CTS da pasta onde o pacote CTS foi descompactado. No shell de linha de comando do host, execute:

    ./android-cts/tools/cts-tradefed
  6. Execute o plano de teste padrão (contém todos os pacotes de teste):

    cts-tradefed > run cts
    • Se quiser melhorar o tempo de execução do teste, você pode fragmentar os testes em vários dispositivos. A fragmentação requer que o host conecte pelo menos dois dispositivos, mas seis ou mais dispositivos são recomendados para eficiência. Ao fragmentar mais de 1 dispositivo:

      • Para Android 9 e superior, use a opção de comando

        --shard-count number_of_shards
      • Para Android 8.1 e inferior, use a opção de comando

        --shards number_of_shards
    • Se você não quiser executar todo o conjunto de testes, poderá executar o plano CTS de sua escolha na linha de comando:

      run cts --plan test_plan_name

      Para encontrar o nome do plano de teste:

      • Para Android 7.0 e superior, para ver uma lista de módulos de teste, digite

        list modules
      • Para Android 6.0 e inferior, para visualizar uma lista de planos de teste no repositório, digite

        list plans
      • Para Android 6.0 e inferior, para visualizar uma lista de pacotes de teste no repositório, digite

        list packages
    • Para opções de comando adicionais dependendo das versões do CTS, consulte a referência de comando do console ou em "ajudar todos" no console do Tradefed.

  7. Execute várias sessões de repetição até que todos os módulos de teste sejam concluídos e os números de falha de teste sejam os mesmos nas duas últimas sessões de repetição.

    • Para Android 9 e superior, use

      run retry --retry session_number --shard-count number_of_shards
    • Para Android 7.0–8.1, use

      run cts --retry session_number --shards number_of_shards
    • Para opções de comando de repetição adicionais dependendo da versão do CTS, consulte CTS v2 Command Console .

    • Para entender os detalhes de implementação da nova tentativa de CTS, consulte Trade Federation Suite Retry .

  8. Visualize o progresso do teste e os resultados relatados no console.

Executando o CTS usando o Android Test Station

O Android Test Station é uma ferramenta de automação de teste que os desenvolvedores e engenheiros de teste do Android podem usar para empregar uma interface de usuário para executar conjuntos de testes padrão. Funciona com o Android Compatibility Test Suite (CTS) .

A ferramenta está disponível publicamente através do ATS User Guide e seu código é de código aberto em AOSP ( multitest_transport , tradefed_cluster ).

Executando CTS para Modos Alternativos

A versão CTS 10 R4 adiciona um plano de teste para dispositivos com modos alternativos ou para dispositivos com mais de uma tela. Para o plano de teste de modo alternativo, execute o plano de teste usando o comando run cts-foldable .

Casos de teste aprovados ou reprovados para o modo de tela alternativo são anexados com o valor de display_mode, por exemplo, testcase1[display_mode=0] .