Nova tentativa de teste automático

Um teste pode falhar por qualquer motivo e, às vezes, simplesmente executar novamente o teste é suficiente para fazê-lo passar novamente (devido a falhas, como problemas na infraestrutura subjacente). Você pode configurar o Tradefed para realizar a nova tentativa automaticamente.

O cerne da repetição automática é evitar a reexecução de todos os testes; ele executa novamente apenas os testes com falha, resultando em grande economia no tempo de execução.

O Tradefed também suporta a execução de testes várias vezes para detectar falhas por meio do recurso de iterações . Nesse caso, todos os testes serão executados novamente e o teste falhará se qualquer uma das iterações falhar.

Habilitando o recurso

A nova tentativa automática é controlada por meio do objeto RetryDecision que fornece duas opções para habilitar o recurso: max-testcase-run-count e retry-strategy .

max-testcase-run-count orienta o número de tentativas ou iterações que serão feitas. Ele define um limite superior para evitar novas tentativas para sempre. retry-strategy orienta a decisão de como tentar novamente; consulte as seções a seguir para obter mais detalhes.

Desativando

Use a seguinte opção:

--retry-strategy NO_RETRY

Repetindo falhas

Para repetir as falhas de teste, use as seguintes opções:

--retry-strategy RETRY_ANY_FAILURE --max-testcase-run-count X

Isso repetirá a falha até que ela passe ou até que o número máximo de tentativas seja atingido, o que ocorrer primeiro.

Iterações

Para executar novamente os testes por um determinado período, as seguintes opções podem ser usadas:

--retry-strategy ITERATIONS --max-testcase-run-count X

Como são os resultados?

Os relatores de resultados por padrão receberão resultados agregados de todas as tentativas.

Por exemplo: uma Fail e uma RETRY_ANY_FAILURE Pass em uma aprovação agregada Pass pois a nova tentativa conseguiu limpar a falha.

É possível que os relatores recebam os resultados não agregados. Para fazer isso, eles precisam estender a interface ISupportGranularResults que declara suporte para os resultados granulares (não agregados).

Detalhes de implementação

Para habilitar a repetição automática para executar novamente as falhas no nível do caso de teste, implemente ITestFilterReceiver .

Se você não puder implementar ITestFilterReceiver, poderá implementar IAutoRetriableTest para controlar manualmente como a reexecução funciona. InstalledInstrumentationsTest é um exemplo de implementação dessa interface.