Una suite tende a includere diversi moduli di test e può raggiungere una dimensione del corpus di test piuttosto ampia. Ad esempio, Android Compatibility Test Suite (CTS) include centinaia di moduli e centinaia di migliaia di casi di test.
Diventa possibile che una grande quantità di test fallisca a causa di uno scarso isolamento o di dispositivi in cattivo stato.
La funzione di ripetizione dei tentativi della suite ha lo scopo di risolvere questi casi: ti consente di riprovare solo gli errori anziché le suite complete per escludere instabilità e scarso isolamento. Se un test fallisce costantemente, anche il nuovo tentativo fallisce; e ottieni un segnale molto più forte che c'è un vero problema.
Implementa un nuovo tentativo di suite
Il nuovo tentativo dei risultati comporta la lettura dei risultati precedenti e la riesecuzione della chiamata precedente.
L'interfaccia principale che guida il nuovo tentativo è ITestSuiteResultLoader , che consente di caricare un risultato precedente e la riga di comando precedente.
RetryRescheduler utilizza quindi queste informazioni per ricreare il comando precedente e popolare alcuni filtri in modo da eseguire nuovamente solo i precedenti errori o test non eseguiti.
Esempio di nuovo tentativo di suite: CTS
La configurazione dei tentativi in CTS è:
<configuration description="Runs a retry of a previous CTS session.">
<object type="previous_loader" class="com.android.compatibility.common.tradefed.result.suite.PreviousResultLoader" />
<test class="com.android.tradefed.testtype.suite.retry.RetryRescheduler" />
<logger class="com.android.tradefed.log.FileLogger">
<option name="log-level-display" value="WARN" />
</logger>
</configuration>
Questo è applicabile alla maggior parte delle suite che lo estendono, ad esempio VTS .
Sarebbe invocato con:
cts-tradefed run retry --retry <session>
La sessione verrebbe trovata elencando i risultati precedenti nella console CTS:
cts-tf > l r
Session Pass Fail Modules Complete Result Directory Test Plan Device serial(s) Build ID Product
0 2092 30 148 of 999 2018.10.29_14.12.57 cts [serial] P Pixel
L'esatto comando originale verrà ricaricato e rieseguito con filtri extra. Ciò significa che se il tuo comando originale includeva alcune opzioni, anche queste fanno parte del nuovo tentativo.
Per esempio:
cts-tradefed run cts-dev -m CtsGestureTestCases
Il nuovo tentativo di quanto sopra è sempre associato a CtsGestureTestCases perché stiamo riprovando un comando che lo ha coinvolto solo.
Configura i tentativi per la suite in stile CTS
Affinché il nuovo tentativo funzioni, i risultati precedenti devono essere esportati in formato proto. Occorre aggiungere quanto segue:
<result_reporter class="com.android.compatibility.common.tradefed.result.suite.CompatibilityProtoResultReporter" />
Questo deve essere aggiunto alla configurazione XML del comando principale e comporta la creazione di un file test-record.pb nella cartella dei risultati.
Il nuovo tentativo CTS carica quindi i dati da una combinazione di test-record.pb e il test_result.xml esistente per preparare l'invocazione del nuovo tentativo.