Interpretare i risultati del CTS

I risultati del test CTS vengono inseriti nel file:

CTS_ROOT/android-cts/results/start_time.zip

Se hai costruito personalmente il CTS, CTS_ROOT assomiglia out/host/linux-x86/cts, ma varia in base alla piattaforma. Questo riflette il percorso in cui hai decompresso il CTS ufficiale predefinito scaricato da questo sito.

All'interno del file ZIP, il file test_result.xml contiene i risultati effettivi.

Mostra i risultati di Android 10 e versioni successive

Nell'archivio ZIP è presente un file test_result.html, puoi aprirlo direttamente in qualsiasi browser web compatibile con HTML5

Visualizza i risultati precedenti ad Android 10

Apri il file test_result.xml in qualsiasi browser web compatibile con HTML5 per visualizzare il test risultati

Se questo file visualizza una pagina vuota quando utilizzi il browser Chrome, modificare la configurazione del browser per abilitare il flag della riga di comando --allow-file-access-from-files.

Leggi i risultati del test

I dettagli dei risultati del test dipendono dalla versione di CTS in uso:

• CTS v1 per Android 6.0 e versioni precedenti
• CTS v2 per Android 7.0 e versioni successive

di Gemini Advanced.

Nota: i risultati vengono forniti per aiutarti a garantire che il rimane compatibile durante l'intero processo di sviluppo e agiscono come formato comune per comunicare lo stato di compatibilità del dispositivo con altre parti.

Informazioni sul dispositivo

In CTS v1 e precedenti, seleziona Informazioni del dispositivo (link sopra il Riepilogo dei test) per visualizzare i dettagli del dispositivo, firmware (marca, modello, build firmware, piattaforma), e l'hardware del dispositivo (risoluzione dello schermo, tastierino, tipo di schermo). CTS v2 non visualizzare le informazioni del dispositivo.

Riepilogo dei test

La sezione Riepilogo dei test fornisce dettagli sul piano di test eseguito, ad esempio il CTS il nome del piano e le ore di inizio e di fine dell'esecuzione. Presenta anche un insieme riepilogo del numero di test superati, non riusciti, scaduti o non riusciti eseguito.

Nota: Ignorato indica che il test non è stato eseguito ed è stato completamente ignorato. Errore di ipotesi indica che una condizione preliminare del test non è stato soddisfatto e il test è stato interrotto. Sia Ignorato che Assunzione Gli errori vengono considerati come Pass.

Riepilogo del test di esempio per Android 10 CTS

Figura 1: riepilogo del test di esempio per Android 10 CTS

Riepilogo del test di esempio CTS v2

Figura 2: riepilogo del test di esempio CTS v2

Riepilogo del test di esempio CTS v1

Figura 3: riepilogo del test di esempio CTS v1

Report del test

La sezione successiva, il report sul test CTS, fornisce un riepilogo dei test superati per pacchetto.

Seguono i dettagli dei test effettivi che sono stati eseguiti. Il report che elenca il pacchetto di test, la suite di test, lo scenario di test e i test eseguiti. Mostra il risultato dell'esecuzione del test (superata, non riuscita, scaduta o non eseguita). Nella in caso di errore di un test vengono forniti dettagli per aiutare a diagnosticare la causa.

Inoltre, l'analisi dello stack dell'errore è disponibile nel file XML, ma non incluso nel report per garantire la brevità, visualizzando il file XML con un editor di testo Deve fornire dettagli sull'esito negativo del test (cerca il tag [Test]) corrispondente al test non riuscito e cerca il tag [StackTrace] al suo interno.

Mostra esempio di report di prova CTS v2

Figura 4: esempio di report sul test CTS v2

Mostra esempio di report di prova CTS v1

Figura 5: esempio di report sul test CTS v1

Esamina test_result.xml per i moduli di test incompleti

Per determinare il numero di moduli incompleti in una determinata sessione di test, esegui "elenca risultati". Il numero di moduli completati e di moduli totali viene elencate per ogni sessione precedente. Per determinare quali moduli sono completi e quali non completo, apri il file test_result.xml e leggi il valore del parametro "done" per ciascun modulo nel report sui risultati. Moduli con valore completato = "false" non sono state eseguite fino al completamento.

Errori nel test di classificazione

Utilizza i suggerimenti seguenti per valutare gli errori nei test.

• Verifica il tuo Ambiente CTS sia configurato correttamente, se un test non riesce a causa di precondizioni errate. Ciò include l'ambiente fisico, la configurazione del computer desktop e Configurazione dispositivo Android.
• Verificare la stabilità del dispositivo, la configurazione dei test o problemi relativi all'ambiente. se un test appare eccessivamente instabile.
• Riprova a eseguire il test in modo isolato se il problema persiste.
• Controlla i fattori esterni che causano errori nei test, ad esempio:
  • Configurazione ambientale. Ad esempio, un computer desktop configurato in modo errato potrebbe essere la causa degli errori nei test che si verificano su tutti Test (DUT) (inclusi i dispositivi di riferimento).
  • Dipendenze esterne. Ad esempio, se un test non va a buon fine su tutti i dispositivi in più siti che iniziano da un momento specifico, un URL non valido potrebbe in colpa.
  • Se il DUT non include il documento l'errore del test di sicurezza è previsto.
• Convalida e analizza le differenze tra dispositivi approvati e non funzionanti.
• Analizza l'asserzione, il log, la segnalazione di bug e Sorgente CTS. Per un HostTest, asserzione e log possono essere molto generici, quindi è utile controlla e collega il logcat del dispositivo.
• Invia una patch di miglioramento dei test per ridurre gli errori dei test.

Salva risultati parziali

Tradefed non salva i risultati del test parziali quando la chiamata del test non va a buon fine.

Quando Tradefed non genera risultati di test, significa che è stato riscontrato un problema grave. avvenuti durante l'esecuzione del test, rendendo il risultato del test inaffidabile. Il risultato parziale è considerato inutile in quanto non fornisce alcun valore quando analisi dei problemi del dispositivo.