Wyniki testu CTS są umieszczane w pliku:
CTS_ROOT/android-cts/results/start_time.zip
Jeśli samodzielnie tworzysz pakiet CTS, CTS_ROOT przypomina out/host/linux-x86/cts, ale różni się w zależności od platformy. Jest to ścieżka do nieskompresowanego oficjalnego wstępnie skompilowanego pakietu CTS, który został pobrany z tej witryny.
W pliku ZIP plik test_result.xml zawiera rzeczywiste wyniki.
Wyświetlanie wyników na Androidzie 10 i nowszych
W archiwum ZIP znajduje się plik test_result.html, który możesz otworzyć bezpośrednio w dowolnej przeglądarce obsługującej HTML5.
Wyświetlanie wyników z czasu wcześniejszego niż Android 10
Aby wyświetlić wyniki testu, otwórz plik test_result.xml w dowolnej przeglądarce zgodnej z HTML5.
Jeśli ten plik wyświetla pustą stronę w przypadku przeglądarki Chrome, zmień konfigurację przeglądarki, aby włączyć flagę wiersza poleceń --allow-file-access-from-files.
Czytanie wyników testu
Szczegóły wyników testu zależą od używanej wersji CTS:
- CTS w wersji 1 na Androida 6.0 lub starszego
- CTS w wersji 2 na Androida 7.0 i nowszych
Informacje o urządzeniu
W wersji 1 i starszych wersji CTS wybierz Informacje o urządzeniu (link nad Informacje o teście), aby wyświetlić szczegóły dotyczące urządzenia, oprogramowania (marka, model, kompilacja oprogramowania, platforma) oraz sprzętu urządzenia (rozdzielczość ekranu, klawiatura, typ ekranu). CTS w wersji 2 nie wyświetla informacji o urządzeniu.
Podsumowanie testu
Sekcja Podsumowanie testu zawiera szczegóły wykonanego planu testu, takie jak nazwa planu CTS oraz czas rozpoczęcia i zakończenia wykonania. Zawiera on też zbiorcze podsumowanie liczby testów, które przeszły, zakończyły się niepowodzeniem, przekroczyły limit czasu lub nie mogły zostać wykonane.
Podsumowanie testów przykładowych aplikacji w ramach pakietu CTS w Androidzie 10
Rysunek 1. Podsumowanie przykładowego testu CTS Androida 10
Przykładowy test CTS w wersji 2 – podsumowanie
Ilustracja 2. Przykładowy wynik testu CTS 2
Przykładowy test CTS w wersji 1 – podsumowanie
Rysunek 3. Przykładowy wynik testu CTS w wersji 1
Raport z testu
Kolejna sekcja, raport testu CTS, zawiera podsumowanie testów przeprowadzonych w przypadku każdego pakietu.
Następnie znajdziesz szczegóły faktycznie wykonanych testów. Raport zawiera pakiet testów, zestaw testów, przypadek testowy i wykonane testy. Pokazuje wynik wykonania testu: pozytywny, negatywny, przekroczenie limitu czasu lub brak wykonania. W przypadku niepowodzenia testu podajemy szczegóły, które pomogą zdiagnozować przyczynę.
Zrzut stosu błędu jest dostępny w pliku XML, ale nie jest uwzględniany w raporcie, aby zapewnić zwięzłość. Przeglądanie pliku XML w edytorze tekstu powinno zawierać szczegółowe informacje o błędzie testu (wyszukaj tag [Test] odpowiadający nieudanemu testowi i poszukaj w nim tagu [StackTrace]).
Pokaż przykładowy raport z testu CTS w wersji 2
Rysunek 4. Przykładowy raport z testu CTS w wersji 2
Pokaż przykładowy raport z testu CTS w wersji 1
Rysunek 5. Przykładowy raport z testu CTS w wersji 1
Sprawdzanie pliku test_result.xml pod kątem niekompletnych modułów testowych
Aby określić liczbę nieukończonych modułów w danej sesji testu, uruchom polecenie „list results”. Liczba ukończonych modułów i łączna liczba modułów są wymienione dla każdej poprzedniej sesji. Aby określić, które moduły są ukończone, a które nie, otwórz plik test_result.xml i odczytaj wartość atrybutu „done” (ukończono) w raporcie wyników dla każdego modułu. Moduł z wartością done = „false” nie został uruchomiony do końca.
Podział błędów testów na grupy
Aby określić przyczyny niepowodzenia testów, skorzystaj z podanych niżej sugestii.
- Jeśli test kończy się niepowodzeniem z powodu nieprawidłowych warunków wstępnych, sprawdź, czy środowisko CTS jest prawidłowo skonfigurowane. Obejmuje to środowisko fizyczne, konfigurację komputera i urządzenia z Androidem.
- Sprawdź stabilność urządzenia, konfigurację testu lub problemy ze środowiskiem, jeśli test wydaje się zbyt niestabilny.
- Jeśli problem nie ustąpi, ponów test odizolowany.
- Sprawdź, czy niepowodzenia testów nie są spowodowane czynnikami zewnętrznymi, takimi jak:
- Konfiguracja środowiska. Na przykład nieprawidłowo skonfigurowana konfiguracja komputera stacjonarnego może być przyczyną niepowodzeń testów na wszystkich urządzeniach testowanych (w tym na urządzeniach referencyjnych).
- Zależności zewnętrzne. Jeśli na przykład test nie powiedzie się na wszystkich urządzeniach w kilku witrynach od określonego momentu, może to być spowodowane nieprawidłowym adresem URL.
- Jeśli DUT nie zawiera poprawki zabezpieczeń, należy się spodziewać niepowodzenia testu zabezpieczeń.
- Sprawdź i przeanalizuj różnice między urządzeniami, które przeszły test, a tymi, które go nie przeszły.
- Przeanalizuj założenie, log, raport o błędzie i źródło CTS. W przypadku HostTest asercja i log mogą być bardzo ogólne, dlatego warto też sprawdzić i dołączyć logcat urządzenia.
- Prześlij poprawkę poprawiającą testy, aby zmniejszyć liczbę niepowodzeń.
Zapisywanie częściowych wyników
Tradefed nie zapisuje częściowych wyników testów, gdy wywołanie testu się nie uda.
Jeśli narzędzie Tradefed nie generuje żadnych wyników testu, oznacza to, że podczas jego przeprowadzania wystąpił poważny problem, przez co wynik testu jest niewiarygodny. Częściowy wynik jest uznawany za nieprzydatny, ponieważ nie dostarcza wartości podczas analizowania problemu z urządzeniem.