Wyniki testu CTS są umieszczane w pliku:
CTS_ROOT/android-cts/results/start_time.zip
Jeśli CTS został utworzony przez Ciebie, CTS_ROOT przypomina out/host/linux-x86/cts, ale różni się w zależności od platformy. Jest to ścieżka do nieskompresowanego oficjalnego wstępnie skompilowanego pakietu CTS, który został pobrany z tej witryny.
W pliku ZIP plik test_result.xml zawiera rzeczywiste wyniki.
Wyświetlanie wyników na Androidzie 10 i nowszych
W archiwum ZIP znajduje się plik test_result.html, który możesz otworzyć bezpośrednio w dowolnej przeglądarce obsługującej HTML5.
Wyświetlanie wyników z czasu wcześniejszego niż Android 10
Aby wyświetlić wyniki testu, otwórz plik test_result.xml w dowolnej przeglądarce zgodnej z HTML5.
Jeśli ten plik wyświetla pustą stronę w przypadku przeglądarki Chrome, zmień konfigurację przeglądarki, aby włączyć flagę wiersza poleceń --allow-file-access-from-files.
Czytanie wyników testu
Szczegóły wyników testu zależą od używanej wersji CTS:
- CTS w wersji 1 na Androida 6.0 i starszych
- CTS w wersji 2 na Androida 7.0 i nowszych
Informacje o urządzeniu
W wersji 1 i starszych wersji CTS wybierz Informacje o urządzeniu (link nad Informacje o teście), aby wyświetlić szczegóły dotyczące urządzenia, oprogramowania (marka, model, kompilacja oprogramowania, platforma) oraz sprzętu urządzenia (rozdzielczość ekranu, klawiatura, typ ekranu). Pakiet CTS 2 nie wyświetla informacji o urządzeniu.
Podsumowanie testu
Sekcja Podsumowanie testu zawiera szczegóły wykonanego planu testu, takie jak nazwa planu CTS oraz czas rozpoczęcia i zakończenia wykonania. Zawiera on też zbiorcze podsumowanie liczby testów, które przeszły, zakończyły się niepowodzeniem, przekroczyły limit czasu lub nie mogły zostać wykonane.
Podsumowanie testów przykładowych aplikacji w ramach pakietu CTS w Androidzie 10
Rysunek 1. Podsumowanie przykładowych testów CTS w Androidzie 10
Przykładowy test CTS w wersji 2 – podsumowanie
Ilustracja 2. Przykładowy wynik testu CTS 2
Przykładowy test CTS w wersji 1 – podsumowanie
Rysunek 3. Przykładowy wynik testu CTS w wersji 1
Raport z testu
Kolejna sekcja, raport testu CTS, zawiera podsumowanie testów przeprowadzonych w przypadku każdego pakietu.
Następnie znajdziesz szczegóły przeprowadzonych testów. Raport zawiera informacje o pakiecie testów, zestawie testów, przypadku testowym i wykonanych testach. Pokazuje wynik wykonania testu: pozytywny, negatywny, przekroczenie limitu czasu lub brak wykonania. W przypadku niepowodzenia testu podajemy szczegóły, które pomogą zdiagnozować przyczynę.
Ponadto ślad wywołania błędu jest dostępny w pliku XML, ale nie jest uwzględniany w raporcie, aby zachować jego zwięzłość. Wyświetlanie pliku XML w edytorze tekstu powinno umożliwić uzyskanie szczegółowych informacji o błędzie testu (wyszukaj tag [Test] odpowiadający nieudanemu testowi i w jego obrębie znajdź tag [StackTrace]).
Przykładowy raport z testu CTS v2
Rys. 4. Przykładowy raport z testu CTS v2
Przykładowy raport z testu CTS w wersji 1
Rysunek 5. Przykładowy raport z testu CTS w wersji 1
Sprawdzanie pliku test_result.xml pod kątem niekompletnych modułów testowych
Aby określić liczbę nieukończonych modułów w danej sesji testu, uruchom polecenie „list results”. Liczba ukończonych modułów i łączna liczba modułów są wymienione dla każdej poprzedniej sesji. Aby określić, które moduły są ukończone, a które nie, otwórz plik test_result.xml i odczytaj wartość atrybutu „done” (ukończono) w raporcie wyników dla każdego modułu. Moduł, którego wartość w polu done = „false” (fałsz), nie został uruchomiony do końca.
Podział testów na grupy w zależności od ich rodzaju
Aby określić, które testy się nie powiodły, skorzystaj z podanych niżej sugestii.
- Jeśli test się nie powiedzie z powodu nieprawidłowych warunków wstępnych, sprawdź, czy środowisko CTS jest prawidłowo skonfigurowane. Obejmuje to środowisko fizyczne, konfigurację komputera i urządzenia z Androidem.
- Sprawdź stabilność urządzenia, konfigurację testu lub problemy ze środowiskiem, jeśli test wydaje się zbyt niestabilny.
- Jeśli test nadal się nie powiedzie, powtórz go osobno.
- Sprawdź, czy niepowodzenia testów nie są spowodowane czynnikami zewnętrznymi, takimi jak:
- Konfiguracja środowiska. Na przykład nieprawidłowo skonfigurowana konfiguracja komputera stacjonarnego może być przyczyną niepowodzeń testów na wszystkich urządzeniach testowanych (w tym na urządzeniach referencyjnych).
- Zależności zewnętrzne. Jeśli na przykład test nie powiedzie się na wszystkich urządzeniach w kilku witrynach od określonego momentu, może to być spowodowane nieprawidłowym adresem URL.
- Jeśli DUT nie zawiera poprawki zabezpieczeń, test zabezpieczeń powinien się nie powieść.
- Sprawdź i przeanalizuj różnice między urządzeniami, które przeszły test, a tymi, które go nie przeszły.
- Przeanalizuj assercję, log, raport o błędzie i źródło CTS. W przypadku HostTestu założenia i dziennik mogą być bardzo ogólne, dlatego warto też sprawdzić i dołączyć logcat urządzenia.
- Prześlij poprawkę poprawiającą testy, aby zmniejszyć liczbę niepowodzeń.
Zapisywanie częściowych wyników
W przypadku niepowodzenia wywołania testu Tradefed nie zapisuje częściowych wyników testu.
Jeśli narzędzie Tradefed nie generuje żadnych wyników testu, oznacza to, że podczas jego przeprowadzania wystąpił poważny problem, przez co wynik testu jest niewiarygodny. Częściowe wyniki są uznawane za nieprzydatne, ponieważ nie dostarczają wartości podczas analizowania problemu z urządzeniem.