Результаты теста CTS помещаются в файл:
CTS_ROOT/android-cts/results/start_time.zip
Если вы создали CTS самостоятельно, CTS_ROOT похож на out/host/linux-x86/cts но отличается в зависимости от платформы. Это отражает путь, по которому вы распаковали готовый официальный CTS , загруженный с этого сайта.
Внутри zip-архива файл test_result.xml содержит фактические результаты.
Отображать результаты Android 10 и более поздних версий
Файл test_result.html находится в zip-архиве, его можно открыть напрямую в любом HTML5-совместимом веб-браузере.
Отображать результаты до Android 10
Откройте файл test_result.xml в любом HTML5-совместимом веб-браузере, чтобы просмотреть результаты теста.
Если этот файл отображает пустую страницу при использовании браузера Chrome, измените конфигурацию браузера , чтобы включить флаг командной строки --allow-file-access-from-files .
Прочитать результаты теста
Подробности результатов теста зависят от того, какую версию CTS вы используете:
- CTS v1 для Android 6.0 и более ранних версий
- CTS v2 для Android 7.0 и более поздних версий
Информация об устройстве
В CTS v1 и более ранних версиях выберите «Информация об устройстве» (ссылка над сводкой теста), чтобы просмотреть подробную информацию об устройстве, встроенном ПО (производитель, модель, сборка встроенного ПО, платформа) и аппаратном обеспечении устройства (разрешение экрана, клавиатура, тип экрана). CTS v2 не отображает информацию об устройстве.
Итог теста
В разделе «Сводка теста» представлены сведения о выполненном плане тестирования, такие как имя плана CTS, а также время начала и окончания выполнения. Он также представляет совокупную сводную информацию о количестве тестов, которые были пройдены, не пройдены, истекло время ожидания или не удалось выполниться.
Сводка примера тестирования Android 10 CTS
Рисунок 1. Сводка примера теста Android 10 CTS.
Образец сводки испытаний CTS v2
Рисунок 2. Обзор образца CTS v2.
Образец сводки испытаний CTS v1
Рисунок 3. Обзор образца CTS v1
Отчет об испытаниях
В следующем разделе, отчете об испытаниях CTS, представлена сводка испытаний, пройденных для каждой упаковки.
Далее следует подробная информация о фактических проведенных тестах. В отчете перечислены пакет тестов, набор тестов, тестовый набор и выполненные тесты. Он показывает результат выполнения теста — пройдено, не выполнено, истекло время ожидания или не выполнено. В случае сбоя теста предоставляются подробные сведения, которые помогут диагностировать причину.
Кроме того, трассировка стека сбоя доступна в XML-файле, но не включается в отчет для обеспечения краткости — просмотр XML-файла с помощью текстового редактора должен предоставить подробную информацию о сбое теста (найдите тег [Test], соответствующий неудавшийся тест и найдите в нем тег [StackTrace] ).
Показать образец отчета о тестировании CTS v2
Рисунок 4. Образец отчета о тестировании CTS v2.
Показать образец отчета о тестировании CTS v1
Рисунок 5. Образец отчета о тестировании CTS v1.
Просмотрите test_result.xml на наличие неполных тестовых модулей.
Чтобы определить количество неполных модулей в данном сеансе тестирования, введите команду «список результатов». Количество завершенных модулей и общее количество модулей указаны для каждого предыдущего сеанса. Чтобы определить, какие модули являются полными, а какие неполными, откройте файл test_result.xml и прочтите значение атрибута Done для каждого модуля в отчете о результатах. Модули со значением Done = «false» не выполнены до конца.
Неудачные испытания сортировки
Используйте следующие предложения для сортировки неудачных тестов.
- Убедитесь, что ваша среда CTS настроена правильно, если тест не пройден из-за неправильных предварительных условий. Сюда входит физическая среда, настройка настольного компьютера и настройка устройства Android.
- Проверьте стабильность устройства, настройку теста или проблемы среды, если тест выглядит слишком нестабильным.
- Повторите изолированный тест, если по-прежнему не удалось.
- Проверьте внешние факторы, вызывающие сбои при тестировании, такие как:
- Экологическая установка. Например, неправильно сконфигурированная настройка настольного компьютера может быть причиной сбоев при тестировании всех тестируемых устройств (DUT) (включая эталонные устройства).
- Внешние зависимости. Например, если тест не пройден на всех устройствах на нескольких сайтах, начиная с определенного момента времени, возможно, виноват неправильный URL-адрес.
- Если DUT не включает исправление безопасности, ожидается, что его тест безопасности не пройден.
- Подтвердить и проанализировать различия между проходящими и неработающими устройствами.
- Проанализируйте утверждение, журнал, отчет об ошибке и источник CTS . Для HostTest утверждение и журнал могут быть очень общими, поэтому полезно также проверить и прикрепить logcat устройства.
- Отправьте патч для улучшения тестирования, чтобы уменьшить количество неудачных тестов.
Сохранить частичные результаты
Tradefed не сохраняет частичные результаты теста в случае неудачного вызова теста.
Если Tradefed не генерирует никаких результатов тестирования, это означает, что во время выполнения теста возникла серьезная проблема, что делает результат теста ненадежным. Частичный результат считается бесполезным, поскольку он не имеет значения при расследовании проблемы с устройством.