CTS 결과 해석

CTS 테스트 결과는 다음 파일에 포함됩니다.

CTS_ROOT/android-cts/results/start_time.zip

CTS를 직접 빌드했다면 CTS_ROOT는 out/host/linux-x86/cts와 비슷하지만, 플랫폼에 따라 다릅니다. 여기에는 이 사이트에서 다운로드한 미리 빌드된 공식 CTS를 압축 해제한 경로가 반영됩니다.

ZIP 파일 내 test_result.xml 파일에 실제 결과가 포함됩니다.

Android 10 및 이후 버전 결과 표시

ZIP 파일 내에 test_result.html 파일이 있으면 모든 HTML5 호환 웹브라우저에서 직접 열 수 있습니다.

Android 10 및 이전 버전 결과 표시

테스트 결과를 보려면 HTML5 호환 웹브라우저에서 test_result.xml 파일을 엽니다.

Chrome 브라우저를 사용할 때 이 파일이 빈 페이지로 표시되면 브라우저 구성을 변경하여 --allow-file-access-from-files 명령줄 플래그를 사용 설정하세요.

테스트 결과 읽기

테스트 결과의 세부정보는 사용 중인 CTS의 버전에 따라 다릅니다.

  • Android 6.0 이하용 CTS v1
  • Android 7.0 이상용 CTS v2

기기 정보

CTS v1 이하에서 기기, 펌웨어(제조업체, 모델, 펌웨어 빌드, 플랫폼), 기기 하드웨어(화면 해상도, 키패드, 화면 유형)에 관한 세부정보를 보려면 기기 정보(테스트 요약 위의 링크)를 선택하세요. CTS v2는 기기 정보를 표시하지 않습니다.

테스트 요약

테스트 요약 섹션은 CTS 계획 이름, 실행 시작 및 종료 시간과 같은 실행된 테스트 계획 세부정보를 제공합니다. 또한 통과, 실패 또는 시간이 초과되거나 실행할 수 없는 테스트 수의 집계 요약을 보여줍니다.

Android 10 CTS 샘플 테스트 요약

Android 10 CTS 테스트 요약

그림 1: Android 10 CTS 샘플 테스트 요약

CTS v2 샘플 테스트 요약

CTS v2 테스트 요약

그림 2: CTS v2 샘플 테스트 요약

CTS v1 샘플 테스트 요약

CTS v1 테스트 요약

그림 3: CTS v1 샘플 테스트 요약

테스트 보고서

다음 섹션인 CTS 테스트 보고서는 패키지별로 통과한 테스트의 요약을 제공합니다.

요약 뒤에는 실행된 실제 테스트의 세부정보가 나옵니다. 보고서에는 테스트 패키지, 테스트 모음, 테스트 사례 및 실행된 테스트가 나열되며 테스트 실행 결과(통과, 실패, 시간 초과, 실행되지 않음)가 표시됩니다. 테스트 실패의 경우 원인을 진단하는 데 도움이 되는 세부정보가 제공됩니다.

또한, XML 파일에 실패의 스택 트레이스가 포함되지만, 간결성을 위해 보고서에는 포함되지 않습니다. 텍스트 편집기로 XML 파일을 보면 테스트 실패의 세부정보를 확인할 수 있습니다(실패한 테스트에 상응하는 [Test] 태그를 검색하고 그 안에서 [StackTrace] 태그 검색).

CTS v2 샘플 테스트 보고서 표시

CTS v2 테스트 보고서

그림 4: CTS v2 샘플 테스트 보고서

CTS v1 샘플 테스트 보고서 표시

CTS v1 테스트 보고서

그림 5: CTS v1 샘플 테스트 보고서

test_result.xml을 검토하여 불완전한 테스트 모듈 확인

주어진 테스트 세션의 불완전 모듈 수를 확인하려면 'list results' 명령어를 실행하세요. 이전 세션마다 완료된 모듈 수와 총 모듈 수가 표시됩니다. 완료된 모듈과 불완전한 모듈을 확인하려면 test_result.xml 파일을 열고 결과 보고서 내 각 모듈의 'done' 속성 값을 읽어보세요. done = 'false'라는 값이 포함된 모듈은 실행을 완료하지 못한 것입니다.

테스트 실패 분류

다음 제안사항을 사용하여 테스트 실패를 분류하세요.

  • 잘못된 전제 조건으로 테스트가 실패하는 경우 CTS 환경이 올바르게 설정되었는지 확인합니다. 여기에는 실제 환경과 데스크톱 컴퓨터 설정, Android 기기 설정이 포함됩니다.
  • 테스트가 지나치게 불안정해 보이는 경우 기기 안정성이나 테스트 설정, 환경 문제를 확인합니다.
  • 그래도 테스트가 실패하면 테스트를 개별적으로 다시 시도합니다.
  • 다음과 같이 테스트 실패를 일으키는 외부 요인을 확인합니다.
    • 환경 설정. 예를 들어 데스크톱 컴퓨터 설정이 잘못 구성되면 참조 기기를 비롯한 모든 테스트 대상 기기(DUT)에서 테스트가 실패할 수 있습니다.
    • 외부 종속 항목. 예를 들어 특정 시점에 시작하여 여러 사이트의 모든 기기에서 테스트가 실패하면 잘못된 URL이 원인일 수 있습니다.
    • DUT에 보안 패치가 포함되어 있지 않으면 보안 테스트 실패가 예상됩니다.
  • 통과한 기기와 실패한 기기 간의 차이점을 확인하고 분석합니다.
  • 어설션과 로그, 버그 신고, CTS 소스를 분석합니다. HostTest의 경우 어설션과 로그가 매우 일반적일 수 있으므로 기기 logcat을 확인하고 연결하는 것도 유용합니다.
  • 테스트 실패를 줄일 수 있도록 테스트 개선 패치를 제출합니다.

부분 결과 저장

Tradefed는 테스트 호출 실패 시 테스트의 부분 결과를 저장하지 않습니다.

Tradefed에서 테스트 결과를 생성하지 않는 경우 이는 테스트 실행 중에 심각한 문제가 발생하여 테스트 결과를 신뢰할 수 없다는 의미입니다. 부분 결과는 기기 문제를 조사할 때 가치가 없으므로 유용하지 않은 것으로 간주됩니다.