Kết quả kiểm tra CTS được đặt trong tệp:
CTS_ROOT/android-cts/results/start_time.zip
Nếu bạn đã tự xây dựng CTS, CTS_ROOT sẽ giống như
out/host/linux-x86/cts nhưng khác nhau tuỳ theo nền tảng. Cột này phản ánh đường dẫn mà
bạn đã giải nén CTS chính thức được tạo sẵn
đã tải xuống từ trang web này.
Bên trong tệp zip, tệp test_result.xml chứa các kết quả thực tế.
Hiện kết quả về Android 10 trở lên
Tệp test_result.html tồn tại trong kho lưu trữ zip, bạn có thể mở tệp đó trực tiếp trong mọi trình duyệt web tương thích với HTML5
Hiện kết quả cho phiên bản trước Android 10
Mở tệp test_result.xml trong bất kỳ trình duyệt web nào tương thích với HTML5 để xem kết quả thử nghiệm kết quả
Nếu tệp này hiển thị một trang trống khi sử dụng trình duyệt Chrome,
thay đổi cấu hình trình duyệt của bạn
để bật cờ dòng lệnh --allow-file-access-from-files.
Đọc kết quả kiểm tra
Chi tiết của kết quả kiểm thử phụ thuộc vào phiên bản CTS mà bạn đang sử dụng:
- CTS phiên bản 1 cho Android 6.0 trở xuống
- CTS phiên bản 2 dành cho Android 7.0 trở lên
Thông tin thiết bị
Trong CTS v1 trở về trước, hãy chọn Device Information (liên kết bên trên Test Summary) để xem thông tin chi tiết về thiết bị, chương trình cơ sở (nhà sản xuất, kiểu máy, bản dựng chương trình cơ sở, nền tảng), và phần cứng thiết bị (độ phân giải màn hình, bàn phím, loại màn hình). CTS v2 không hiển thị thông tin thiết bị.
Tóm tắt thử nghiệm
Phần Tóm tắt kiểm thử cung cấp thông tin chi tiết về kế hoạch kiểm thử đã thực thi, chẳng hạn như CTS tên kế hoạch cũng như thời gian bắt đầu và kết thúc thực thi. Báo cáo này cũng cung cấp thông tin tổng hợp thông tin tóm tắt về số lượng thử nghiệm đã vượt qua, không thành công, hết thời gian chờ hoặc không thể thực thi.
Tóm tắt kiểm thử mẫu Android 10 CTS
Hình 1: Bản tóm tắt kiểm thử mẫu CTS của Android 10
Tóm tắt về thử nghiệm mẫu CTS phiên bản 2
Hình 2: Tóm tắt thử nghiệm mẫu CTS v2
Tóm tắt về thử nghiệm mẫu CTS v1
Hình 3: Tóm tắt thử nghiệm mẫu CTS v1
Báo cáo thử nghiệm
Phần tiếp theo, báo cáo kiểm thử CTS, cung cấp bản tóm tắt các kiểm thử đã đạt .
Tiếp theo là thông tin chi tiết về các chương trình kiểm thử thực tế đã thực thi. Báo cáo liệt kê gói kiểm thử, bộ kiểm thử, trường hợp kiểm thử và các chương trình kiểm thử đã thực thi. Chiến dịch này cho thấy kết quả của lượt chạy kiểm thử—đạt, không thành công, hết thời gian chờ hoặc không được thực thi. Trong trường hợp kiểm thử không thành công thông tin chi tiết được cung cấp nhằm giúp chẩn đoán nguyên nhân.
Ngoài ra, dấu vết ngăn xếp của lỗi có trong tệp XML nhưng không được đưa vào báo cáo để đảm bảo tính ngắn gọn, tức là xem tệp XML bằng trình chỉnh sửa văn bản sẽ cung cấp thông tin chi tiết về lỗi kiểm thử (tìm kiếm thẻ [Test] tương ứng với kiểm thử không thành công và tìm thẻ [StackTrace] trong kiểm thử đó).
Hiện báo cáo thử nghiệm mẫu CTS v2
Hình 4: Báo cáo thử nghiệm mẫu CTS v2
Hiện báo cáo thử nghiệm mẫu CTS v1
Hình 5: Báo cáo thử nghiệm mẫu CTS v1
Xem xét test_result.xml để biết các mô-đun kiểm thử chưa hoàn chỉnh
Để xác định số lượng mô-đun chưa hoàn tất trong một phiên kiểm thử nhất định, hãy chạy "liệt kê kết quả". Số lượng Mô-đun đã hoàn thành và Tổng số Mô-đun là được liệt kê cho mỗi phiên trước đó. Để xác định mô-đun nào đã hoàn chỉnh so với chưa hoàn tất, hãy mở tệp test_result.xml rồi đọc giá trị của dòng cho từng mô-đun trong báo cáo kết quả. Mô-đun có giá trị được hoàn tất = "sai" chưa hoàn tất.
Phân loại các lần kiểm thử không thành công
Làm theo các đề xuất sau để phân loại các lần kiểm thử không thành công.
- Xác minh Môi trường CTS được thiết lập chính xác nếu kiểm thử không thành công do điều kiện tiên quyết không chính xác. Quy định này bao gồm môi trường thực tế, cách thiết lập máy tính và Thiết lập thiết bị Android.
- Xác minh độ ổn định của thiết bị, chế độ thiết lập thử nghiệm hoặc vấn đề về môi trường, nếu kết quả kiểm tra có vẻ không ổn định quá mức.
- Hãy thử lại quá trình kiểm thử một cách riêng biệt nếu vẫn không thành công.
- Kiểm tra các yếu tố bên ngoài gây ra thất bại trong kiểm thử, chẳng hạn như:
- Thiết lập môi trường. Ví dụ: một máy tính bị định cấu hình sai quá trình thiết lập có thể là nguyên nhân gây ra lỗi kiểm thử xảy ra trên tất cả các thiết bị Thử nghiệm (DUT) (bao gồm cả thiết bị tham chiếu).
- Các phần phụ thuộc bên ngoài. Ví dụ: nếu kiểm thử không thành công trên tất cả các thiết bị trong nhiều trang web bắt đầu tại một thời điểm cụ thể, thì URL không hợp lệ có thể có lỗi.
- Nếu DUT không bao gồm dữ liệu bảo mật bản vá, có khả năng không kiểm tra được tính bảo mật của bản vá.
- Xác thực và phân tích sự khác biệt giữa thiết bị truyền và thiết bị không đạt.
- Phân tích câu nhận định, nhật ký, báo cáo lỗi và Nguồn CTS. Đối với HostTest, câu nhận định và nhật ký có thể rất chung chung nên sẽ rất hữu ích cũng kiểm tra và đính kèm logcat của thiết bị.
- Gửi bản vá cải tiến kiểm thử để giúp giảm thiểu các lần thất bại trong kiểm thử.
Lưu một phần kết quả
Tradefeed không lưu kết quả kiểm thử một phần khi lệnh gọi kiểm thử không thành công.
Khi Tradefeed không tạo ra bất kỳ kết quả thử nghiệm nào, điều này có nghĩa là đã xảy ra một vấn đề nghiêm trọng xảy ra trong lần chạy kiểm thử, khiến kết quả kiểm thử không đáng tin cậy. Kết quả không trọn vẹn bị coi là không hữu ích vì không có giá trị khi đang điều tra sự cố thiết bị.