Chạy thử nghiệm CTS

Trade Federation là một khung kiểm thử liên tục để chạy kiểm thử trên thiết bị Android. Để chạy Bộ kiểm tra tính tương thích (CTS), trước tiên hãy đọc Tổng quan về Liên đoàn Thương mại để biết nội dung giải thích về khung kiểm thử Tradefeed.

Cách chạy kế hoạch kiểm thử:

  1. Thiết lập Thiết bị cần kiểm thử (DUT) theo Thiết lập thiết bị Android.
  2. Đảm bảo rằng bạn đã cài đặt các phiên bản mới nhất của cả Cầu gỡ lỗi Android (adb) và Công cụ đóng gói tài nguyên Android (AAPT), đồng thời thêm vị trí của các công cụ đó vào đường dẫn hệ thống của máy. Để biết thông tin về cách cài đặt các công cụ đó, hãy xem Thiết lập CTS: ADB và AAPT.
  3. Tải các bản dựng CTS đã phát hành xuống máy chủ lưu trữ Linux và giải nén bản dựng đó vào vị trí lưu trữ.
  4. Hãy kết nối ít nhất một thiết bị. Cách chuẩn bị DUT:
    • Nhấn nút màn hình chính để đặt thiết bị vào màn hình chính.
    • Không sử dụng DUT cho bất kỳ tác vụ nào khác.
    • Giữ DUT ở vị trí cố định để tránh kích hoạt hoạt động của cảm biến.
    • Hướng camera của thiết bị vào một vật thể có thể lấy nét.
    • Không nhấn bất kỳ phím nào trên thiết bị trong khi CTS đang chạy. Việc nhấn phím hoặc chạm vào màn hình của DUT sẽ gây cản trở cho các chương trình kiểm thử đang chạy và có thể dẫn đến việc kiểm thử không thành công.

  5. Chạy tập lệnh cts-tradefed của bảng điều khiển CTS từ thư mục có CTS gói đã được giải nén. Trên màn hình dòng lệnh của máy chủ, hãy chạy:

    ./android-cts/tools/cts-tradefed

  6. Chạy kế hoạch kiểm thử mặc định (chứa tất cả các gói kiểm thử):

    cts-tradefed > run cts

    • Nếu muốn cải thiện thời gian thực thi kiểm thử, bạn có thể phân đoạn kiểm thử trên nhiều thiết bị. Tính năng phân đoạn yêu cầu máy chủ lưu trữ kết nối ít nhất 2 thiết bị, nhưng bạn nên kết nối 6 thiết bị trở lên để đạt được hiệu quả. Khi phân đoạn cho nhiều thiết bị:

      • Đối với Android 9 trở lên, hãy sử dụng tuỳ chọn lệnh

        --shard-count number_of_shards

      • Đối với Android 8.1 trở xuống, hãy sử dụng tuỳ chọn lệnh

        --shards number_of_shards

    • Nếu không muốn chạy toàn bộ bộ kiểm thử, bạn có thể chạy GóiCTS mà bạn chọn dòng lệnh:

      run cts --plan test_plan_name

      Cách tìm tên kế hoạch kiểm thử:

      • Đối với Android 7.0 trở lên, để xem danh sách các mô-đun kiểm thử, hãy nhập

        list modules

      • Đối với Android 6.0 trở xuống, để xem danh sách các gói kiểm thử trong kho lưu trữ, nhập

        list plans

      • Đối với Android 6.0 trở xuống, để xem danh sách các gói kiểm thử trong kho lưu trữ, nhập

        list packages

    • Để biết các tuỳ chọn lệnh khác tuỳ thuộc vào phiên bản CTS, hãy tham khảo tài liệu tham khảo về lệnh trong Console, hoặc trong phần "trợ giúp tất cả" trong bảng điều khiển Tradefeed.

  7. Chạy nhiều phiên Thử lại cho đến khi tất cả mô-đun kiểm thử hoàn tất và số lần kiểm thử không thành công giống nhau trong hai phiên thử lại gần đây nhất.

    • Đối với Android 9 trở lên, hãy sử dụng

      run retry --retry session_number --shard-count number_of_shards

    • Đối với Android 7.0–8.1, hãy sử dụng

      run cts --retry session_number --shards number_of_shards

    • Để biết thêm các tuỳ chọn lệnh Thử lại tuỳ thuộc vào phiên bản CTS, hãy xem Bảng điều khiển lệnh CTS v2.

    • Để hiểu thông tin chi tiết về cách triển khai tính năng thử lại CTS, hãy xem bài viết Thử lại Trade Federation Suite.

  8. Chỉ chạy phiên thử lại trên các lần kiểm thử có tham số không thành công. Các kiểm thử tham số hoá đã vượt qua sẽ không được thử lại.

    • Đối với Android 11 trở lên, tuỳ chọn lệnh thử lại sau đây sẽ được bật theo mặc định trong lệnh run cts:

      run retry --retry  --new-parameterized-handling

  9. Xem tiến trình và kết quả kiểm thử được báo cáo trên bảng điều khiển.

Chạy CTS bằng Android Test Station

Android Test Station là một công cụ tự động hoá kiểm thử mà các nhà phát triển Android và kỹ sư kiểm thử có thể sử dụng để sử dụng giao diện người dùng cho việc chạy các bộ kiểm thử tiêu chuẩn. Công cụ này hoạt động với Bộ kiểm tra tính tương thích với Android (CTS).

Công cụ này được cung cấp công khai thông qua Hướng dẫn sử dụng ATS và mã của công cụ này là nguồn mở trong AOSP (multitest_transport, tradefed_cluster).

Chạy CTS cho Chế độ thay thế

Bản phát hành CTS 10 R4 thêm một kế hoạch kiểm thử cho các thiết bị có chế độ thay thế hoặc cho các thiết bị có nhiều màn hình. Thực thi kế hoạch kiểm thử chế độ thay thế bằng run cts-foldable.

Các trường hợp kiểm thử đã vượt qua hoặc không vượt qua cho chế độ màn hình thay thế được thêm vào bằng giá trị từ display_mode, ví dụ: testcase1[display_mode=0].

Trong CTS 13, API DeviceStateManager cho phép các mô-đun kiểm thử có những đặc điểm sau cấu hình để chạy trên các trạng thái thiết bị khác nhau của một thiết bị có thể gập lại. Quá trình thực thi kiểm thử diễn ra tự động trong CTS dựa trên trạng thái gập màn hình được xác định trong thiết bị mà không cần chạy kế hoạch kiểm thử cts-foldable.

<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />

Kiểm thử nhiều thiết bị trong CTS

Android 13 trở lên hỗ trợ kiểm thử nhiều thiết bị. Các kiểm thử yêu cầu nhiều thiết bị sẽ tự động thực thi trong quá trình chạy CTS. CTS 13 bao gồm một số kiểm thử trên nhiều thiết bị sẽ tự động kích hoạt khi bạn sử dụng tính năng phân đoạn. Mặc dù thử nghiệm không yêu cầu thay đổi thêm đối với thiết lập thực, Cần phải cài đặt virtualenv để bài kiểm thử chạy chính xác. Để biết thông tin chi tiết, hãy xem phần Bộ ứng dụng cho nhiều thiết bị.

Chạy thử nghiệm nhiều thiết bị

Để chạy kiểm thử trên nhiều thiết bị một cách độc lập, hãy sử dụng mã sau:

  cts-tradefed > run cts-multidevice

Tất cả các lựa chọn thông thường đều được hỗ trợ. Để nhắm đến các thiết bị cụ thể, hãy thêm --serial <serial1> --serial <serial2>, v.v. cho số lượng thiết bị được nhắm đến.

Để tự động kích hoạt các chương trình kiểm thử nhiều thiết bị, hãy sử dụng tính năng phân đoạn, như trong --shard-count 2.