Chạy thử nghiệm CTS

Liên đoàn Thương mại là một khung kiểm thử liên tục để chạy các kiểm thử trên Android thiết bị. Để chạy Bộ kiểm tra tính tương thích (CTS), trước tiên hãy đọc Tổng quan về Liên đoàn Thương mại để biết nội dung giải thích về khung kiểm thử Tradefeed.

Cách chạy một kế hoạch thử nghiệm:

  1. Thiết lập Thiết bị cần kiểm thử (DUT) theo Thiết lập thiết bị Android.
  2. Hãy đảm bảo rằng bạn đã cài đặt phiên bản mới của cả hai ứng dụng Cầu gỡ lỗi Android (adb) và Công cụ đóng gói tài nguyên Android (AAPT) và thêm vị trí của các công cụ đó vào đường dẫn hệ thống của máy. Để biết thông tin về cách cài đặt các công cụ đó, hãy xem Thiết lập CTS: ADB và AAPT.
  3. Tải các bản dựng CTS đã phát hành xuống Máy chủ Linux và giải nén bản dựng vào vị trí lưu trữ.
  4. Hãy kết nối ít nhất một thiết bị. Cách chuẩn bị DUT:
    • Nhấn nút màn hình chính để đặt thiết bị về màn hình chính.
    • Đừng sử dụng DUT cho bất kỳ nhiệm vụ nào khác.
    • Giữ DUT ở vị trí cố định để tránh kích hoạt cảm biến của bạn.
    • Hướng máy ảnh của thiết bị vào một đối tượng có thể được lấy nét.
    • Không nhấn bất kỳ phím nào trên thiết bị trong khi Bộ xử lý dữ liệu (CTS) đang chạy. Nhấn phím hoặc chạm vào màn hình của DUT sẽ ảnh hưởng đến quá trình kiểm thử đang chạy và có thể dẫn đến thất bại trong kiểm thử.

  5. Chạy tập lệnh cts-tradefed của bảng điều khiển CTS từ thư mục có CTS gói đã được giải nén. Trên shell dòng lệnh của máy chủ, hãy chạy:

    ./android-cts/tools/cts-tradefed

  6. Chạy kế hoạch thử nghiệm mặc định (chứa tất cả các gói thử nghiệm):

    cts-tradefed > run cts

    • Nếu muốn cải thiện thời gian thực thi kiểm thử, bạn có thể phân đoạn kiểm thử trên nhiều thiết bị. Tính năng phân đoạn yêu cầu máy chủ kết nối ít nhất 2 thiết bị, nhưng khuyến nghị sử dụng 6 thiết bị trở lên để đảm bảo tính hiệu quả. Khi phân đoạn cho nhiều thiết bị:

      • Đối với Android 9 trở lên, hãy sử dụng tuỳ chọn lệnh

        --shard-count number_of_shards

      • Đối với Android 8.1 trở xuống, hãy sử dụng tuỳ chọn lệnh

        --shards number_of_shards

    • Nếu không muốn chạy toàn bộ bộ kiểm thử, bạn có thể chạy GóiCTS mà bạn chọn dòng lệnh:

      run cts --plan test_plan_name

      Cách tìm tên gói thử nghiệm:

      • Đối với Android 7.0 trở lên, để xem danh sách các mô-đun kiểm thử, hãy nhập

        list modules

      • Đối với Android 6.0 trở xuống, để xem danh sách các gói kiểm thử trong kho lưu trữ, nhập

        list plans

      • Đối với Android 6.0 trở xuống, để xem danh sách các gói kiểm thử trong kho lưu trữ, nhập

        list packages

    • Để biết các tuỳ chọn lệnh khác tuỳ thuộc vào phiên bản CTS, hãy tham khảo tài liệu tham khảo về lệnh trong Console, hoặc trong phần "trợ giúp tất cả" trong bảng điều khiển Tradefeed.

  7. Chạy nhiều phiên Thử lại cho đến khi tất cả các mô-đun kiểm thử hoàn tất và số lần thất bại trong kiểm thử là giống nhau trong hai phiên thử lại gần đây nhất.

    • Đối với Android 9 trở lên, hãy sử dụng

      run retry --retry session_number --shard-count number_of_shards

    • Đối với Android 7.0–8.1, hãy sử dụng

      run cts --retry session_number --shards number_of_shards

    • Để biết thêm các tuỳ chọn lệnh Thử lại khác tuỳ thuộc vào phiên bản CTS, hãy xem Bảng điều khiển lệnh CTS phiên bản 2.

    • Để tìm hiểu thông tin triển khai cho lần thử lại CTS, hãy xem Thử lại bộ liên kết thương mại.

  8. Chỉ chạy phiên thử lại trên các lần kiểm thử có tham số không thành công. Đã đạt các kiểm thử có tham số không được thử lại.

    • Đối với Android 11 trở lên, tuỳ chọn lệnh thử lại sau đây sẽ được bật theo mặc định trong lệnh run cts:

      run retry --retry  --new-parameterized-handling

  9. Xem tiến trình kiểm thử và kết quả được báo cáo trên bảng điều khiển.

Chạy CTS bằng cách sử dụng Trạm kiểm thử Android

Android Test Station là một công cụ kiểm thử tự động mà các nhà phát triển Android và công cụ này kiểm thử các kỹ sư có thể sử dụng giao diện người dùng để chạy kiểm thử tiêu chuẩn bộ. Công cụ này hoạt động với Bộ kiểm tra tính tương thích với Android (CTS).

Công cụ này được cung cấp công khai qua Hướng dẫn sử dụng AtS, và mã nguồn mở trong AOSP (Dự án nguồn mở Android) (multitest_transport! tradefed_cluster).

Chạy CTS cho chế độ thay thế

Bản phát hành CTS 10 R4 bổ sung một kế hoạch thử nghiệm cho các thiết bị có chế độ thay thế hoặc cho có nhiều màn hình. Thực thi kế hoạch thử nghiệm các chế độ thay thế bằng cách sử dụng run cts-foldable.

Các trường hợp kiểm thử đạt hoặc không thành công đối với chế độ màn hình thay thế sẽ được thêm vào thông số từ display_mode, ví dụ: testcase1[display_mode=0].

Trong CTS 13, API DeviceStateManager cho phép các mô-đun kiểm thử có những đặc điểm sau cấu hình để chạy trên các trạng thái thiết bị khác nhau của một thiết bị có thể gập lại. Quá trình thực thi kiểm thử sẽ tự động trong CTS dựa trên trạng thái gập màn hình được xác định trong thiết bị mà không cần chạy kế hoạch kiểm thử cts-foldable.

<option name="config-descriptor:metadata" key="parameter" value="all_foldable_states" />

Kiểm thử nhiều thiết bị trong CTS

Android 13 trở lên hỗ trợ kiểm thử trên nhiều thiết bị. Các chương trình kiểm thử yêu cầu nhiều thiết bị tự động thực thi trong quá trình chạy CTS. CTS 13 cung cấp một số bài kiểm thử trên nhiều thiết bị, tự động kích hoạt khi phân đoạn sẽ được sử dụng. Mặc dù thử nghiệm không yêu cầu thay đổi thêm đối với thiết lập thực, Cần phải cài đặt virtualenv để bài kiểm thử chạy chính xác. Để biết thông tin chi tiết, xem Nhiều thiết bị Phòng suite.

Chạy thử nghiệm nhiều thiết bị

Để chạy kiểm thử độc lập trên nhiều thiết bị, hãy dùng đoạn mã sau:

  cts-tradefed > run cts-multidevice

Tất cả các lựa chọn thông thường đều được hỗ trợ. Để nhắm mục tiêu đến các thiết bị cụ thể, hãy thêm --serial <serial1> --serial <serial2> và tương tự cho số lượng thiết bị được nhắm mục tiêu.

Để tự động kích hoạt kiểm thử nhiều thiết bị, hãy sử dụng tính năng phân đoạn, như trong --shard-count 2.