CTS do nhà phát triển cung cấp

Trang này trình bày các nguyên tắc sử dụng CTS do nhà phát triển cung cấp (CTS-D).

Kiểm thử phạm vi

CTS-D, như CTS & Trình xác minh CTS, chỉ có thể thực thi những điều sau:

  • Tất cả API công khai được mô tả trong SDK dành cho nhà phát triển (developer.android.com) cho một cấp độ API nhất định.
  • Tất cả yêu cầu PHẢI có trong phần Khả năng tương thích với Android Tài liệu định nghĩa (CDD) cho một cấp độ API nhất định.

Không bắt buộc phải có các yêu cầu KHÔNG PHẢI, chẳng hạn như "BẠN NÊN ĐỀ XUẤT", NÊN, CÓ THỂ và không thể kiểm tra bằng CTS.

Vì tất cả yêu cầu về API và CDD đều gắn liền với một cấp độ API cụ thể, nên tất cả CTS các thử nghiệm (CTS, CTS-D và CTS Verifier) được gắn với cùng cấp API với các API hoặc yêu cầu được liên kết. Nếu một API cụ thể không được dùng nữa hoặc thay đổi, phải ngừng sử dụng hoặc cập nhật kiểm thử tương ứng.

Quy tắc tạo thử nghiệm CTS

  • Thử nghiệm phải cho ra cùng một kết quả mục tiêu một cách nhất quán.
  • Quy trình kiểm thử phải xác định xem một thiết bị có đạt hay không bằng cách kiểm thử thiết bị đó một lần ra khỏi hộp.
  • Nhà sáng tạo thử nghiệm phải xoá mọi yếu tố có thể ảnh hưởng đến kết quả thử nghiệm.
  • Nếu một thiết bị cần một điều kiện/môi trường/thiết lập phần cứng nhất định, thì quá trình thiết lập đó phải được xác định rõ ràng trong thông báo cam kết. Ví dụ về hướng dẫn thiết lập, xem Thiết lập CTS.
  • Không được chạy quá 6 giờ mỗi lần kiểm thử. Nếu cần chạy trong vui lòng bao gồm lý do trong đề xuất thử nghiệm của bạn để chúng tôi có thể xem xét.

Sau đây là ví dụ về tập hợp điều kiện kiểm thử để kiểm thử một ứng dụng hạn chế:

  • Wi-Fi đang ổn định (đối với thử nghiệm dựa vào Wi-Fi).
  • Thiết bị đứng yên trong quá trình thử nghiệm (hoặc không đứng yên, tuỳ thuộc vào thử nghiệm).
  • Thiết bị chưa được rút phích cắm khỏi bất kỳ nguồn điện nào có mức pin là X phần trăm.
  • Không có ứng dụng, dịch vụ trên nền trước hoặc dịch vụ nền nào đang chạy, ngoại trừ CTS (Bộ kiểm tra tính tương thích)
  • Màn hình sẽ tắt trong khi chạy CTS.
  • Thiết bị KHÔNG isLowRamDevice.
  • Trình tiết kiệm pin / hạn chế ứng dụng không thay đổi từ trạng thái "mở hộp".

Điều kiện xét nghiệm

Chúng tôi chấp nhận các chương trình kiểm thử mới để thực thi một hành vi mà CTS hiện tại chưa kiểm thử, Trình xác minh CTS hoặc thử nghiệm CTS-D. Bất kỳ kiểm thử nào kiểm tra hành vi bên ngoài phạm vi phạm vi kiểm thử của chúng tôi sẽ bị từ chối.

Quy trình gửi CTS

  1. Viết đề xuất thử nghiệm: Nhà phát triển ứng dụng gửi đề xuất thử nghiệm bằng cách sử dụng Công cụ theo dõi lỗi của Google, mô tả vấn đề đã được xác định và đề xuất thử nghiệm để kiểm tra cho ứng dụng. Đề xuất phải bao gồm Mã yêu cầu CDD có liên quan. Nhóm Android xem xét đề xuất.
  2. Xây dựng một bài kiểm thử CTS: Sau khi đề xuất được phê duyệt, người gửi sẽ tạo một CTS kiểm thử trên AOSP trên nhánh main (AOSP/main). Nhóm Android sẽ xem xét đoạn mã này.
  3. Xuất bản kiểm thử: Gửi CL của bạn trên AOSP/main rồi chọn nó đến nhánh androidx-tests-dev mới nhất. Thử nghiệm hiện đã xuất hiện công khai.

Nguyên tắc viết bài kiểm tra CTS-D

  • Làm theo Hướng dẫn về quy tắc lập trình Java.
  • Làm theo tất cả các bước được mô tả trong phần Phát triển CTS.
  • Thêm các thử nghiệm của bạn vào kế hoạch thử nghiệm phù hợp:
    • Sử dụng include-filters để thêm các thử nghiệm mới của bạn vào kế hoạch thử nghiệm CTS-D: platform/cts/tools/cts-tradefed/res/config/cts-developer.xml.
    • Sử dụng exclude-filters để loại trừ các thử nghiệm mới khỏi kế hoạch thử nghiệm CTS chính: platform/cts/tools/cts-tradefed/res/config/cts-developer-exclude.xml.
  • Xử lý tất cả cảnh báo và đề xuất của errorprone trong build_error.log.
  • Dựa lại các thay đổi của bạn đối với head. Điều này bao gồm cts-developer.xml và Gói thử nghiệm cts-developer-exclude.xml.
  • Làm việc với người liên hệ kỹ thuật của Google để xác định xem trường hợp kiểm thử của bạn có thể đưa vào mô-đun CTS hiện có. Nếu không thể, họ sẽ giúp bạn hãy tạo mô-đun mới.
  • Đối với mỗi mô-đun kiểm thử mới được tạo, hãy tạo một tệp OWNERS trong mô-đun kiểm thử mới thư mục.
    • Tệp OWNERS của bạn phải chứa các thông tin sau, được lấy từ chủ sở hữu thử nghiệm trên Google mà bạn đang làm việc:
    • # Bug component: xxx
    • LDAp của chủ sở hữu thử nghiệm của Google
  • Trong AndroidTest.xml, hãy chỉ định các tham số sau. Tham khảo các tệp mẫu (1, 2) ví dụ:
    • Instant_app hoặc not_instant_app
    • secondary_user hoặc not_secondary_user
    • all_foldable_states hoặc no_foldable_states
  • Để chỉ định đúng minSDK, hãy tham khảo <uses-sdk> .
  • Khi kiểm tra các phương thức, lớp hoặc mô-đun kiểm thử mới, hãy thêm chúng vào CTS-D kế hoạch thử nghiệm và loại trừ chúng khỏi kế hoạch thử nghiệm CTS chính theo cách tương tự như với các thử nghiệm mới.

Chạy thử nghiệm CTS-D

Chạy kế hoạch thử nghiệm CTS-D từ dòng lệnh đang sử dụng run cts --plan cts-developer.

Để chạy một trường hợp kiểm thử cụ thể, hãy sử dụng run cts --include-filter "test_module_name test_name".

Để biết thông tin về cách chạy CTS đầy đủ, hãy xem bài viết Chạy thử nghiệm CTS.

Chấp nhận và phát hành

Sau khi bạn gửi yêu cầu kiểm thử, một nhóm nội bộ sẽ xem xét để đảm bảo nó sẽ kiểm thử một yêu cầu của CDD hoặc một hành vi của API được ghi nhận trong tài liệu. Nếu kiểm tra là được xác định là đang kiểm tra một yêu cầu hoặc hành vi hợp lệ, nhóm sẽ chuyển tiếp trường hợp kiểm thử này cho một kỹ sư của Google để xem xét thêm. Chiến dịch sẽ liên hệ với bạn để cung cấp ý kiến phản hồi về cách cải thiện thử nghiệm trước khi được chấp nhận vào CTS.

Xem Lịch phát hành và thông tin về nhánh để biết thông tin chi tiết về lịch phát hành CTS.