Vòng đời của một thử nghiệm được thực hiện bằng Liên đoàn Thương mại bao gồm bốn giai đoạn riêng biệt, được thiết kế xung quanh các giao diện được xác định chính thức.
Giao diện được xác định
- Nhà cung cấp bản dựng : Cung cấp bản dựng để kiểm tra, tải xuống các tệp thích hợp nếu cần.
- Trình chuẩn bị mục tiêu : Chuẩn bị môi trường thử nghiệm, có thể bao gồm cài đặt phần mềm và cấu hình thiết bị.
- Kiểm tra : Thực hiện (các) bài kiểm tra và thu thập kết quả kiểm tra. Đây có thể là bất kỳ Bài kiểm tra JUnit nào, mặc dù giao diện IRemoteTest của chúng tôi được thiết kế đặc biệt để hoạt động tốt trong môi trường Liên đoàn Thương mại.
- Trình nghe lời gọi kiểm tra (báo cáo kết quả) : Lắng nghe kết quả kiểm tra, thường nhằm mục đích chuyển tiếp kết quả kiểm tra đến kho lưu trữ hoặc hiển thị chúng cho Người chạy thử.
Thực thể thử nghiệm cơ bản trong TF là Cấu hình (config). Cấu hình là một tệp XML khai báo các thành phần vòng đời của thử nghiệm.
Việc tách vòng đời của thử nghiệm này nhằm mục đích cho phép tái sử dụng. Bằng cách sử dụng thiết kế này, Nhà phát triển có thể tạo Thử nghiệm một lần và sau đó Nhà tích hợp có thể tạo các Cấu hình khác nhau để chạy Thử nghiệm đó trong các môi trường khác nhau. Ví dụ: họ có thể tạo Cấu hình để chạy thử nghiệm trên máy cục bộ và chuyển kết quả vào thiết bị xuất chuẩn. Sau đó, họ có thể tạo Cấu hình thứ hai để thực hiện cùng một thử nghiệm đó nhưng sử dụng Trình xử lý lệnh gọi thử nghiệm khác để lưu trữ kết quả thử nghiệm trong cơ sở dữ liệu. Cấu hình thứ ba có thể được thiết kế để chạy thử nghiệm đó liên tục từ phòng thử nghiệm ở đâu đó.
Thật thuận tiện khi lưu ý ở đây rằng Cấu hình cùng với các đối số dòng lệnh của nó (do Người chạy thử cung cấp) được gọi là Lệnh . Khi TF ghép một Lệnh với ITestDevice và thực thi nó, đối tượng tiếp theo được gọi là Invocation . Nói tóm lại, Lệnh gọi bao gồm việc thực hiện kiểm tra TF hoàn chỉnh trong toàn bộ vòng đời của nó.
Các thành phần cấu hình bổ sung
- Device Recovery : cơ chế khôi phục liên lạc của thiết bị nếu bị mất.
- Logger : thu thập dữ liệu ghi nhật ký được giao dịch.
Đầu ra giai đoạn và lỗi
Mỗi giai đoạn của lệnh gọi được thực hiện tuần tự và có một mục tiêu cụ thể. Phần này mô tả các kết quả đầu ra và lỗi thông thường của từng giai đoạn.
Xây dựng nhà cung cấp
Giai đoạn này tạo và xuất ra một đối tượng IBuildInfo chứa tất cả các tham chiếu tệp cần thiết để thiết lập và chạy thử nghiệm.
Lỗi phổ biến nhất ở giai đoạn này là không tải xuống được hoặc không tìm thấy tệp được yêu cầu.
Lỗi ở giai đoạn này dẫn đến báo cáo lỗi trực tiếp và không có thử nghiệm nào được chạy.
Chuẩn bị mục tiêu
Giai đoạn này thiết lập các trạng thái cần thiết cho mục tiêu được thử nghiệm. Giai đoạn này có thể thay đổi thiết lập thiết bị hoặc máy chủ nếu cần cho lệnh gọi thử nghiệm nhất định.
Các lỗi phổ biến ở giai đoạn này thường liên quan đến việc không thiết lập thiết bị ở trạng thái nhất định (ví dụ: không nhấp nháy được) và không tìm thấy các tệp cần thiết để thiết lập.
Lỗi ở giai đoạn này dẫn đến việc chạy mục tiêu dọn dẹp, báo cáo lỗi và không chạy thử nghiệm nào.
Kiểm tra
Giai đoạn này chạy các thử nghiệm được yêu cầu trên mục tiêu đã chuẩn bị trước đó và báo cáo tất cả các kết quả thực hiện thử nghiệm.
Các lỗi phổ biến ở giai đoạn này thường liên quan đến việc mục tiêu đang được thử nghiệm không khả dụng hoặc một số lỗi gây ra việc thực hiện một phần thử nghiệm. Những lỗi này là các vấn đề về cơ sở hạ tầng ảnh hưởng đến chính việc thực hiện kiểm thử chứ không phải lỗi của một trường hợp kiểm thử đơn lẻ.
Lỗi ở giai đoạn này dẫn đến việc dừng thực thi kiểm thử, mục tiêu đang dọn dẹp, báo cáo lỗi và nhận được một phần kết quả.
Báo cáo kết quả
Giai đoạn này báo cáo kết quả và lỗi cho các dịch vụ được định cấu hình (ví dụ: máy chủ và tệp cục bộ).
Mặc dù người báo cáo kết quả riêng lẻ có thể có lỗi nhưng họ tách biệt với nhau (một người báo cáo không thấy lỗi từ người khác). Những lỗi này chỉ ảnh hưởng đến việc báo cáo kết quả của cá nhân người báo cáo và các lỗi này có thể được xem trong nhật ký.