Vòng đời của một thử nghiệm được thực hiện bằng Trade Federation bao gồm bốn giai đoạn riêng biệt, được thiết kế xung quanh các giao diện được xác định chính thức.
giao diện được xác định
- Nhà cung cấp bản dựng : Cung cấp bản dựng để kiểm tra, tải xuống các tệp thích hợp nếu cần.
- Trình chuẩn bị mục tiêu : Chuẩn bị môi trường thử nghiệm, có thể bao gồm cài đặt phần mềm và cấu hình thiết bị.
- Kiểm tra : Thực hiện (các) kiểm tra và thu thập kết quả kiểm tra. Đây có thể là bất kỳ Thử nghiệm JUnit nào, mặc dù giao diện IRemoteTest của chúng tôi được thiết kế đặc biệt để hoạt động tốt trong môi trường Liên đoàn Thương mại.
- Trình nghe lệnh gọi thử nghiệm (báo cáo kết quả) : Lắng nghe kết quả thử nghiệm, thường nhằm mục đích chuyển tiếp kết quả thử nghiệm đến kho lưu trữ hoặc hiển thị chúng cho Người chạy thử nghiệm.
Thực thể thử nghiệm cơ bản trong TF là Cấu hình (config). Cấu hình là một tệp XML khai báo các thành phần vòng đời của một thử nghiệm.
Việc tách vòng đời của thử nghiệm này nhằm mục đích cho phép sử dụng lại. Sử dụng thiết kế này, Nhà phát triển có thể tạo Thử nghiệm một lần và sau đó Nhà tích hợp có thể tạo các Cấu hình khác nhau để chạy Thử nghiệm đó trong các môi trường khác nhau. Ví dụ: họ có thể tạo Cấu hình sẽ chạy thử nghiệm trên máy cục bộ và chuyển kết quả sang thiết bị xuất chuẩn. Sau đó, họ có thể tạo một Cấu hình thứ hai sẽ thực hiện cùng một thử nghiệm đó, nhưng sử dụng Trình xử lý yêu cầu thử nghiệm khác để lưu trữ kết quả thử nghiệm trong cơ sở dữ liệu. Cấu hình thứ ba có thể được thiết kế để chạy thử nghiệm đó liên tục từ phòng thử nghiệm ở đâu đó.
Ở đây, thật thuận tiện khi lưu ý rằng Cấu hình cùng với các đối số dòng lệnh của nó (do Người chạy thử cung cấp) được gọi là Lệnh . Khi TF ghép nối một Lệnh với một ITestDevice và thực thi nó, đối tượng tiếp theo được gọi là Lệnh gọi . Nói tóm lại, một Lời gọi bao gồm một lần thực thi kiểm tra TF hoàn chỉnh, trong toàn bộ vòng đời của nó.
Các thành phần cấu hình bổ sung
- Device Recovery : cơ chế khôi phục thông tin liên lạc của thiết bị nếu bị mất.
- Logger : thu thập dữ liệu ghi nhật ký đã được trao đổi.
Đầu ra giai đoạn và lỗi
Mỗi giai đoạn của một lời gọi thực hiện tuần tự và có một mục tiêu cụ thể. Phần này mô tả các đầu ra và lỗi thông thường của từng giai đoạn.
Xây dựng nhà cung cấp
Giai đoạn này tạo và xuất đối tượng IBuildInfo chứa tất cả các tham chiếu tệp cần thiết để thiết lập và chạy thử nghiệm.
Lỗi phổ biến nhất ở giai đoạn này là không thể tải xuống hoặc không tìm thấy các tệp được yêu cầu.
Một lỗi ở giai đoạn này dẫn đến việc báo cáo lỗi trực tiếp và không có thử nghiệm nào được chạy.
Chuẩn bị mục tiêu
Giai đoạn này thiết lập các trạng thái cần thiết cho mục tiêu được thử nghiệm. Giai đoạn này có thể thay đổi thiết bị hoặc thiết lập máy chủ khi cần thiết cho lệnh gọi thử nghiệm nhất định.
Các lỗi phổ biến ở giai đoạn này thường liên quan đến việc không thể thiết lập thiết bị ở trạng thái nhất định (ví dụ: nhấp nháy không thành công) và không tìm thấy các tệp cần thiết để thiết lập.
Một lỗi ở giai đoạn này dẫn đến việc chạy dọn dẹp mục tiêu, báo cáo lỗi và không chạy thử nghiệm nào.
bài kiểm tra
Giai đoạn này chạy các thử nghiệm được yêu cầu trên mục tiêu đã chuẩn bị trước đó và báo cáo tất cả các kết quả thực hiện thử nghiệm.
Các lỗi phổ biến ở giai đoạn này thường liên quan đến việc mục tiêu được kiểm tra không khả dụng hoặc một số lỗi gây ra việc thực hiện một phần các bài kiểm tra. Các lỗi này là các sự cố cơ sở hạ tầng ảnh hưởng đến quá trình thực thi kiểm thử chứ không phải lỗi của một trường hợp kiểm thử đơn lẻ.
Một lỗi ở giai đoạn này dẫn đến việc thực thi thử nghiệm dừng lại, chạy mục tiêu dọn dẹp, báo cáo lỗi và nhận được một phần kết quả.
báo cáo kết quả
Giai đoạn này báo cáo kết quả và lỗi cho các dịch vụ được định cấu hình (ví dụ: máy chủ và tệp cục bộ).
Mặc dù những người báo cáo kết quả riêng lẻ có thể có lỗi, nhưng chúng tách biệt với nhau (một người báo cáo không nhìn thấy lỗi từ người khác). Những lỗi này chỉ ảnh hưởng đến báo cáo kết quả của riêng từng người báo cáo và các lỗi này có thể được xem trong nhật ký.
,Vòng đời của một thử nghiệm được thực hiện bằng Trade Federation bao gồm bốn giai đoạn riêng biệt, được thiết kế xung quanh các giao diện được xác định chính thức.
giao diện được xác định
- Nhà cung cấp bản dựng : Cung cấp bản dựng để kiểm tra, tải xuống các tệp thích hợp nếu cần.
- Trình chuẩn bị mục tiêu : Chuẩn bị môi trường thử nghiệm, có thể bao gồm cài đặt phần mềm và cấu hình thiết bị.
- Kiểm tra : Thực hiện (các) kiểm tra và thu thập kết quả kiểm tra. Đây có thể là bất kỳ Thử nghiệm JUnit nào, mặc dù giao diện IRemoteTest của chúng tôi được thiết kế đặc biệt để hoạt động tốt trong môi trường Liên đoàn Thương mại.
- Trình nghe lệnh gọi thử nghiệm (báo cáo kết quả) : Lắng nghe kết quả thử nghiệm, thường nhằm mục đích chuyển tiếp kết quả thử nghiệm đến kho lưu trữ hoặc hiển thị chúng cho Người chạy thử nghiệm.
Thực thể thử nghiệm cơ bản trong TF là Cấu hình (config). Cấu hình là một tệp XML khai báo các thành phần vòng đời của một thử nghiệm.
Việc tách vòng đời của thử nghiệm này nhằm mục đích cho phép sử dụng lại. Sử dụng thiết kế này, Nhà phát triển có thể tạo Thử nghiệm một lần và sau đó Nhà tích hợp có thể tạo các Cấu hình khác nhau để chạy Thử nghiệm đó trong các môi trường khác nhau. Ví dụ: họ có thể tạo Cấu hình sẽ chạy thử nghiệm trên máy cục bộ và chuyển kết quả sang thiết bị xuất chuẩn. Sau đó, họ có thể tạo một Cấu hình thứ hai sẽ thực hiện cùng một thử nghiệm đó, nhưng sử dụng Trình xử lý yêu cầu thử nghiệm khác để lưu trữ kết quả thử nghiệm trong cơ sở dữ liệu. Cấu hình thứ ba có thể được thiết kế để chạy thử nghiệm đó liên tục từ phòng thử nghiệm ở đâu đó.
Ở đây, thật thuận tiện khi lưu ý rằng Cấu hình cùng với các đối số dòng lệnh của nó (do Người chạy thử cung cấp) được gọi là Lệnh . Khi TF ghép nối một Lệnh với một ITestDevice và thực thi nó, đối tượng tiếp theo được gọi là Lệnh gọi . Nói tóm lại, một Lời gọi bao gồm một lần thực thi kiểm tra TF hoàn chỉnh, trong toàn bộ vòng đời của nó.
Các thành phần cấu hình bổ sung
- Device Recovery : cơ chế khôi phục thông tin liên lạc của thiết bị nếu bị mất.
- Logger : thu thập dữ liệu ghi nhật ký đã được trao đổi.
Đầu ra giai đoạn và lỗi
Mỗi giai đoạn của một lời gọi thực hiện tuần tự và có một mục tiêu cụ thể. Phần này mô tả các đầu ra và lỗi thông thường của từng giai đoạn.
Xây dựng nhà cung cấp
Giai đoạn này tạo và xuất đối tượng IBuildInfo chứa tất cả các tham chiếu tệp cần thiết để thiết lập và chạy thử nghiệm.
Lỗi phổ biến nhất ở giai đoạn này là không thể tải xuống hoặc không tìm thấy các tệp được yêu cầu.
Một lỗi ở giai đoạn này dẫn đến việc báo cáo lỗi trực tiếp và không có thử nghiệm nào được chạy.
Chuẩn bị mục tiêu
Giai đoạn này thiết lập các trạng thái cần thiết cho mục tiêu được thử nghiệm. Giai đoạn này có thể thay đổi thiết bị hoặc thiết lập máy chủ khi cần thiết cho lệnh gọi thử nghiệm nhất định.
Các lỗi phổ biến ở giai đoạn này thường liên quan đến việc không thể thiết lập thiết bị ở trạng thái nhất định (ví dụ: nhấp nháy không thành công) và không tìm thấy các tệp cần thiết để thiết lập.
Một lỗi ở giai đoạn này dẫn đến việc chạy dọn dẹp mục tiêu, báo cáo lỗi và không chạy thử nghiệm nào.
bài kiểm tra
Giai đoạn này chạy các thử nghiệm được yêu cầu trên mục tiêu đã chuẩn bị trước đó và báo cáo tất cả các kết quả thực hiện thử nghiệm.
Các lỗi phổ biến ở giai đoạn này thường liên quan đến việc mục tiêu được kiểm tra không khả dụng hoặc một số lỗi gây ra việc thực hiện một phần các bài kiểm tra. Các lỗi này là các sự cố cơ sở hạ tầng ảnh hưởng đến quá trình thực thi kiểm thử chứ không phải lỗi của một trường hợp kiểm thử đơn lẻ.
Một lỗi ở giai đoạn này dẫn đến việc thực thi thử nghiệm dừng lại, chạy mục tiêu dọn dẹp, báo cáo lỗi và nhận được một phần kết quả.
báo cáo kết quả
Giai đoạn này báo cáo kết quả và lỗi cho các dịch vụ được định cấu hình (ví dụ: máy chủ và tệp cục bộ).
Mặc dù những người báo cáo kết quả riêng lẻ có thể có lỗi, nhưng chúng tách biệt với nhau (một người báo cáo không nhìn thấy lỗi từ người khác). Những lỗi này chỉ ảnh hưởng đến báo cáo kết quả của riêng từng người báo cáo và các lỗi này có thể được xem trong nhật ký.