ตีความผลลัพธ์ของ CTS

ผลการทดสอบ CTS จะอยู่ในไฟล์

CTS_ROOT/android-cts/results/start_time.zip

หากคุณสร้าง CTS เอง CTS_ROOT จะคล้ายกับ out/host/linux-x86/cts แต่แตกต่างกันไปตามแพลตฟอร์ม ซึ่งแสดงเส้นทางที่คุณได้คลายการบีบอัด CTS อย่างเป็นทางการที่สร้างไว้ล่วงหน้าซึ่งดาวน์โหลดจากเว็บไซต์นี้

ไฟล์ test_result.xml ในไฟล์ ZIP จะมีผลลัพธ์จริง

แสดงผลการค้นหาสำหรับ Android 10 ขึ้นไป

ไฟล์ test_result.html อยู่ในไฟล์ ZIP คุณสามารถเปิดไฟล์ดังกล่าวในเว็บเบราว์เซอร์ที่รองรับ HTML5 ได้โดยตรง

แสดงผลการค้นหาก่อน Android 10

เปิดไฟล์ test_result.xml ในเว็บเบราว์เซอร์ที่ใช้งานร่วมกับ HTML5 ได้เพื่อดูผลการทดสอบ

หากไฟล์นี้แสดงหน้าว่างเมื่อใช้เบราว์เซอร์ Chrome ให้เปลี่ยนการกําหนดค่าเบราว์เซอร์เพื่อเปิดใช้การตั้งค่าสถานะบรรทัดคําสั่ง --allow-file-access-from-files

อ่านผลการทดสอบ

รายละเอียดของผลการทดสอบจะขึ้นอยู่กับ CTS เวอร์ชันที่คุณใช้

• CTS v1 สำหรับ Android 6.0 และเก่ากว่า
• CTS v2 สำหรับ Android 7.0 ขึ้นไป

หมายเหตุ: ผลลัพธ์ที่แสดงมีไว้เพื่อให้คุณมั่นใจว่าซอฟต์แวร์จะยังคงเข้ากันได้ตลอดกระบวนการพัฒนา และใช้เป็นรูปแบบทั่วไปในการแจ้งสถานะความเข้ากันได้ของอุปกรณ์กับบุคคลอื่น

ข้อมูลอุปกรณ์

ใน CTS v1 และเวอร์ชันก่อนหน้า ให้เลือกข้อมูลอุปกรณ์ (ลิงก์เหนือสรุปการทดสอบ) เพื่อดูรายละเอียดเกี่ยวกับอุปกรณ์ เฟิร์มแวร์ (ยี่ห้อ รุ่น บิลด์เฟิร์มแวร์ แพลตฟอร์ม) และฮาร์ดแวร์ของอุปกรณ์ (ความละเอียดหน้าจอ ปุ่มกด ประเภทหน้าจอ) CTS v2 จะไม่แสดง ข้อมูลอุปกรณ์

สรุปการทดสอบ

ส่วนสรุปการทดสอบจะแสดงรายละเอียดแผนการทดสอบที่ดำเนินการแล้ว เช่น ชื่อแผน CTS และเวลาเริ่มต้นและสิ้นสุดการดำเนินการ รวมถึงแสดงสรุปแบบรวมของจํานวนการทดสอบที่ผ่าน ไม่ผ่าน หมดเวลา หรือดําเนินการไม่ได้

หมายเหตุ: ละเว้นหมายความว่าการทดสอบไม่ได้ทำงานเลย และข้ามไปโดยสมบูรณ์ การสันนิษฐานล้มเหลว หมายความว่าการทดสอบไม่เป็นไปตามเงื่อนไขเบื้องต้นบางประการและการทดสอบถูกยกเลิก ทั้ง "ไม่สนใจ" และ "สมมติฐานไม่ผ่าน" จะถือว่า "ผ่าน"

สรุปการทดสอบตัวอย่าง CTS ของ Android 10

รูปที่ 1: สรุปการทดสอบตัวอย่าง Android 10 CTS

สรุปการทดสอบตัวอย่าง CTS v2

รูปที่ 2: สรุปการทดสอบตัวอย่าง CTS v2

สรุปการทดสอบตัวอย่าง CTS v1

รูปที่ 3: สรุปการทดสอบตัวอย่าง CTS v1

รายงานการทดสอบ

ส่วนถัดไปคือรายงานการทดสอบ CTS ซึ่งแสดงข้อมูลสรุปของการทดสอบที่ผ่านในแต่ละแพ็กเกจ

ตามด้วยรายละเอียดการทดสอบจริงที่ดำเนินการ รายงานจะแสดงแพ็กเกจทดสอบ ชุดทดสอบ เฟรมทดสอบ และการทดสอบที่ดำเนินการ ระบบจะแสดงผลลัพธ์ของการดำเนินการทดสอบ เช่น ผ่าน ล้มเหลว หมดเวลา หรือไม่ได้ดำเนินการ ในกรณีที่การทดสอบไม่สําเร็จ ระบบจะแสดงรายละเอียดเพื่อช่วยวิเคราะห์สาเหตุ

นอกจากนี้ สแต็กเทรซของการทดสอบที่ไม่สําเร็จจะอยู่ในไฟล์ XML แต่ไม่ได้รวมอยู่ในรายงานเพื่อให้สั้นกระชับ การดูไฟล์ XML ด้วยเครื่องมือแก้ไขข้อความควรให้รายละเอียดของการทดสอบที่ไม่สําเร็จ (ค้นหาแท็ก [Test] ที่สอดคล้องกับการทดสอบที่ไม่สําเร็จ แล้วมองหาแท็ก [StackTrace] ในแท็กนั้น)

แสดงรายงานการทดสอบตัวอย่าง CTS v2

รูปที่ 4: รายงานการทดสอบตัวอย่าง CTS v2

แสดงรายงานการทดสอบตัวอย่าง CTS v1

รูปที่ 5: รายงานการทดสอบ CTS v1 ตัวอย่าง

ตรวจสอบ test_result.xml เพื่อดูโมดูลทดสอบที่ไม่สมบูรณ์

หากต้องการดูจํานวนโมดูลที่ไม่สมบูรณ์ในเซสชันการทดสอบหนึ่งๆ ให้เรียกใช้คําสั่ง "list results" จำนวนโมดูลที่เสร็จสมบูรณ์และโมดูลทั้งหมดจะแสดงรายการสำหรับเซสชันก่อนหน้าแต่ละเซสชัน หากต้องการดูว่าโมดูลใดเสร็จสมบูรณ์หรือไม่เสร็จสมบูรณ์ ให้เปิดไฟล์ test_result.xml และอ่านค่าของแอตทริบิวต์ "done" สำหรับแต่ละโมดูลในรายงานผลลัพธ์ โมดูลที่มีค่า done = "false" ยังไม่ได้ทํางานจนเสร็จสมบูรณ์

คัดแยกการทดสอบที่ไม่สำเร็จ

ใช้คําแนะนําต่อไปนี้เพื่อแยกแยะปัญหาการทดสอบที่ไม่สําเร็จ

• ยืนยันว่าสภาพแวดล้อม CTS ได้รับการตั้งค่าอย่างถูกต้อง หากการทดสอบไม่ผ่านเนื่องจากเงื่อนไขเบื้องต้นไม่ถูกต้อง ซึ่งรวมถึงสภาพแวดล้อมจริง การตั้งค่าเครื่องเดสก์ท็อป และการตั้งค่าอุปกรณ์ Android
• ตรวจสอบความเสถียรของอุปกรณ์ การตั้งค่าการทดสอบ หรือปัญหาด้านสภาพแวดล้อม หากการทดสอบทำงานไม่เสถียร
• ลองทดสอบอีกครั้งโดยแยกอุปกรณ์แต่ละเครื่องหากยังคงไม่สำเร็จ
• ตรวจหาปัจจัยภายนอกที่ทําให้การทดสอบไม่สําเร็จ เช่น
  • การตั้งค่าสภาพแวดล้อม เช่น การตั้งค่าเครื่องเดสก์ท็อปที่ไม่ถูกต้องอาจเป็นสาเหตุของการทดสอบที่ไม่สำเร็จในอุปกรณ์ทดสอบ (DUT) ทั้งหมด (รวมถึงอุปกรณ์อ้างอิง)
  • ทรัพยากร Dependency ภายนอก เช่น หากการทดสอบไม่สําเร็จในอุปกรณ์ทั้งหมดในเว็บไซต์หลายแห่งโดยเริ่มตั้งแต่จุดหนึ่งๆ ปัญหาอาจเกิดจาก URL ที่ไม่ถูกต้อง
  • หาก DUT ไม่มีแพตช์ความปลอดภัย การทดสอบความปลอดภัยจะดำเนินการไม่สำเร็จ
• ตรวจสอบและวิเคราะห์ความแตกต่างระหว่างอุปกรณ์ที่ผ่านและไม่ได้ทำงาน
• วิเคราะห์การยืนยัน บันทึก รายงานข้อบกพร่อง และแหล่งที่มา CTS สำหรับ HostTest การยืนยันและบันทึกอาจเป็นแบบทั่วไปมาก จึงควรตรวจสอบและแนบ Logcat ของอุปกรณ์ด้วย
• ส่งแพตช์การปรับปรุงการทดสอบเพื่อช่วยลดความล้มเหลวในการทดสอบ

บันทึกผลลัพธ์บางส่วน

Tradefed จะไม่บันทึกผลการทดสอบบางส่วนเมื่อการเรียกใช้การทดสอบไม่สำเร็จ

เมื่อ Tradefed ไม่สร้างผลการทดสอบ แสดงว่ามีปัญหาร้ายแรงเกิดขึ้นระหว่างการทดสอบ ซึ่งทำให้ผลการทดสอบไม่น่าเชื่อถือ ผลลัพธ์บางส่วนถือว่าไม่เป็นประโยชน์เนื่องจากไม่มีคุณค่าเมื่อตรวจสอบปัญหาของอุปกรณ์