تفسير نتائج CTS

يتم وضع نتائج اختبار CTS في الملف:

CTS_ROOT/android-cts/results/start_time.zip

إذا قمت ببناء CTS بنفسك، فإن CTS_ROOT يشبه out/host/linux-x86/cts ولكنه يختلف حسب النظام الأساسي. يعكس هذا المسار قمت بفك ضغط CTS الرسمية المصممة مسبقًا تم تنزيله من هذا الموقع الإلكتروني.

يحتوي ملف test_result.xml داخل الملف المضغوط على النتائج الفعلية.

عرض نتائج الإصدار 10 من نظام التشغيل Android والإصدارات الأحدث

يوجد ملف test_result.html داخل أرشيف zip، ويمكنك فتحه مباشرةً في أي متصفح ويب متوافق مع HTML5

عرض نتائج ما قبل الإصدار Android 10

افتح ملف test_result.xml في أي متصفّح ويب متوافق مع HTML5 لعرض الاختبار. نتيجة

إذا كان هذا الملف يعرض صفحة فارغة عند استخدام متصفح Chrome، تغيير ضبط المتصفِّح لتفعيل علامة سطر الأوامر --allow-file-access-from-files.

الاطّلاع على نتائج الاختبار

تعتمد تفاصيل نتائج الاختبار على إصدار CTS الذي تستخدمه:

• الإصدار 1 من CTS لنظام التشغيل Android 6.0 والإصدارات الأقدم
• الإصدار 2 من CTS لنظام التشغيل Android 7.0 والإصدارات الأحدث

ملاحظة: يتم تقديم النتائج لمساعدتك في التأكّد من البرامج المتوافقة طوال عملية التطوير وتعمل أحد التنسيقات الشائعة لإبلاغ حالة التوافق لجهازك مع والأطراف الأخرى

معلومات الجهاز

في الإصدار 1 من CTS والإصدارات الأقدم، اختَر "معلومات الجهاز" (الرابط أعلى ملخص الاختبار) لاختيار عرض تفاصيل حول الجهاز والبرامج الثابتة (العلامة التجارية والطراز وإصدار البرامج الثابتة والنظام الأساسي) مكونات الجهاز (درجة دقة الشاشة ولوحة المفاتيح ونوع الشاشة). ولا يعمل الإصدار 2 من CTS لعرض معلومات الجهاز.

ملخّص الاختبار

يوفّر قسم ملخّص الاختبار تفاصيل خطة الاختبار التي تم تنفيذها، مثل CTS. اسم الخطة وأوقات بدء وانتهاء التنفيذ. كما تقدم أيضًا ملخصًا ملخص لعدد الاختبارات التي تم اجتيازها، أو التي أخفقت، أو التي انتهت مهلتها، أو التي تعذر وتنفيذه.

ملاحظة: تعني عبارة تم التجاهل أن الاختبار لم يتم إجراؤه على الإطلاق وتم تخطيها بالكامل. يعني إخفاق الافتراض أن هناك شرطًا مسبقًا لم يتم استيفاء الاختبار وتم إلغاء الاختبار. كل من تم التجاهل والافتراض يتم التعامل مع التعذُّر على أنّه "تم اجتياز المراجعة".

ملخّص اختبار نموذج CTS لنظام التشغيل Android 10

الشكل 1: ملخّص اختبار نموذج CTS لنظام التشغيل Android 10

ملخّص اختبار نموذج CTS الإصدار 2

الشكل 2: ملخّص اختبار نموذج الإصدار 2 من CTS

ملخّص اختبار نموذج CTS الإصدار 1

الشكل 3: ملخّص اختبار نموذج الإصدار 1 من CTS

تقرير اختباري

يقدم القسم التالي، تقرير اختبار CTS، ملخصًا للاختبارات التي تم اجتيازها في طرد.

ويتبع ذلك تفاصيل الاختبارات الفعلية التي تم تنفيذها. التقرير يسرد حزمة الاختبار ومجموعة الاختبار وحالة الاختبار والاختبارات التي تم تنفيذها. إنه يعرض نتيجة تنفيذ الاختبار - نجاح أو إخفاق أو انتهاء المهلة أو لم يتم تنفيذها. في جلسة المعمل، يتم تقديم تفاصيل حالة إخفاق الاختبار للمساعدة في تشخيص السبب.

بالإضافة إلى ذلك، يتوفر تتبُّع تسلسل استدعاء الدوال البرمجية للإخفاق في ملف XML، ولكنه لا يكون متاحًا. تضمينها في التقرير لضمان الإيجاز، إذ يمكن عرض ملف XML باستخدام محرِّر نصوص يجب أن يقدّم تفاصيل عن تعذُّر الاختبار (ابحث عن العلامة [Test]. يتوافق مع الاختبار الذي لم يتم اجتيازه وابحث داخله عن علامة [StackTrace]).

عرض نموذج تقرير اختبار CTS الإصدار 2

الشكل 4: نموذج تقرير اختبار CTS الإصدار 2

عرض نموذج تقرير اختبار CTS الإصدار 1

الشكل 5: نموذج تقرير اختبار CTS الإصدار 1

مراجعة test_result.xml للوحدات التجريبية غير المكتملة

لتحديد عدد الوحدات غير المكتملة في جلسة اختبار معينة، شغّل الأمر "إدراج النتائج". عدد "الوحدات" المكتملة و"إجمالي الوحدات" المدرجة لكل جلسة سابقة. لتحديد الوحدات الكاملة مقابل غير مكتملة، افتح ملف test_result.xml واقرأ قيمة "done". لكل وحدة في تقرير النتائج. الوحدات ذات القيمة المكتملة = "خطأ" ولم يتم الجري حتى الاكتمال.

حالات تعذُّر اختبار التصنيف

استخدِم الاقتراحات التالية لتصنيف حالات تعذُّر الاختبار.

• إثبات ملكية بيئة CTS بشكل صحيح، إذا فشل الاختبار بسبب عدم صحة الشروط. يتضمن ذلك البيئة المادية وإعداد جهاز سطح المكتب إعداد جهاز Android
• التحقّق من ثبات الجهاز أو اختبار الإعداد أو رصد مشاكل في البيئة إذا كان الاختبار يبدو غير مستقر بشكل كبير.
• إعادة محاولة الاختبار بمعزل عن الآخر في حال استمرار الفشل
• تحقَّق من العوامل الخارجية التي تتسبب في تعذُّر الاختبار، مثل:
  • الإعداد البيئي. على سبيل المثال، قد تم ضبط جهاز سطح مكتب تمت تهيئته بشكل خاطئ عملية الإعداد هي سبب إخفاقات الاختبار التي تحدث على جميع الأجهزة الاختبار (DUT) (بما في ذلك الأجهزة المرجعية)
  • التبعيات الخارجية. على سبيل المثال، إذا فشل اختبار على جميع الأجهزة في مواقع متعددة تبدأ عند نقطة زمنية محددة، فقد يؤدي عنوان URL السيئ تكون مخطئًا.
  • في حال عدم تضمين دالة DUT لبيانات الأمان فمن المتوقع حدوث فشل في اختبار الأمان.
• التحقّق من الاختلافات بين الأجهزة التي تم اجتيازها وتلك التي تعذّر اجتيازها، وتحليلها
• تحليل التأكيد والسجل وتقرير الأخطاء مصدر CTS: بالنسبة إلى HostTest، يمكن أن يكون التأكيد والسجل عامين للغاية بحيث من المفيد أيضًا التحقّق من سجلّ Logcat وتوصيله.
• أرسِل رمز تصحيح تحسين تجريبي للمساعدة في الحدّ من حالات تعذُّر الاختبار.

حفظ النتائج الجزئية

لا تحفظ ميزة المقايضة نتائج الاختبار الجزئية عند تعذُّر الاستدعاء الاختباري.

عندما لا تقدم Tradefed أي نتائج اختبار، فهذا يعني ضمنًا أن مشكلة خطيرة أثناء إجراء الاختبار، مما يجعل نتيجة الاختبار غير موثوقة. تُعد النتيجة الجزئية غير مفيدة لأنها لا تقدم قيمة عند للتحقيق في مشكلة الجهاز.