تفسير نتائج CTS

يتم وضع نتائج اختبار CTS في الملف:

CTS_ROOT/android-cts/results/start_time.zip

إذا كنت قد أنشأت CTS بنفسك، يشبه CTS_ROOT out/host/linux-x86/cts ولكن يختلف حسب المنصة. وهذا يعكس المسار الذي قمت فيه بفك ضغط CTS الرسمي الذي تم تنزيله من هذا الموقع.

يحتوي ملف test_result.xml داخل ملف zip على النتائج الفعلية.

عرض نتائج الإصدار 10 من نظام التشغيل Android والإصدارات الأحدث

يوجد ملف test_result.html داخل أرشيف zip، ويمكنك فتحه مباشرةً في أي متصفح ويب متوافق مع HTML5

عرض نتائج الإصدارات الأقدم من Android 10

افتح ملف test_result.xml في أي متصفّح ويب متوافق مع HTML5 لعرض نتائج الاختبار.

إذا كان هذا الملف يعرض صفحة فارغة عند استخدام متصفّح Chrome، غيِّر إعدادات المتصفّح لتفعيل علامة سطر الأوامر --allow-file-access-from-files.

الاطّلاع على نتائج الاختبار

تعتمد تفاصيل نتائج الاختبار على إصدار CTS الذي تستخدمه:

• الإصدار 1 من CTS لنظام Android 6.0 والإصدارات الأقدم
• الإصدار 2 من CTS لنظام التشغيل Android 7.0 والإصدارات الأحدث

ملاحظة: يتم توفير النتائج لمساعدتك في التأكّد من بقاء البرنامج متوافقًا طوال عملية التطوير، كما تُعدّ التنسيق المشترَك للتواصل مع الأطراف الأخرى بشأن حالة التوافق على جهازك.

معلومات الجهاز

في الإصدار 1 من CTS والإصدارات الأقدم، اختَر "معلومات الجهاز" (الرابط أعلى "ملخّص الاختبار") لاطلاع على تفاصيل عن الجهاز والبرامج الثابتة (العلامة التجارية والطراز وإصدار البرامج الثابتة والنظام الأساسي) وعتاد الأجهزة (درجة دقة الشاشة ولوحة المفاتيح ونوع الشاشة). لا يُعرِض الإصدار 2 من CTS معلومات الجهاز.

ملخّص الاختبار

يوفّر قسم ملخّص الاختبار تفاصيل خطة الاختبار التي تم تنفيذها، مثل اسم خطة CTS وأوقات بدء التنفيذ وانتهائه. ويقدّم أيضًا ملف تعريف إجمالى لعدد الاختبارات التي تم اجتيازها أو تعذّر إجراؤها أو انتهت مهلة تنفيذها أو تعذّر تنفيذها.

ملاحظة: تم تجاهله يعني أنّه لم يتم تشغيل الاختبار على الإطلاق وتم تخطّيه بالكامل. تشير حالة تعذُّر الافتراض إلى عدم استيفاء بعض الشروط المسبقة للاختبار وتم إلغاء الاختبار. يتم التعامل مع كلّ من "تجاهل" و"تعذُّر الافتراض" على أنّهما "مقبول".

ملخّص اختبار نموذج CTS لنظام التشغيل Android 10

الشكل 1: ملخّص اختبار نموذج مجموعة أدوات اختبار التوافق (CTS) لنظام التشغيل Android 10

ملخّص اختبار نموذج مجموعة أدوات اختبار التوافق (CTS) الإصدار 2

الشكل 2: ملخّص نموذج اختبار CTS v2

ملخّص اختبار نموذج CTS الإصدار 1

الشكل 3: ملخّص نموذج الاختبار في الإصدار 1 من CTS

تقرير الاختبار

يقدّم القسم التالي، وهو تقرير اختبار CTS، ملخّصًا للاختبارات التي تم اجتيازها لكل حزمة.

ويتبع ذلك تفاصيل الاختبارات الفعلية التي تم تنفيذها. يُدرج التقرير حزمة الاختبار ومجموعة الاختبار وحالة الاختبار والاختبارات التي تم تنفيذها. ويعرض عمود "النتيجة" نتيجة تنفيذ الاختبار، سواء كانت "اجتاز" أو "تعذّر اجتيازه" أو "انتهت مهلته" أو "لم يتم تنفيذه". في حال تعذّر إكمال الاختبار، يتم تقديم تفاصيل للمساعدة في تحديد السبب.

علاوة على ذلك، يتوفر تتبُّع تسلسل استدعاء الدوال البرمجية لتعذُّر الاختبار في ملف XML ولكن لا يتم تضمينه في التقرير لضمان الإيجاز، حيث من خلال عرض ملف XML باستخدام محرِّر نصوص، يجب توفير تفاصيل عن تعذُّر الاختبار (ابحث عن العلامة [Test] المقابلة للاختبار الذي تعذّر إجراؤه وابحث داخلها عن علامة [StackTrace]).

عرض نموذج تقرير اختبار CTS الإصدار 2

الشكل 4: نموذج تقرير اختبار CTS الإصدار 2

عرض نموذج تقرير اختبار CTS الإصدار 1

الشكل 5: نموذج تقرير اختبار CTS الإصدار 1

مراجعة ملف test_result.xml للتأكّد من عدم اكتمال وحدات الاختبار

لتحديد عدد الوحدات غير المكتملة في جلسة اختبار معيّنة، نفِّذ الأمر "list results". يتم إدراج عدد "الوحدات" المكتملة و"إجمالي الوحدات" لكل جلسة سابقة. لتحديد الوحدات الكاملة مقابل غير المكتملة، افتح ملف test_result.xml واقرأ قيمة السمة "done" لكل وحدة في تقرير النتائج. الوحدات ذات القيمة المكتملة = "false" لم يتم تشغيلها حتى الاكتمال.

تحديد أولويات أخطاء الاختبار

استخدِم الاقتراحات التالية لتصنيف حالات تعذُّر الاختبار.

• تحقَّق من أنّه تم إعداد بيئة CTS بشكل صحيح، إذا تعذّر إجراء الاختبار بسبب عدم استيفاء الشروط المسبقة بشكل صحيح. ويشمل ذلك البيئة المادية وإعداد الكمبيوتر المكتبي و إعداد جهاز Android.
• تأكَّد من ثبات الجهاز أو إعداد الاختبار أو مشاكل البيئة، إذا كان الاختبار يبدو غير مستقر بشكلٍ مفرط.
• أعِد إجراء الاختبار بشكل منفصل إذا استمرت المشكلة.
• تحقّق من العوامل الخارجية التي تتسبّب في حالات تعذُّر الاختبار، مثل:
  • الإعداد البيئي. على سبيل المثال، قد يكون إعداد الكمبيوتر المكتبي غير صحيح هو سبب حالات تعذُّر الاختبار التي تحدث على جميع الأجهزة الخاضعة للاختبار (DUTs) (بما في ذلك الأجهزة المرجعية).
  • التبعيات الخارجية على سبيل المثال، إذا تعذّر إجراء اختبار على جميع الأجهزة في مواقع إلكترونية متعدّدة اعتبارًا من نقطة زمنية معيّنة، قد يكون عنوان URL مُعيبًا.
  • إذا لم يتضمّن DUT تصحيح أمان، من المتوقّع أن يتضمّن اختبار الأمان خطأ.
• التحقّق من الاختلافات بين الأجهزة التي اجتازت الاختبار والأجهزة التي تعذّر اجتيازها وتحليلها
• حلِّل التأكيد والسجلّ وتقرير الأخطاء ومصدر CTS. بالنسبة إلى HostTest، يمكن أن يكون التأكيد والسجلّ عامًا جدًا، لذا من المفيد أيضًا التحقّق من logcat للجهاز وإرفاقه.
• أرسِل رمز تصحيح تحسين تجريبي للمساعدة في الحدّ من حالات تعذُّر الاختبار.

حفظ نتائج جزئية

لا تحفظ أداة Tradefed نتائج الاختبار الجزئية عند تعذُّر استدعاء الاختبار.

عندما لا يُنشئ Tradefed أي نتائج اختبار، يعني ذلك أنّه حدثت مشكلة خطيرة أثناء إجراء الاختبار، ما يجعل نتيجة الاختبار غير جديرة بالثقة. تعد النتيجة الجزئية غير مفيدة لأنها لا تقدم قيمة عند التحقيق في مشكلة الجهاز.