تفسير نتائج CTS

يتم وضع نتائج اختبار CTS في الملف:

CTS_ROOT/android-cts/results/start_time.zip

إذا كنت قد أنشأت CTS بنفسك، يشبه CTS_ROOT out/host/linux-x86/cts ولكنّه يختلف حسب المنصة. يشير ذلك إلى المسار الذي تم فيه فك ضغط حزمة CTS الرسمية المُسبقة الإنشاء التي تم تنزيلها من هذا الموقع الإلكتروني.

يحتوي ملف test_result.xml داخل ملف zip على النتائج الفعلية.

عرض نتائج Android 10 والإصدارات الأحدث

يتوفّر ملف test_result.html ضمن أرشيف zip، ويمكنك فتحه مباشرةً في أي متصفّح ويب متوافق مع HTML5.

عرض نتائج الإصدارات الأقدم من Android 10

افتح ملف test_result.xml في أي متصفّح ويب متوافق مع HTML5 لعرض نتائج الاختبار.

إذا كان هذا الملف يعرض صفحة فارغة عند استخدام متصفّح Chrome، غيِّر إعدادات المتصفّح لتفعيل علامة سطر الأوامر --allow-file-access-from-files.

قراءة نتائج الاختبار

تعتمد تفاصيل نتائج الاختبار على إصدار CTS الذي تستخدمه:

• الإصدار 1 من CTS لنظام Android 6.0 والإصدارات الأقدم
• الإصدار 2 من CTS لنظام التشغيل Android 7.0 والإصدارات الأحدث

ملاحظة: يتم توفير النتائج لمساعدتك في ضمان بقاء البرنامج متوافقًا طوال عملية التطوير، كما تُعدّ التنسيق المشترَك للتواصل مع الأطراف الأخرى بشأن حالة التوافق لجهازك.

معلومات الجهاز

في الإصدار 1 من CTS والإصدارات الأقدم، اختَر "معلومات الجهاز" (الرابط أعلى "ملخّص الاختبار") لاطلاع على تفاصيل عن الجهاز والبرامج الثابتة (العلامة التجارية والطراز وإصدار البرامج الثابتة والنظام الأساسي) وعتاد الجهاز (درجة دقة الشاشة ولوحة المفاتيح ونوع الشاشة). لا يُعرِض الإصدار 2 من CTS معلومات الجهاز.

ملخّص الاختبار

يوفّر قسم ملخّص الاختبار تفاصيل خطة الاختبار التي تم تنفيذها، مثل اسم خطة اختبار CTS ووقتَي بدء التنفيذ وانتهائه. ويقدّم أيضًا ملف تعريف إجمالى لعدد الاختبارات التي تم اجتيازها أو تعذّر إجراؤها أو انتهت مهلة تنفيذها أو تعذّر تنفيذها.

ملاحظة: تم تجاهله يعني أنّه لم يتم تشغيل الاختبار على الإطلاق وتم تخطّيه بالكامل. تشير حالة تعذُّر الافتراض إلى عدم استيفاء بعض الشروط المسبقة للاختبار وتم إلغاء الاختبار. يتم التعامل مع كلّ من "تجاهل" و"تعذُّر الافتراض" على أنّهما "مقبول".

ملخّص اختبار نماذج مجموعة أدوات اختبار التوافق (CTS) لنظام التشغيل Android 10

الشكل 1: ملخّص اختبار نموذج مجموعة أدوات اختبار التوافق (CTS) لنظام التشغيل Android 10

ملخّص اختبار عيّنة الإصدار 2 من مجموعة أدوات اختبار التوافق (CTS)

الشكل 2: ملخّص نموذج الاختبار في الإصدار 2 من CTS

ملخّص اختبار نموذج مجموعة أدوات اختبار التوافق (CTS) الإصدار 1

الشكل 3: ملخّص نموذج الاختبار في الإصدار 1 من CTS

تقرير الاختبار

يقدّم القسم التالي، وهو تقرير اختبار CTS، ملخّصًا للاختبارات التي تم اجتيازها لكل حزمة.

ويتبع ذلك تفاصيل الاختبارات الفعلية التي تم تنفيذها. يُدرج التقرير حزمة الاختبار ومجموعة الاختبار وحالة الاختبار والاختبارات التي تم تنفيذها. ويعرض عمود "النتيجة" نتيجة تنفيذ الاختبار، سواء كانت "اجتاز" أو "تعذّر اجتيازه" أو "انتهت مهلته" أو "لم يتم تنفيذه". في حال تعذّر إكمال الاختبار، يتم تقديم تفاصيل للمساعدة في تحديد السبب.

بالإضافة إلى ذلك، يتوفّر تتبع تسلسل استدعاء الدوالّ للخطأ في ملف XML، ولكن لا يتم تضمينه في التقرير لضمان الإيجاز. ومن المفترض أن توفّر عرض ملف XML باستخدام محرِّر نصوص تفاصيل عن خطأ الاختبار (ابحث عن العلامة [Test] التي تتوافق مع الاختبار الذي تعذّر إكماله، وابحث داخلها عن العلامة [StackTrace]).

عرض نموذج تقرير اختبار CTS الإصدار 2

الشكل 4: نموذج تقرير اختبار CTS الإصدار 2

عرض نموذج تقرير اختبار CTS الإصدار 1

الشكل 5: نموذج تقرير اختبار CTS الإصدار 1

راجِع ملف test_result.xml بحثًا عن وحدات اختبار غير مكتملة.

لتحديد عدد الوحدات غير المكتملة في جلسة اختبار معيّنة، نفِّذ الأمر "list results". يتم إدراج عدد الوحدات المكتملة وإجمالي الوحدات لكل جلسة سابقة. لتحديد الوحدات المكتملة مقارنةً بالوحدات التي لم تكتمل، افتح ملف test_result.xml واطّلِع على قيمة سمة "تم" لكل وحدة في تقرير النتائج. لم يتم تشغيل الوحدات التي تحتوي على القيمة done = "false" إلى نهايتها.

تحديد أولويات أخطاء الاختبار

استخدِم الاقتراحات التالية لتحديد أولويات حالات تعذُّر الاختبار.

• تحقَّق من أنّه تم إعداد بيئة CTS بشكل صحيح، إذا تعذّر إجراء الاختبار بسبب عدم استيفاء الشروط المسبقة بشكل صحيح. ويشمل ذلك البيئة المادية وإعداد الكمبيوتر المكتبي و إعداد جهاز Android.
• تأكَّد من ثبات الجهاز أو إعداد الاختبار أو مشاكل البيئة، إذا كان الاختبار يبدو غير مستقر بشكلٍ مفرط.
• يُرجى إعادة إجراء الاختبار بشكل منفصل إذا استمرت المشكلة.
• تحقّق من العوامل الخارجية التي تتسبّب في حالات تعذُّر الاختبار، مثل:
  • الإعداد البيئي على سبيل المثال، قد يكون إعداد الكمبيوتر المكتبي غير صحيح هو سبب حالات تعذُّر الاختبار التي تحدث على جميع الأجهزة الخاضعة للاختبار (DUTs) (بما في ذلك الأجهزة المرجعية).
  • التبعيات الخارجية على سبيل المثال، إذا تعذّر إجراء اختبار على جميع الأجهزة في مواقع إلكترونية متعدّدة اعتبارًا من نقطة زمنية معيّنة، قد يكون عنوان URL مُعيبًا.
  • إذا لم يتضمّن DUT تصحيح أمان، من المتوقّع أن يتعذّر اجتياز اختبار الأمان.
• التحقّق من الاختلافات بين الأجهزة التي اجتازت الاختبار والأجهزة التي تعذّر اجتيازها وتحليلها
• حلِّل العبارة والسجلّ وتقرير الأخطاء و مصدر CTS. بالنسبة إلى HostTest، يمكن أن يكون التأكيد والسجلّ عامّين جدًا، لذا من المفيد أيضًا التحقّق من logcat للجهاز وإرفاقه.
• أرسِل تصحيحًا لتحسين الاختبار للمساعدة في تقليل حالات تعذُّر الاختبار.

حفظ نتائج جزئية

لا تحفظ أداة Tradefed نتائج الاختبار الجزئية عند تعذُّر استدعاء الاختبار.

عندما لا يُنشئ Tradefed أي نتائج اختبار، يعني ذلك أنّه حدثت مشكلة خطيرة أثناء إجراء الاختبار، ما يجعل نتيجة الاختبار غير جديرة بالثقة. تُعدّ النتيجة الجزئية غير مفيدة لأنّها لا توفّر قيمة عند investigating device problem.