نتایج CTS را تفسیر کنید

نتایج آزمون CTS در فایل قرار داده شده است:

CTS_ROOT/android-cts/results/start_time.zip

اگر CTS را خودتان ساخته اید، CTS_ROOT شبیه out/host/linux-x86/cts است اما بر اساس پلتفرم متفاوت است. این نشان دهنده مسیری است که در آن CTS رسمی از پیش ساخته شده دانلود شده از این سایت را از حالت فشرده خارج کرده اید.

در داخل فایل فشرده، فایل test_result.xml حاوی نتایج واقعی است.

نمایش نتایج اندروید 10 به بعد

یک فایل test_result.html در بایگانی zip وجود دارد، می‌توانید مستقیماً آن را در هر مرورگر وب سازگار با HTML5 باز کنید.

نمایش نتایج Pre-Android 10

برای مشاهده نتایج آزمون، فایل test_result.xml را در هر مرورگر وب سازگار با HTML5 باز کنید

اگر هنگام استفاده از مرورگر کروم، این فایل صفحه خالی را نشان می دهد، پیکربندی مرورگر خود را تغییر دهید تا پرچم خط فرمان --allow-file-access-from-files فعال شود.

نتایج آزمون را بخوانید

جزئیات نتایج آزمایش به این بستگی دارد که از کدام نسخه CTS استفاده می کنید:

• CTS نسخه 1 برای اندروید 6.0 و بالاتر
• CTS v2 برای اندروید 7.0 و بالاتر

توجه: نتایج به شما کمک می کند تا اطمینان حاصل کنید که نرم افزار در طول فرآیند توسعه سازگار باقی می ماند و به عنوان یک قالب مشترک برای برقراری ارتباط وضعیت سازگاری دستگاه شما با سایر طرف ها عمل می کند.

اطلاعات دستگاه

در CTS نسخه 1 و نسخه های قبلی، اطلاعات دستگاه (پیوند در بالا خلاصه آزمایش) را انتخاب کنید تا جزئیات مربوط به دستگاه، سیستم عامل (ساخت، مدل، ساخت سیستم عامل، پلت فرم) و سخت افزار دستگاه (رزولوشن صفحه، صفحه کلید، نوع صفحه) را مشاهده کنید. CTS v2 اطلاعات دستگاه را نمایش نمی دهد.

خلاصه آزمون

بخش خلاصه آزمون جزئیات طرح آزمون اجرا شده، مانند نام طرح CTS و زمان شروع و پایان اجرا را ارائه می دهد. همچنین خلاصه‌ای از تعداد تست‌هایی را ارائه می‌کند که با موفقیت، شکست خورده، به پایان رسیده یا اجرا نشدند.

توجه: نادیده گرفته شده به این معنی است که آزمون اصلا اجرا نشده و کاملاً حذف شده است. فرض شکست به این معنی است که برخی از پیش‌شرط‌های آزمایش برآورده نشده است و آزمایش سقط شده است. هر دو نادیده گرفته شده و شکست فرضی به عنوان مجوز تلقی می شوند.

خلاصه تست نمونه CTS اندروید 10

شکل 1: خلاصه آزمایش نمونه CTS اندروید 10

خلاصه آزمایش نمونه CTS v2

شکل 2: خلاصه آزمایش نمونه CTS v2

خلاصه آزمایش نمونه CTS v1

شکل 3: خلاصه آزمایش نمونه CTS v1

گزارش تست

بخش بعدی، گزارش آزمون CTS، خلاصه ای از تست های گذرانده شده در هر بسته را ارائه می دهد.

به دنبال آن جزئیات آزمایش های واقعی انجام شده است. این گزارش بسته آزمایشی، مجموعه آزمایشی، مورد آزمایشی و آزمایش‌های اجرا شده را فهرست می‌کند. نتیجه اجرای آزمایش را نشان می‌دهد - قبولی، شکست، زمان‌بندی یا اجرا نشدن. در صورت شکست تست، جزئیات برای کمک به تشخیص علت ارائه شده است.

علاوه بر این، ردپای پشته ای از شکست در فایل XML موجود است اما برای اطمینان از اختصار در گزارش گنجانده نشده است - مشاهده فایل XML با یک ویرایشگر متن باید جزئیات شکست تست را ارائه دهد (جستجوی برچسب [Test] مربوط به تست ناموفق و در آن به دنبال برچسب [StackTrace] بگردید).

نمایش نمونه گزارش تست CTS v2

شکل 4: نمونه گزارش تست CTS v2

نمایش نمونه گزارش تست CTS v1

شکل 5: نمونه گزارش تست CTS v1

test_result.xml را برای ماژول های تست ناقص بررسی کنید

برای تعیین تعداد ماژول های ناقص در یک جلسه آزمون داده شده، دستور 'list results' را اجرا کنید. تعداد ماژول های تکمیل شده و مجموع ماژول ها برای هر جلسه قبلی ذکر شده است. برای تعیین اینکه کدام ماژول کامل در مقابل ناقص است، فایل test_result.xml را باز کنید و مقدار مشخصه "done" را برای هر ماژول در گزارش نتیجه بخوانید. ماژول‌های با مقدار done = "false" هنوز تکمیل نشده‌اند.

شکست تست تریاژ

از پیشنهادات زیر برای شکست تست تریاژ استفاده کنید.

• اگر آزمایشی به دلیل پیش‌شرط‌های نادرست با شکست مواجه شد، بررسی کنید که محیط CTS شما به درستی تنظیم شده است. این شامل محیط فیزیکی، راه‌اندازی دستگاه دسکتاپ و راه‌اندازی دستگاه Android است.
• اگر آزمایشی بیش از حد پوسته پوسته به نظر می‌رسد، پایداری دستگاه، راه‌اندازی آزمایش یا مشکلات محیطی را تأیید کنید.
• اگر باز هم شکست خوردید، آزمایش را به صورت مجزا امتحان کنید.
• عوامل خارجی که باعث شکست تست می شوند را بررسی کنید، مانند:
  • راه اندازی محیطی به عنوان مثال، پیکربندی نادرست دستگاه دسکتاپ ممکن است علت شکست تست در همه دستگاه‌های تحت آزمایش (DUT) (از جمله دستگاه‌های مرجع) باشد.
  • وابستگی های خارجی به عنوان مثال، اگر یک آزمایش در همه دستگاه‌ها در چندین سایت که در یک نقطه زمانی خاص شروع می‌شود ناموفق باشد، ممکن است یک URL بد مقصر باشد.
  • اگر DUT شامل وصله امنیتی نباشد، شکست تست امنیتی آن مورد انتظار است.
• اعتبارسنجی و تجزیه و تحلیل تفاوت بین دستگاه های عبوری و خراب.
• ادعا، گزارش، گزارش اشکال و منبع CTS را تجزیه و تحلیل کنید. برای HostTest، ادعا و گزارش می‌توانند بسیار عمومی باشند، بنابراین بررسی و پیوست کردن logcat دستگاه نیز مفید است.
• برای کمک به کاهش شکست تست، یک وصله بهبود تست ارسال کنید.

ذخیره نتایج جزئی

Tradefed در صورت شکست فراخوانی آزمون، نتایج جزئی آزمون را ذخیره نمی کند.

هنگامی که Tradefed هیچ نتیجه آزمایشی را ایجاد نمی کند، به این معنی است که یک مشکل جدی در طول اجرای آزمایشی رخ داده است، بنابراین نتیجه آزمایش قابل اعتماد نیست. نتیجه جزئی مفید تلقی می‌شود، زیرا هنگام بررسی مشکل دستگاه، ارزشی ارائه نمی‌کند.