תוצאות בדיקת ה-CTS מאוחסנות בקובץ:
CTS_ROOT/android-cts/results/start_time.zip
אם בנית את ה-CTS בעצמך, הקוד CTS_ROOT דומה
out/host/linux-x86/cts, אבל משתנה בהתאם לפלטפורמה. משקף את הנתיב שבו
לאחר ביטול הדחיסה של ה-CTS הרשמי המוכן מראש
שהורדת מהאתר הזה.
בתוך ה-zip, הקובץ test_result.xml מכיל את התוצאות בפועל.
הצגת תוצאות מ-Android 10 ואילך
קובץ test_result.html קיים בארכיון ה-zip, ניתן לפתוח אותו ישירות בכל דפדפן אינטרנט התואם ל-HTML5
הצגת תוצאות טרום-Android 10
כדי להציג את הבדיקה, פותחים את הקובץ test_result.xml בכל דפדפן אינטרנט התואם ל-HTML5. תוצאות
אם בקובץ מוצג דף ריק כשמשתמשים בדפדפן Chrome,
שינוי הגדרת הדפדפן
כדי להפעיל את דגל שורת הפקודה --allow-file-access-from-files.
קריאת תוצאות הבדיקה
הפרטים של תוצאות הבדיקה תלויים בגרסת ה-CTS שבה אתם משתמשים:
- CTS v1 ל-Android 6.0 ומטה
- CTS v2 ל-Android 7.0 ואילך
פרטי המכשיר
ב-CTS גרסה 1 ודגמים קודמים, בוחרים באפשרות 'מידע מהמכשירים שלך' (קישור מעל סיכום הבדיקה) כדי הצגת פרטים על המכשיר, הקושחה (יצרן, דגם, גרסת קושחה, פלטפורמה), וחומרת המכשיר (רזולוציית מסך, לוח מקשים, סוג מסך). CTS v2 לא להציג את פרטי המכשיר.
סיכום הבדיקה
בקטע TestSummary (סיכום בדיקות) מוצגים פרטים על תוכנית הבדיקה שבוצעה, כמו CTS. שם התוכנית וזמני ההתחלה והסיום שלה. היא גם מציגה נתונים מצטברים סיכום של מספר הבדיקות שעברו, נכשלו, הסתיים הזמן הקצוב לתפוגה או מספר הבדיקות שלא ניתן היה לבצע בוצעה.
סיכום בדיקות לדוגמה של Android 10 CTS
איור 1: סיכום בדיקה לדוגמה של Android 10 CTS
סיכום בדיקה לדוגמה של CTS גרסה 2
איור 2: סיכום בדיקה לדוגמה של CTS v2
סיכום בדיקות לדוגמה של CTS גרסה 1
איור 3: סיכום בדיקה לדוגמה של CTS v1
דוח בדיקה
בקטע הבא, דוח בדיקת ה-CTS, מוצג סיכום של הבדיקות שבוצעו בכל חבילה.
לאחר מכן מופיעים פרטים על הבדיקות שבוצעו בפועל. הדוח מפרט את חבילת הבדיקה, חבילת הבדיקה, מקרה הבדיקה והבדיקות שבוצעו. רואים התוצאה של ביצוע הבדיקה - עובר, נכשל, תם הזמן הקצוב לתפוגה או לא מופעל. ב פרטים של אירוע כשל בבדיקה סופקו כדי לסייע באבחון הסיבה.
כמו כן, דוח הקריסות של הכשל זמין בקובץ ה-XML, אבל אינו זמין שכלולות בדוח כדי להבטיח קיצור - הצגת קובץ ה-XML באמצעות עורך טקסט לספק פרטים על הכשל בבדיקה (מחפשים את התג [Test]) שתואמים לבדיקה שנכשלה, ומחפשים את התג [StackTrace] בתוכה).
הצגת דוח בדיקה לדוגמה של CTS v2
איור 4: דוח בדיקה לדוגמה של CTS גרסה 2
הצגת דוח בדיקה לדוגמה של CTS v1
איור 5: דוח בדיקה לדוגמה של CTS גרסה 1
עיין ב-test_result.xml כדי למצוא מודולים של בדיקה שלא הושלמו
כדי למצוא את מספר המודולים שלא הושלמו בסשן בדיקה נתון, מריצים הפקודה 'list results'. מספר המודולים שהושלמו וסה"כ המודולים שרשומים בכל פעילות קודמת. כדי לקבוע אילו מודולים שלמים או קיימים. לא הושלם, פתח את הקובץ test_result.xml וקרא את הערך של "done" עבור כל מודול בדוח התוצאות. מודולים שהערך שלהם בוצע = "false" לא הסתיימו.
כשלים בבדיקת הטריאז'
תוכלו להיעזר בהצעות הבאות כדי לתעדף כשלים בבדיקות.
- אימות של סביבת CTS מוגדרת בצורה תקינה, אם הבדיקה נכשלת עקב תנאים מוקדמים שגויים. זה כולל את הסביבה הפיזית, הגדרת המחשב הגדרת מכשיר Android.
- לאמת את יציבות המכשיר, הגדרת בדיקה או בעיות בסביבה, אם הבדיקה נראית בעייתית מדי.
- אם עדיין לא הצלחתם, יש לנסות שוב לבצע את הבדיקה בנפרד.
- עליכם לבדוק אם יש גורמים חיצוניים שגורמים לכשלים בבדיקה, למשל:
- הגדרה סביבתית. לדוגמה, מחשב שולחני שהוגדרה באופן שגוי עשויה להיות הסיבה לכשלים בבדיקה בכל המכשירים בדיקה (DUT) (כולל מכשירי עזר).
- יחסי תלות חיצוניים. לדוגמה, אם בדיקה נכשלה בכל המכשירים מאתרים מרובים שמתחילים בנקודת זמן ספציפית, כתובת אתר שגויה עלולה אשמה.
- אם DUT לא כולל את ערך האבטחה צפוי כשל בבדיקת האבטחה שלו.
- בדיקה וניתוח של ההבדלים בין מכשירים שכשל בהם לבין הכשלים שלהם.
- לנתח את טענת הנכוֹנוּת (assertion), יומן, דוח איתור באגים מקור CTS. עבור HostTest, טענת נכוֹנוּת (assertion) ויומן יכולים להיות כלליים מאוד, ולכן כדאי גם צריך לבדוק ולצרף את ה-Logcat של המכשיר.
- שולחים תיקון לשיפור הבדיקה כדי לעזור בצמצום כשלים בבדיקות.
שמירת תוצאות חלקיות
כשהפעלת הבדיקה נכשלת, מערכת המסחר האלקטרוני לא שומרת תוצאות בדיקה חלקיות.
כש-Trended לא מייצר תוצאות בדיקה, כנראה שיש בעיה חמורה במהלך הרצת הבדיקה, ולכן תוצאת הבדיקה אינה מהימנה. התוצאה החלקית נחשבת לא מועילה כי היא לא מספקת ערך לבדוק את הבעיה במכשיר.