सीटीएस के नतीजों को समझना

सीटीएस टेस्ट के नतीजे इस फ़ाइल में डाले जाते हैं:

CTS_ROOT/android-cts/results/start_time.zip

अगर आपने सीटीएस खुद बनाया है, तो CTS_ROOT और out/host/linux-x86/cts मिलते-जुलते होते हैं. हालांकि, ये प्लैटफ़ॉर्म के हिसाब से अलग-अलग होते हैं. यह उस पाथ को दिखाता है जहां आपने इस साइट से डाउनलोड की गई, पहले से बनी आधिकारिक सीटीएस को अनकंप्रेस किया है.

ज़िप में, test_result.xml फ़ाइल में असल नतीजे होते हैं.

Android 10 और उसके बाद के वर्शन के लिए नतीजे दिखाना

zip संग्रह में test_result.html फ़ाइल मौजूद है, तो इसे सीधे किसी भी एचटीएमएल5 के साथ काम करने वाले वेब ब्राउज़र में खोला जा सकता है

Android 10 से पहले के वर्शन के लिए नतीजे दिखाना

जांच के नतीजे देखने के लिए, test_result.xml फ़ाइल को किसी भी ऐसे वेब ब्राउज़र में खोलें जो HTML5 के साथ काम करता हो

अगर Chrome ब्राउज़र का इस्तेमाल करते समय, यह फ़ाइल खाली पेज दिखाती है, तो --allow-file-access-from-files कमांड लाइन फ़्लैग को चालू करने के लिए, अपने ब्राउज़र कॉन्फ़िगरेशन में बदलाव करें.

टेस्ट के नतीजे देखना

जांच के नतीजों की जानकारी इस बात पर निर्भर करती है कि CTS के किस वर्शन का इस्तेमाल किया जा रहा है:

• Android 6.0 और इससे पहले के वर्शन के लिए CTS v1
• Android 7.0 और उसके बाद के वर्शन के लिए CTS v2

ध्यान दें: नतीजे इसलिए दिए जाते हैं, ताकि यह पक्का किया जा सके कि डिवाइस के साथ सॉफ़्टवेयर, डेवलपमेंट की पूरी प्रोसेस के दौरान काम करता रहे. साथ ही, यह अन्य पक्षों को आपके डिवाइस के साथ काम करने की स्थिति बताने के लिए, एक सामान्य फ़ॉर्मैट के तौर पर काम करता है.

डिवाइस की जानकारी

डिवाइस, फ़र्मवेयर (ब्रैंड, मॉडल, फ़र्मवेयर बिल्ड, प्लैटफ़ॉर्म), और डिवाइस के हार्डवेयर (स्क्रीन रिज़ॉल्यूशन, कीपैड, स्क्रीन टाइप) के बारे में जानकारी देखने के लिए, CTS v1 और इससे पहले के वर्शन में, डिवाइस की जानकारी ('टेस्ट की खास जानकारी' के ऊपर मौजूद लिंक) चुनें. CTS v2, डिवाइस की जानकारी नहीं दिखाता.

परीक्षण सारांश

जांच की खास जानकारी सेक्शन में, जांच के लागू होने वाले प्लान की जानकारी दी जाती है. जैसे, सीटीएस प्लान का नाम और लागू होने के शुरू और खत्म होने का समय. इसमें उन टेस्ट की संख्या की खास जानकारी भी दी गई है जो पास हो गए हैं, फ़ेल हुए, समय खत्म हो गए या उन्हें पूरा नहीं किया जा सका.

ध्यान दें: अनदेखा किया गया का मतलब है कि टेस्ट बिल्कुल नहीं चला और उसे पूरी तरह से स्किप कर दिया गया. अनुमान गलत है का मतलब है कि टेस्ट की कुछ शर्तें पूरी नहीं हुई हैं और टेस्ट को रोक दिया गया है. अनदेखा किए गए और अनुमान के आधार पर किए गए अनुरोध, दोनों को 'पास' के तौर पर माना जाता है.

Android 10 के सीटीएस सैंपल टेस्ट की खास जानकारी

पहली इमेज: Android 10 के सीटीएस सैंपल की जांच की खास जानकारी

CTS v2 सैंपल टेस्ट की खास जानकारी

दूसरी इमेज: CTS v2 के सैंपल टेस्ट की खास जानकारी

CTS v1 के सैंपल टेस्ट की खास जानकारी

तीसरी इमेज: CTS v1 की जांच के सैंपल की खास जानकारी

टेस्ट रिपोर्ट

अगले सेक्शन में, सीटीएस टेस्ट रिपोर्ट दी गई है. इसमें हर पैकेज के लिए, पास किए गए टेस्ट की खास जानकारी दी गई है.

इसके बाद, उन असल टेस्ट की जानकारी दिखती है जिन्हें पूरा किया गया था. इस रिपोर्ट में, टेस्ट पैकेज, टेस्ट सुइट, टेस्ट केस, और चलाए गए टेस्ट की सूची होती है. यह टेस्ट के नतीजे दिखाता है—पास, फ़ेल, टाइम आउट या पूरा नहीं हुआ. अगर टेस्ट पूरा नहीं हो पाता है, तो इसकी वजह का पता लगाने के लिए जानकारी दी जाती है.

इसके अलावा, गड़बड़ी का स्टैक ट्रेस, एक्सएमएल फ़ाइल में उपलब्ध होता है. हालांकि, रिपोर्ट को छोटा रखने के लिए, इसे रिपोर्ट में शामिल नहीं किया जाता. टेक्स्ट एडिटर की मदद से एक्सएमएल फ़ाइल देखने पर, आपको टेस्ट में हुई गड़बड़ी की जानकारी मिलनी चाहिए. इसके लिए, गड़बड़ी वाले टेस्ट से जुड़े [Test] टैग को खोजें और उसमें [StackTrace] टैग देखें.

सीटीएस v2 के सैंपल की जांच की रिपोर्ट दिखाएं

चौथी इमेज: CTS v2 की सैंपल टेस्ट रिपोर्ट

CTS v1 की सैंपल टेस्ट रिपोर्ट दिखाएं

चित्र 5: CTS v1 की सैंपल टेस्ट रिपोर्ट

अधूरे टेस्ट मॉड्यूल के लिए, test_result.xml की समीक्षा करें

किसी टेस्ट सेशन में पूरे नहीं हुए मॉड्यूल की संख्या जानने के लिए, 'नतीजों की सूची' कमांड चलाएं. हर पिछले सेशन के लिए, पूरे किए गए मॉड्यूल और कुल मॉड्यूल की संख्या दी गई है. यह पता लगाने के लिए कि कौनसे मॉड्यूल पूरे हैं और कौनसे अधूरा हैं, test_result.xml फ़ाइल खोलें और नतीजे की रिपोर्ट में हर मॉड्यूल के लिए "हो गया" एट्रिब्यूट की वैल्यू पढ़ें. जिन मॉड्यूल की वैल्यू done = "false" है वे पूरी तरह से नहीं चले हैं.

प्राथमिकता की जांच नहीं की जा सकी

जांच में आने वाली समस्याओं को हल करने के लिए, यहां दिए गए सुझावों का इस्तेमाल करें.

• अगर गलत शर्तों की वजह से कोई टेस्ट पास नहीं हो रहा है, तो पुष्टि करें कि आपका CTS एनवायरमेंट सही तरीके से सेट अप किया गया है. इसमें मौजूदा माहौल, डेस्कटॉप मशीन सेटअप, और Android डिवाइस का सेटअप शामिल हैं.
• अगर टेस्ट में ज़्यादा गड़बड़ी दिख रही है, तो डिवाइस की स्थिरता, टेस्ट सेटअप या आस-पास के माहौल से जुड़ी समस्याओं की पुष्टि करें.
• अगर अब भी जांच में समस्या आ रही है, तो अलग से फिर से जांच करें.
• जांच में आने वाली रुकावटों की वजह से, बाहरी वजहों की जांच करें. जैसे:
  • एनवायरमेंट का सेटअप. उदाहरण के लिए, गलत तरीके से कॉन्फ़िगर की गई डेस्कटॉप मशीन के सेटअप की वजह से, जांच के दायरे में आने वाले सभी डिवाइसों (डीयूटी) पर जांच पूरी न हो पाना. इनमें रेफ़रंस डिवाइस भी शामिल हैं.
  • बाहरी डिपेंडेंसी. उदाहरण के लिए, अगर किसी खास समय से शुरू होकर कई साइटों के सभी डिवाइसों पर जांच पूरी नहीं हो पाती है, तो हो सकता है कि इसकी वजह खराब यूआरएल हो.
  • अगर डीयूटी में सुरक्षा से जुड़ा पैच शामिल नहीं है, तो हो सकता है कि सुरक्षा जांच में वह पास न हो.
• टेस्ट पास करने वाले और न करने वाले डिवाइसों के बीच के अंतर की पुष्टि करें और उनका विश्लेषण करें.
• दावे, लॉग, गड़बड़ी की रिपोर्ट, और सीटीएस के सोर्स का विश्लेषण करें. HostTest के लिए, एश्योरेशन और लॉग बहुत सामान्य हो सकते हैं. इसलिए, डिवाइस के लॉगकैट को भी देखना और अटैच करना मददगार होता है.
• टेस्ट में होने वाली गड़बड़ियों को कम करने के लिए, टेस्ट को बेहतर बनाने वाला पैच सबमिट करें.

कुछ नतीजे सेव करना

जांच शुरू न होने पर, Tradefed जांच के कुछ नतीजे सेव नहीं करता.

जब Tradefed कोई टेस्ट रिज़ल्ट जनरेट नहीं कर रहा है, तो इसका मतलब है कि टेस्ट के दौरान कोई गंभीर समस्या आई है. इसलिए, टेस्ट के नतीजे भरोसेमंद नहीं हैं. कुछ हद तक मिलते-जुलते नतीजे को मददगार नहीं माना जाता, क्योंकि इससे डिवाइस की समस्या की जांच करने में मदद नहीं मिलती.