CTS test sonuçları şu dosyaya yerleştirilir:
CTS_ROOT/android-cts/results/start_time.zip
CTS'yi kendiniz oluşturduysanız CTS_ROOT, out/host/linux-x86/cts'e benzer ancak platforma göre farklılık gösterir. Bu, bu siteden indirdiğiniz önceden derlenmiş resmi CTS'yi sıkıştırmadığınız yolu gösterir.
Gerçek sonuçlar, zip dosyasının içindeki test_result.xml dosyasında yer alır.
Android 10 ve sonraki sürümlerin sonuçlarını görüntüleme
Zip arşivinde test_result.html dosyası bulunur. Bu dosyayı doğrudan herhangi bir HTML5 uyumlu web tarayıcısında açabilirsiniz.
Android 10 öncesi sonuçları gösterme
Test sonuçlarını görüntülemek için test_result.xml dosyasını HTML5 uyumlu bir web tarayıcısında açın
Bu dosya, Chrome tarayıcısı kullanılırken boş bir sayfa gösteriyorsa --allow-file-access-from-files komut satırı bayrağını etkinleştirmek için tarayıcı yapılandırmanızı değiştirin.
Test sonuçlarını okuma
Test sonuçlarının ayrıntıları, kullandığınız CTS sürümüne bağlıdır:
- Android 6.0 ve önceki sürümler için CTS v1
- Android 7.0 ve sonraki sürümler için CTS v2
Cihaz bilgileri
CTS sürüm 1 ve önceki sürümlerde cihaz, donanım yazılımı (marka, model, donanım yazılımı derlemesi, platform) ve cihaz donanımı (ekran çözünürlüğü, tuş takımı, ekran türü) hakkındaki ayrıntıları görüntülemek için Cihaz Bilgileri'ni (Test Özeti'nin üzerindeki bağlantı) seçin. CTS v2, cihaz bilgilerini göstermez.
Test özeti
Test Özeti bölümünde, yürütülen test planı ayrıntıları (ör. CTS planı adı ve yürütme başlangıç ve bitiş zamanları) sağlanır. Ayrıca, başarılı olan, başarısız olan, zaman aşımına uğrayan veya yürütülemeyen testlerin sayısının toplu bir özetini sunar.
Android 10 CTS örnek test özeti
Şekil 1: Android 10 CTS örnek testi özeti
CTS v2 örnek test özeti
Şekil 2: CTS v2 örnek test özeti
CTS v1 örnek test özeti
Şekil 3: CTS v1 örnek testi özeti
Test raporu
Sonraki bölümde (CTS test raporu) paket başına geçen testlerin özeti sunulur.
Ardından, yürütülen gerçek testlerin ayrıntıları yer alır. Raporda test paketi, test paketi, test durumu ve yürütülen testler listelenir. Test çalıştırmanın sonucunu (geçti, başarısız oldu, zaman aşımı veya yürütülmedi) gösterir. Testin başarısız olması durumunda, nedenini teşhis etmenize yardımcı olacak ayrıntılar sağlanır.
Ayrıca, hatanın yığın izlemesi XML dosyasında bulunur ancak kısalık sağlamak için rapora dahil edilmez. XML dosyasını bir metin düzenleyiciyle görüntülediğinizde test hatasıyla ilgili ayrıntıları görebilirsiniz (başarısız teste karşılık gelen [Test] etiketini arayın ve içinde [StackTrace] etiketini bulun).
CTS v2 örnek test raporunu gösterme
Şekil 4: CTS v2 örnek test raporu
CTS v1 örnek test raporunu gösterme
Şekil 5: CTS v1 örnek test raporu
Tamamlanmamış test modülleri için test_result.xml dosyasını inceleyin
Belirli bir test oturumundaki tamamlanmamış modüllerin sayısını belirlemek için "sonuçları listele" komutunu çalıştırın. Önceki her oturum için Tamamlanan Modüller ve Toplam Modül sayısı listelenir. Hangi modüllerin tamamlandığını, hangilerinin tamamlanmadığını belirlemek için test_result.xml dosyasını açın ve sonuç raporundaki her modül için "done" özelliğinin değerini okuyun. done = "false" değerine sahip modüller tamamlanana kadar çalıştırılmamıştır.
Test hatalarını önceliklendirme
Test hatalarını önceliklendirmek için aşağıdaki önerilerden yararlanın.
- Bir test yanlış ön koşullar nedeniyle başarısız oluyorsa CTS ortamınızın doğru şekilde ayarlandığından emin olun. Fiziksel ortam, masaüstü bilgisayar kurulumu ve Android cihaz kurulumu buna dahildir.
- Bir test çok fazla kesinti gösteriyorsa cihaz kararlılığını, test kurulumunu veya ortam sorunlarını doğrulayın.
- Hâlâ başarısız oluyorsa testi tek başına tekrar deneyin.
- Testin başarısız olmasına neden olan harici faktörleri kontrol edin. Örneğin:
- Ortam kurulumu. Örneğin, yanlış yapılandırılmış bir masaüstü makinesi kurulumu, tüm test cihazlarında (referans cihazlar dahil) gerçekleşen test hatalarının nedeni olabilir.
- Dış bağımlılıklar. Örneğin, bir test belirli bir zamandan itibaren birden fazla sitedeki tüm cihazlarda başarısız olursa bunun nedeni kötü bir URL olabilir.
- DUT güvenlik yamasını içermiyorsa güvenlik testinin başarısız olması beklenir.
- Geçen ve geçemeyen cihazlar arasındaki farkları doğrulayın ve analiz edin.
- İddia, günlük, hata raporu ve CTS kaynağını analiz edin. HostTest için beyan ve günlük çok genel olabilir. Bu nedenle, cihaz logcat'ini de kontrol edip eklemeniz faydalı olur.
- Test hatalarını azaltmaya yardımcı olmak için test iyileştirme yaması gönderin.
Kısmi sonuçları kaydetme
Tradefed, test çağrısı başarısız olduğunda kısmi test sonuçlarını kaydetmez.
Tradefed herhangi bir test sonucu oluşturmadığında, test çalıştırma sırasında ciddi bir sorun oluştuğu ve bu nedenle test sonucunun güvenilir olmadığı anlaşılır. Cihaz sorununu incelerken değer sağlamadığı için kısmi sonuç faydalı kabul edilmez.