Halaman ini menjelaskan cara melaporkan metrik bersama dengan hasil tes saat menulis tes di Tradefed.
Manfaat masuk melalui pipa Tradefed adalah menemukan metrik Anda di samping hasil fungsional Anda. Logging metrik dapat dilakukan dengan sangat alami dalam pengujian, yang memudahkan penulis pengujian untuk menambahkan lebih banyak instrumentasi.
DeviceTestCase - gaya JUnit3
Jika pengujian Anda memperluas DeviceTestCase dalam jenis pengujian gaya JUnit3, Anda dapat memanggil metode addTestMetric(String key, String value) dari dalam kasus pengujian apa pun untuk melaporkan metrik. Ini dapat dipanggil beberapa kali selama kuncinya unik.
Contoh:
public static class TestMetricTestCase extends DeviceTestCase {
public void testPass() {
addTestMetric("key1", "metric1");
}
public void testPass2() {
addTestMetric("key2", "metric2");
}
}
Jika Anda ingin mencatat file agar tersedia di result_reporters , Anda dapat memanggil metode addTestLog(String dataName, LogDataType dataType, InputStreamSource dataStream) dari dalam kasus uji apa pun untuk melaporkan file ke log.
Contoh:
public static class TestLogTestCase extends DeviceTestCase {
public void testPass() {
try (InputStreamSource source = getDevice().getScreenshot()) {
addTestLog("screenshot", LogDataType.PNG, source);
}
}
}
TestCase - tes JUnit3 biasa
Jika Anda ingin melaporkan metrik di dalam Tradefed dari kelas JUnit3 TestCase biasa, metrik tersebut perlu dikonversi ke MetricTestCase sebagai gantinya yang merupakan kelas yang sama persis dengan metode tambahan: addTestMetric(String key, String value)
DeviceJUnit4ClassRunner - gaya JUnit4
Jika pengujian gaya JUnit4 Anda berjalan dengan DeviceJUnit4ClassRunner , maka Anda juga dapat mencatat metrik dalam kasus pengujian (di dalam @Test) untuk dilaporkan oleh Tradefed. Anda harus menggunakan aturan TestMetrics untuk melaporkan metrik Anda.
Contoh:
@RunWith(DeviceJUnit4ClassRunner.class)
public static class Junit4TestClass {
@Rule
public TestMetrics metrics = new TestMetrics();
@Test
public void testPass5() {
// test log through the rule.
metrics.addTestMetric("key", "value");
}
@Test
public void testPass6() {
metrics.addTestMetric("key2", "value2");
}
}
Untuk melaporkan file, Anda akan menggunakan aturan TestLogData untuk melaporkannya.
Contoh:
@RunWith(DeviceJUnit4ClassRunner.class)
public static class Junit4TestClass {
@Rule
public TestLogData logs = new TestLogData();
@Test
public void testPass5() {
// test log through the rule.
try (InputStreamSource source = getDevice().getScreenshot()) {
logs.addTestLog("screenshot", LogDataType.PNG, source);
}
}
}
IRemoteTest - Uji Tradefed murni
Jika Anda menulis kelas atau runner Tradefed Test Anda sendiri, Anda akan mengimplementasikan IRemoteTest dan mendapatkan ITestInvocationListener melalui metode run() . Listener ini dapat digunakan untuk mencatat metrik sebagai berikut:
listener.testLog(String dataName, LogDataType type of data, InputStreamSource data);
Kolektor metrik yang diperdagangkan
Tradefed menyediakan objek metrics_collector khusus untuk mengumpulkan metrik secara paralel dengan pengujian.
Di pihak tuan rumah
BaseDeviceMetricCollector dapat diimplementasikan untuk mengumpulkan metrik apa pun dari sisi host dan melaporkannya sebagai bagian dari pemanggilan pengujian. Sejumlah kolektor generik sudah tersedia untuk kasus penggunaan yang berbeda, tetapi kami selalu menyambut kontribusi baru.
Untuk menentukan kolektor yang akan digunakan dalam pemanggilan Tradefed Anda, Anda hanya perlu menambahkan objek ke konfigurasi XML Tradefed Anda:
Contoh:
<metrics_collector class="com.android.tradefed.device.metric.AtraceCollector">
<option name="categories" value="freq"/>
</metrics_collector>
Beberapa kolektor yang ada saat ini: * TemperatureCollector yang mengumpulkan suhu secara berkala selama uji coba. * AtraceCollector yang mengumpulkan menggunakan 'atrace' untuk setiap kasus uji.
Di sisi perangkat
Saat menjalankan pengujian sisi perangkat (Instrumentasi, pengujian UIAutomator, dll.), memiliki kolektor di sisi host yang mengumpulkan secara asinkron mungkin tidak ideal. Misalnya, tangkapan layar yang diambil secara tidak sinkron kemungkinan besar akan melewatkan layar yang diinginkan dan tidak berguna.
Untuk memenuhi kasus penggunaan ini, versi sisi perangkat dari kolektor kami ada dan dapat digunakan di instrumentasi 'AndroidJUnitRunner' apa pun. BaseMetricListener dapat diimplementasikan untuk melaporkan metrik yang dikumpulkan secara otomatis dengan cara yang sepenuhnya kompatibel dengan alur pelaporan Tradefed.
Jika Anda menggunakan runner ' AndroidJUnitTest ' dari Tradefed, Anda cukup menentukan opsi baris perintah berikut agar kolektor Anda berjalan dengan pengujian Anda:
--device-listeners android.device.collectors.ScreenshotListener
PERHATIAN: Agar kelas kolektor dapat diselesaikan saat waktu proses, APK instrumentasi Anda kemungkinan besar perlu menyertakannya secara statis dengan menambahkan ke makefile Anda sebagai berikut:
LOCAL_STATIC_JAVA_LIBRARIES += collector-device-lib
Kontribusi ke kolektor sisi perangkat juga diterima.
Pertimbangan khusus untuk suite
Untuk suite seperti CTS yang memiliki konfigurasi tingkat atas yang menjalankan beberapa konfigurasi modul, tidak perlu menentukan metrics_collector di setiap konfigurasi modul ( AndroidTest.xml ). Sebenarnya dilarang.
Untuk memastikan pengumpulan metrik diterapkan secara merata ke setiap modul, hanya konfigurasi tingkat atas (misalnya, cts.xml ) yang dapat menentukan metrics_collector seperti yang dijelaskan di atas. Kolektor ini akan diterapkan dan dijalankan terhadap setiap modul suite.
Bagaimana cara mengumpulkan file log perangkat dari modul?
Penyiapan tersedia agar pengujian sisi perangkat memberi tahu bahwa beberapa file harus dikumpulkan.
AndroidTest.xml dapat menentukan kolektor yang akan mencari file di perangkat dan menariknya.
<metrics_collector class="com.android.tradefed.device.metric.FilePullerLogCollector">
<!-- repeatable: Pattern of key of a FILE we listen on that should be pulled -->
<option name = "pull-pattern-keys" value = "ScreenshotListener_.*" />
<!-- repeatable: The key of the DIRECTORY to pull -->
<option name = "directory-keys" value = "<example-key: /sdcard/atrace_logs>" />
</metrics_collector>
Dengan menentukan pola dan kunci ini, kolektor jika melihat kunci akan mencoba menarik dan mencatat file terkait.
Agar kunci ini dibuat, pengujian (instrumentasi) sisi perangkat harus menentukan file yang harus dicatat. Hal ini dilakukan dengan cara yang sama seperti sisi host (dijelaskan di atas).
- Tambahkan
collector-device-libke APK pengujian Anda di file make:
LOCAL_STATIC_JAVA_LIBRARIES += collector-device-lib
- Gunakan @rule yang kami sediakan untuk mencatat file:
@RunWith(AndroidJUnit4.class)
public static class Junit4TestClass {
@Rule
public TestLogData logs = new TestLogData();
@Test
public void testPass5() {
// test log through the rule.
File logFile = new File("whatever");
logs.addTestLog("KEY", logFile);
}
}
Nama KEY dalam contoh di atas adalah nama di mana file akan dilaporkan. Ini adalah nama yang harus Anda cocokkan di FilePullerDeviceMetricCollector agar ditarik secara otomatis. itu harus menjadi nama yang unik.
CATATAN: Setelah file ditarik, FilePullerDeviceMetricCollector secara otomatis membersihkannya dari perangkat.
Di mana menemukan metrik?
Itu tergantung dari result_reporter yang ditentukan dalam konfigurasi XML Anda.