Exécuter des tests de classe de performances multimédias

La suite de tests de compatibilité Android (CTS) comprend des tests de classe de performances multimédia pour les appareils exécutant Android 11 ou une version ultérieure. Étant donné que le processus de test diffère entre les appareils exécutant Android 13 et les appareils exécutant Android 11 ou Android 12, assurez-vous de suivre les instructions correspondant à la version d'Android exécutée sur vos appareils.

Télécharger les tests

Téléchargez les tests suivants :

Testez les appareils Android 14 ou supérieurs

Exécutez des tests de qualité d'encodage vidéo (VEQ) de classe de performance 14 (PC14)

Android 14 introduit les exigences de qualité d'encodage vidéo (VEQ) pour les appareils de classe de performances 14 (PC14). Les exigences PC14-VEQ définissent essentiellement une exigence cible de qualité de base de manière mesurable pour les encodeurs vidéo matériels sur un appareil PC14.

L'objectif est de garantir que chaque appareil Android regroupé dans la classe de performances 14 offre une expérience multimédia haut de gamme aux utilisateurs finaux en créant un contenu vidéo de haute qualité.

Les exigences PC14-VEQ sont vérifiées par un nouveau test CTS appelé CtsVideoEncodingQualityHostTest .

Ce test CTS exécute un ensemble de cas de test d'encodage définis par les fichiers de configuration JSON. Pour chaque scénario de test, la courbe débit-distorsion (RD) de l'encodeur testé est générée en codant un flux binaire à l'aide des paramètres d'encodeur du fichier JSON. La courbe taux-distorsion de référence est incluse dans le même fichier JSON. Le Video Multimethod Assessment Fusion (VMAF) vmaf_v0.6.1.json est utilisé pour calculer la distorsion (c'est-à-dire la perte de qualité).

Un scénario de test ne peut réussir que lorsque son résultat BDRATE-VMAF est inférieur ou égal à zéro.

Le test PC14-VEQ CTS couvre les configurations d'encodage comprenant les suivantes :

  • Encodeurs matériels AVC et HEVC
  • Mode de contrôle du débit VBR
  • Encodage P-Frame/B-frame
  • 1920x1080p30fps (Paysage) ou 1080x1920p30fps (Portrait)

Testez les appareils Android 13 ou supérieurs

Avant de démarrer un test, préparez les appareils pour le test :

  1. Configurez l'appareil pour annoncer la classe de performances multimédia 13 (PC13) en définissant la valeur de la propriété système _ro.odm.build.media_performance_class sur 33 .

  2. Assurez-vous que l’image système de l’appareil est Android 13 ou supérieur. Bien que vous puissiez exécuter des tests Media CTS sur une image système Android 11 ou supérieure, les tests CTS de caméra nécessitent les fonctionnalités d'Android 13 pour PC13.

Exécuter les tests ITS de la caméra

Pour exécuter les tests ITS de la caméra uniquement, définissez d'abord les numéros de série de l'appareil et de la tablette dans config.yml , puis exécutez les commandes suivantes :

python tools/run_all_tests.py camera=[PRIMARY_REAR_CAMERA_ID] scenes=2_c
python tools/run_all_tests.py camera=[PRIMARY_FRONT_CAMERA_ID] scenes=2_c

Exécuter des tests de classe de performances multimédias

Le plan de test cts-media-performance-class vérifie les exigences CDD pour les exigences de classe de performances multimédia ( Section CDD 2.2.7.1 ) et les exigences de caméra ( Section CDD 2.2.7.2 ). Exécutez le plan de test cts-media-performance-class à l'aide de la commande suivante :

cts-tradefed run cts-media-performance-class

Pour exécuter uniquement les tests CTS de la caméra, utilisez la commande suivante :

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

Pour exécuter uniquement les tests CTS multimédia, utilisez la commande suivante :

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Exécuter les tests MediaDrm CTS

Les tests MediaDrm CTS vérifient les exigences MediaDrm dans la section CDD 2.2.7.1 . Exécutez les tests MediaDrm CTS à l'aide des commandes suivantes :

cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testSecureHwDecodeSupport
cts-tradefed run singleCommand cts --disable-reboot -c android.mediapc.cts.PerformanceClassTest -m testMediaDrmSecurityLevelHwSecureAll

Exécuter les tests CTS du système de fichiers

Les tests CTS du système de fichiers vérifient les exigences de performances de la section CDD 2.2.7.4 .

  • Pour tester les exigences de lecture et d'écriture séquentielles, utilisez la commande suivante :

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest

  • Pour tester les exigences de lecture et d'écriture aléatoires, utilisez la commande suivante :

    cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest

Testez les appareils Android 11 ou 12

Pour tester les appareils exécutant Android 11 ou 12, configurez d’abord les appareils de test (la configuration diffère entre la version Android et userdebug et les appareils utilisateur), puis exécutez les tests CTS et CTS Verifier.

Annoncer la classe de performance média

Suivez les étapes suivantes pour configurer les appareils de test afin d'annoncer la classe de performances correcte à l'aide de la propriété système ro.odm.build.media_performance_class :

  • Pour la classe de performances 12 (PC12), définissez la valeur de la propriété sur 31 .

  • Pour la classe de performances 11 (PC11), définissez la valeur de la propriété sur 30 .

Appareils de débogage utilisateur

Pour configurer les appareils Android userdebug, exécutez les commandes suivantes :

  • Appareils de débogage utilisateur Android 12 :

    adb root
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell stop && sleep 1 && adb shell start
adb shell pkill -f camera

  • Appareils de débogage utilisateur Android 11 :

    adb root
adb shell setenforce 0
adb shell setprop ro.odm.build.media_performance_class 31   // use 30 for PC11
adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Vous ne pouvez définir la propriété système ro.odm.build.media_performance_class qu'une seule fois par redémarrage (mais vous n'avez pas besoin de redémarrer l'appareil avant de le définir pour la première fois).

Appareils utilisateur

Pour configurer les appareils Android userdebug, ajoutez la propriété ro.odm.build.media_performance_class avec la valeur de classe de performances souhaitée au fichier product.prop . Un exemple est présenté ci-dessous :

ro.odm.build.media_performance_class=31   // use 30 for PC11

Pour les appareils utilisateur exécutant Android 11, effectuez les étapes supplémentaires suivantes :

  1. Choisissez la propriété [1627181] Ajouter la classe de performances des médias au correctif de stratégie de sécurité .

  2. Exécutez la commande suivante :

    adb shell appops set com.android.cts.verifier MANAGE_EXTERNAL_STORAGE 0

Exécutez les tests CTS et ITS

Créez CTS et CTS Verifier avec les correctifs téléchargés appliqués, puis exécutez la version appropriée d'Android pour vos appareils de test (Android 11 CTS pour les appareils Android 11, Android 12 CTS pour les appareils Android 12).

Médias

Exécutez les tests Media CTS à l'aide de la commande suivante :

cts-tradefed run singleCommand cts --disable-reboot -m CtsMediaPerformanceClassTestCases

Caméra

Exécutez les tests CTS de la caméra à l'aide des commandes suivantes :

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraTestCases -t android.hardware.camera2.cts.ExtendedCameraCharacteristicsTest#testCameraPerfClassCharacteristics

python tools/run_all_tests.py device=DEVICE camera=PRIMARY_CAMERA_ID chart=CHART_ID scenes=2_c

Pour les appareils exécutant Android 12, exécutez la commande suivante :

cts-tradefed run singleCommand cts --disable-reboot -m CtsCameraApi31TestCases

Matériel

Exécutez les tests CTS matériels à l'aide des commandes suivantes :

cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.RandomRWTest
cts-tradefed run singleCommand cts --disable-reboot -m CtsFileSystemTestCases -t android.filesystem.cts.SequentialRWTest