Comprobación de capacidad de prueba HAL

Android 9 Vendor Test Suite (VTS) admite un método de tiempo de ejecución para usar la configuración del dispositivo para identificar qué pruebas VTS deben omitirse para ese dispositivo objetivo.

Flexibilidad de prueba VTS

A partir de Android 8.0, se requieren pruebas VTS para todos los dispositivos lanzados con Android 8.0 y superior. Sin embargo, no todas las pruebas VTS se aplican a todos los dispositivos objetivo. Por ejemplo:

  • Si un dispositivo específico no admite una prueba HAL (por ejemplo, IR), VTS no necesita ejecutar pruebas para esa prueba HAL contra ese dispositivo objetivo.
  • Si varios dispositivos comparten el mismo SoC y la misma imagen del proveedor, pero tienen diferentes funcionalidades de hardware, VTS debe determinar si se debe ejecutar u omitir una prueba para un dispositivo objetivo específico.

Tipos de pruebas VTS

VTS incluye los siguientes tipos de pruebas:

  • Las pruebas de cumplimiento garantizan la compatibilidad entre el marco y las particiones del proveedor. Estas pruebas deben ejecutarse (y aprobarse) en dispositivos que ejecutan Android 8.0 o superior.
  • Las pruebas de incumplimiento ayudan a los proveedores a mejorar la calidad del producto (rendimiento/fuzzing, etc.). Estas pruebas son opcionales para los proveedores.

Si una prueba es una prueba de cumplimiento o no depende del plan al que pertenece. Las pruebas que se ejecutan con el plan VTS se consideran pruebas de cumplimiento.

Determinar los HAL admitidos

VTS puede usar los siguientes archivos para determinar si el dispositivo de destino admite un HAL específico:

  • /system/compatibility_matrix.xml . Reclama las instancias HAL requeridas por el marco. Ejemplo:
    <hal format="hidl" optional="true">
    <name>android.hardware.vibrator</name>
    <version>1.0-1</version>
    <interface>
       <name>IVibrator</name>
       <instance>default</instance>
    </interface>
</hal>
    • El atributo optional indica si el marco requiere estrictamente HAL.
    • El archivo puede contener varias entradas para el mismo HAL (con el mismo nombre) pero con diferentes versiones e interfaces.
    • El archivo puede contener múltiples configuraciones version para la misma entrada, lo que indica que el marco puede funcionar con diferentes versiones.
    • version1.0-1 significa que el marco puede funcionar con la versión más baja, 1.0, y no requiere una versión superior a la 1.1.
  • manifest.xml . Reclama las instancias HAL proporcionadas por el proveedor. Ejemplo:
    <hal format="hidl">
    <name>android.hardware.vibrator</name>
    <transport>hwbinder</transport>
    <version>1.2</version>
    <interface>
        <name>IVibrator</name>
       <instance>default</instance>
    </interface>
</hal>
    • El archivo puede contener varias entradas para el mismo HAL (con el mismo nombre) pero con diferentes versiones e interfaces.
    • Si el archivo contiene solo una configuración version única para una entrada, version1.2 significa que el proveedor admite todas las versiones desde 1.0 a 1.2.
  • ishal . Una herramienta en el dispositivo que muestra información de tiempo de ejecución sobre los servicios HAL registrados con hwservicemanager . Ejemplo:
    android.hardware.vibrator@1.0::IVibrator/default

    lshal también muestra todos los HAL que tienen implementaciones de paso (es decir, que tienen el archivo -impl.so correspondiente en el dispositivo). Ejemplo:
    android.hardware.nfc@1.0::I*/* (/vendor/lib/hw/)
android.hardware.nfc@1.0::I*/* (/vendor/lib64/hw/)

Pruebas de cumplimiento

Para las pruebas de cumplimiento, VTS se basa en el manifiesto del proveedor para determinar (y probar) todas las instancias HAL proporcionadas por el dispositivo. Flujo de decisión:

Testability check for compliance

Figura 1. Verificación de capacidad de prueba para las pruebas de cumplimiento de VTS

Pruebas de incumplimiento

Para las pruebas de incumplimiento, VTS se basa en el manifiesto del proveedor y los resultados lshal para determinar (y probar) los HAL experimentales no reclamados en el archivo manifest.xml . Flujo de decisión:

Testability check for noncompliance

Figura 2. Verificación de la capacidad de prueba para las pruebas de incumplimiento de VTS

Localice el manifiesto del proveedor

VTS busca el archivo manifest.xml del proveedor en los siguientes lugares en el siguiente orden:

  1. /vendor/etc/vintf/manifest.xml + manifiesto ODM (si se define el mismo HAL en ambos lugares, el manifiesto ODM anula el de /vendor/etc/vintf/manifest.xml )
  2. /vendor/etc/vintf/manifest.xml
  3. Archivo ODM manifest.xml , cargado desde los siguientes archivos en el siguiente orden:
    1. /odm/etc/vintf/manifest_$(ro.boot.product.hardware.sku).xml
    2. /odm/etc/vintf/manifest.xml
    3. /odm/etc/manifest_$(ro.boot.product.hardware.sku).xml
    4. /odm/etc/manifest.xml
    5. /vendor/manifest.xml

Comprobador de capacidad de prueba VTS

vts_testibility_checker es un binario empaquetado con VTS y utilizado por el marco de pruebas de VTS en tiempo de ejecución para determinar si una prueba HAL determinada se puede probar o no. Se basa en libvintf para cargar y analizar el archivo de manifiesto del proveedor e implementa el flujo de decisión descrito en la sección anterior.

Para utilizar vts_testability_check :

  • Para una prueba de cumplimiento:
    vts_testability_check -c -b <bitness>  <hal@version>
  • Para una prueba de incumplimiento:
    vts_testability_check -b <bitness>  <hal@version>

La salida de vts_testability_check utiliza el siguiente formato json:

{testable: <True/False> Instances: <list of instance names of HAL service>}

Determinar los HAL accedidos

Para determinar a qué HAL acceden las pruebas VTS, asegúrese de que cada prueba HAL utilice la plantilla VtsHalHidlTargetTestEnvBase para registrar las HAL a las que se accede en la prueba. Luego, el marco de prueba de VTS puede extraer los HAL registrados al preprocesar la prueba.

Para pruebas de cumplimiento, también puede consultar /system/etc/vintf/manifest.xml . Si se define un HAL aquí, VTS debería probarlo. (Para los servicios HAL proporcionados por el sistema (por ejemplo, graphics.composer/vr ), los HAL se declaran en /system/manifest.xml .)