Lo que todo desarrollador debe saber sobre superficies, SurfaceHolder, EGLSurface, SurfaceView, GLSurfaceView, SurfaceTexture, TextureView, SurfaceFlinger y Vulkan.
Esta página describe elementos esenciales de la arquitectura de gráficos a nivel del sistema Android y cómo los utiliza el marco de la aplicación y el sistema multimedia. La atención se centra en cómo se mueven los buffers de datos gráficos a través del sistema. Si alguna vez te has preguntado por qué SurfaceView y TextureView se comportan como lo hacen, o cómo interactúan las superficies y EGLSurface, estás en el lugar correcto.
Se supone cierta familiaridad con los dispositivos Android y el desarrollo de aplicaciones. No necesita conocimientos detallados del marco de la aplicación y se mencionan muy pocas llamadas API, pero el material no se superpone con otra documentación pública. El objetivo es proporcionar detalles sobre los eventos importantes involucrados en la representación de un marco para la salida para ayudarlo a tomar decisiones informadas al diseñar una aplicación. Para lograr esto, trabajamos de abajo hacia arriba, describiendo cómo funcionan las clases de UI en lugar de cómo se pueden usar.
Esta sección incluye varias páginas que cubren todo, desde material de referencia hasta detalles de HAL y casos de uso. Comienza con una explicación de los buffers de gráficos de Android, describe la composición y el mecanismo de visualización, luego continúa con los mecanismos de nivel superior que suministran datos al compositor. Recomendamos leer las páginas en el orden que se indica a continuación en lugar de saltar a un tema que parezca interesante.
Componentes de bajo nivel
- BufferQueue y gralloc . BufferQueue conecta algo que genera buffers de datos gráficos (el productor ) con algo que acepta los datos para su visualización o procesamiento posterior (el consumidor ). Las asignaciones de búfer se realizan a través del asignador de memoria gralloc implementado a través de una interfaz HAL específica del proveedor.
- SurfaceFlinger, Hardware Composer y pantallas virtuales . SurfaceFlinger acepta buffers de datos de múltiples fuentes, los compone y los envía a la pantalla. Hardware Composer HAL (HWC) determina la forma más eficiente de componer buffers con el hardware disponible, y las pantallas virtuales hacen que la salida compuesta esté disponible dentro del sistema (grabando la pantalla o enviando la pantalla a través de una red).
- Superficie, lienzo y SurfaceHolder . Una superficie produce una cola de búfer que SurfaceFlinger suele consumir. Al renderizar sobre una superficie, el resultado termina en un búfer que se envía al consumidor. Las API de Canvas proporcionan una implementación de software (con soporte de aceleración de hardware) para dibujar directamente en una superficie (alternativa de bajo nivel a OpenGL ES). Todo lo que tenga que ver con una vista implica un SurfaceHolder, cuyas API permiten obtener y configurar parámetros de superficie como el tamaño y el formato.
- EGLSurface y OpenGL ES . OpenGL ES (GLES) define una API de renderizado de gráficos diseñada para combinarse con EGL , una biblioteca que puede crear y acceder a ventanas a través del sistema operativo (para dibujar polígonos texturizados, use llamadas GLES; para poner renderizado en la pantalla, use llamadas EGL ). Esta página también cubre ANativeWindow, el equivalente C/C++ de la clase Java Surface utilizada para crear una superficie de ventana EGL a partir de código nativo.
- Vulcano . Vulkan es una API multiplataforma de bajo costo para gráficos 3D de alto rendimiento. Al igual que OpenGL ES, Vulkan proporciona herramientas para crear gráficos de alta calidad en tiempo real en aplicaciones. Las ventajas de Vulkan incluyen reducciones en la sobrecarga de la CPU y compatibilidad con el lenguaje intermedio binario SPIR-V .
Componentes de alto nivel
- SurfaceView y GLSurfaceView . SurfaceView combina una superficie y una vista. Los componentes de vista de SurfaceView están compuestos por SurfaceFlinger (y no por la aplicación), lo que permite la representación desde un subproceso/proceso independiente y el aislamiento de la representación de la interfaz de usuario de la aplicación. GLSurfaceView proporciona clases auxiliares para administrar contextos EGL, comunicación entre subprocesos e interacción con el ciclo de vida de la actividad (pero no es necesario para usar GLES).
- Textura de superficie . SurfaceTexture combina una superficie y una textura GLES para crear un BufferQueue del cual su aplicación es el consumidor. Cuando un productor pone en cola un nuevo búfer, notifica a su aplicación, que a su vez libera el búfer retenido previamente, adquiere el nuevo búfer de la cola y realiza llamadas EGL para que el búfer esté disponible para GLES como una textura externa. Android 7.0 agregó soporte para la reproducción segura de videos con texturas, lo que permite el posprocesamiento por GPU del contenido de video protegido.
- Vista de textura . TextureView combina una vista con SurfaceTexture. TextureView envuelve SurfaceTexture y asume la responsabilidad de responder a las devoluciones de llamada y adquirir nuevos buffers. Al dibujar, TextureView utiliza el contenido del búfer recibido más recientemente como fuente de datos, renderizándolo donde y como el estado de la vista lo indique. La composición de la vista siempre se realiza con GLES, lo que significa que las actualizaciones de los contenidos pueden hacer que otros elementos de la vista también se vuelvan a dibujar.