Streaming d'application associée

Dans Android 13, la fonctionnalité de streaming d'applications permet aux téléphones de diffuser leurs applications sur des appareils connectés et à ces appareils d'interagir avec les applications. Un nouveau rôle COMPANION_DEVICE_APP_STREAMING permet à une application de créer et de gérer des proxys pour les appareils distants connectés afin de diffuser des applications depuis l'appareil local vers l'appareil distant. L'application détenant le rôle COMPANION_DEVICE_APP_STREAMING peut obtenir des autorisations pour créer un écran virtuel, lancer une application dessus, puis diffuser une vidéo de l'application lancée sur un autre appareil. L'application du titulaire du rôle peut également injecter des événements d'entrée et de micro reçus d'un appareil distant dans l'appareil local, comme si cet appareil était connecté en tant que périphérique.

Architecture

À partir d'Android 13, le nouveau Gestionnaire d'appareils virtuels et le Gestionnaire d'appareils associés (CDM) constituent les principaux éléments de base pour la prise en charge du streaming d'applications et de l'interaction avec les appareils connectés à distance.

Gestionnaire d'appareils virtuels

Le streaming d'applications fonctionne grâce aux écrans virtuels. Le Gestionnaire de périphériques virtuels crée un écran virtuel distinct de l'écran principal visible. Lorsque l'utilisateur accepte de commencer à diffuser une application, celle-ci est lancée sur l'écran virtuel ou y est transférée. Le contenu de l'écran virtuel est transféré dans un flux vidéo vers l'appareil connecté pour être affiché.

Le Virtual Device Manager inclut des API qui permettent de créer, d'enregistrer et de gérer les instances VirtualDevice.

Une instance VirtualDevice est un proxy pour l'appareil connecté et ses fonctionnalités. Une instance VirtualDevice permet à un appareil connecté de recevoir, d'afficher et d'interagir avec un flux d'application entrant, en procédant comme suit :

• Créer une instance VirtualDisplay destinée à être affichée sur l'écran d'un appareil connecté.
• Injection d'un flux audio distant, tel que celui du micro de l'appareil connecté, dans l'appareil local pour la lecture.
• Injecter des événements d'entrée à distance, tels que ceux du clavier de l'appareil connecté, dans l'appareil local pour la lecture.

Gestionnaire d'appareils associés

Le CDM gère l'état de connectivité et applique les exigences de rôle qui doivent être respectées pour activer le streaming d'applications.

La figure suivante illustre les interactions entre l'appareil local et l'appareil distant lors du streaming d'applications :

Figure 1 : Interactions entre les appareils local et distant lors du streaming d'applications

Implémentation du rôle de streaming de l'application associée

Les OEM peuvent implémenter une application avec le rôle COMPANION_DEVICE_APP_STREAMING pour permettre une expérience multi-appareils riche et sécurisée sur leurs appareils.

Remarque : Seules les applications privilégiées préinstallées sont autorisées à détenir le rôle COMPANION_DEVICE_APP_STREAMING. Les OEM doivent s'assurer que l'application est soumise à examen dans le cadre du processus de validation de l'appareil. Pour en savoir plus, contactez votre représentant Google.

Pour créer un appareil virtuel permettant le streaming d'applications, une application doit être titulaire du rôle COMPANION_DEVICE_APP_STREAMING. Lorsque le rôle est accordé, l'application reçoit l'autorisation CREATE_VIRTUAL_DEVICE, qui lui permet de créer un appareil virtuel. Les titulaires de rôle sont censés implémenter le streaming d'applications en créant une instance VirtualDevice qui sert de proxy pour un appareil connecté. La classe VirtualDevice fournit des méthodes qui permettent d'extraire une surface composite d'un écran virtuel, adaptée au streaming vers un autre appareil. La classe VirtualDevice fournit également des API pour injecter des événements d'entrée qui se produisent sur un appareil distant dans l'appareil local, ce qui permet à une application exécutée sur un appareil local d'apparaître comme si elle s'exécutait de manière native sur un appareil distant.

Pour implémenter le rôle de streaming de l'application associée, procédez comme suit :

1. Créez une application qui demande l'autorisation REQUEST_COMPANION_PROFILE_APP_STREAMING dans le fichier manifeste.

2. Invitez l'utilisateur à autoriser l'application à effectuer le streaming d'applications.

3. Créez une instance CDM AssociationRequest pour demander un rôle COMPANION_DEVICE_APP_STREAMING. L'application reçoit l'autorisation CREATE_VIRTUAL_DEVICE lorsque le rôle est accordé.

4. Appelez VirtualDeviceManager#create() pour créer une instance VirtualDevice. Avec une instance VirtualDevice, l'application peut créer et gérer des affichages et des entrées virtuels.

5. Lancez l'intent en attente de la notification sur l'écran virtuel et créez une capture vidéo de cet écran.

6. Créez une connexion à l'appareil connecté et diffusez l'écran virtuel sur l'appareil connecté.

7. Injectez les événements d'entrée de l'appareil connecté dans l'appareil local via les API VirtualDevice.

8. Lorsque l'utilisateur ferme l'application de streaming sur l'appareil distant, mettez fin au flux et supprimez l'instance VirtualDevice. À ce stade, l'application de streaming précédente s'exécute en arrière-plan sur l'appareil local et la connexion est fermée.

9. Si nécessaire, attendez d'autres signaux de l'appareil connecté pour redémarrer le streaming de l'application.

L'application est responsable de la connexion à l'appareil distant, de la communication de l'état de connectivité à CDM et de l'application des exigences de sécurité décrites dans le CDD.

Remarque : Google propose une implémentation à source fermée appelée "Cross Device Service" qui permet la diffusion en streaming d'applications depuis n'importe quel téléphone Android équipé d'Android 13 ou version ultérieure vers un Chromebook. Les OEM peuvent précharger l'APK du service inter-appareils dans le répertoire priv-app.

Exigences pour le titulaire du rôle COMPANION_DEVICE_APP_STREAMING

Le CDM accorde le rôle COMPANION_DEVICE_APP_STREAMING lorsque l'utilisateur associe une application de streaming d'applications à un appareil. Ce rôle est associé à un profil d'appareil. Vous pouvez donc contrôler les applications qui peuvent être ajoutées au Play Store et qui correspondent à ce profil. Pour obtenir la liste des exigences concernant le rôle COMPANION_DEVICE_APP_STREAMING, consultez Rôles Android. Pour en savoir plus, contactez votre point de contact Google.

Capacités du titulaire du rôle COMPANION_DEVICE_APP_STREAMING

Pour effectuer le streaming d'applications, le rôle COMPANION_DEVICE_APP_STREAMING suppose que l'application du titulaire du rôle présente les capacités et les comportements suivants :

• Créer et gérer des connexions à d'autres appareils.
• Créez et gérez des écrans virtuels de confiance, y compris des écrans déverrouillés, comme suit :
  • Démarrez des activités sur l'écran virtuel.
  • Injecter des événements qui se produisent sur une application diffusée en streaming sur un appareil connecté sur l'appareil local, par exemple en déclenchant un événement tactile sur la tablette aux mêmes coordonnées sur le téléphone.
  • capturer les données audio de l'application diffusée ;
  • Remplacez le flux du micro de l'appareil local par celui d'un appareil connecté lorsqu'une application en streaming utilise le micro.
  • Remplacez le flux vidéo de la caméra de l'appareil local par celui de la caméra d'un appareil connecté lorsqu'une application en streaming utilise la caméra.
• Gérez et diffusez les notifications de l'appareil local vers l'appareil connecté, et effectuez des actions sur les notifications.
• Transmettre les métadonnées du flux depuis l'appareil local vers l'appareil connecté, comme la liste des applications disponibles sur l'appareil local.
• Demandez la validation de l'appareil.