Android 10 meningkatkan pengalaman pengguna yang memerlukan lebih dari satu perekaman audio aktif untuk terjadi secara bersamaan, misalnya, jika pengguna ingin mengontrol panggilan VoIP atau perekam video dengan perintah suara yang disediakan oleh layanan aksesibilitas.
Framework audio menerapkan kebijakan yang hanya mengizinkan aplikasi dengan hak istimewa tertentu untuk merekam secara bersamaan dengan aplikasi reguler.
Kebijakan serentak diterapkan dengan membisukan audio yang direkam, bukan dengan mencegah aplikasi memulai perekaman. Hal ini memungkinkan framework untuk secara dinamis mengatasi perubahan jumlah dan jenis kasus penggunaan perekaman aktif, tanpa mencegah aplikasi memulai perekaman jika dapat memulihkan akses penuh ke mikrofon setelah aplikasi lain selesai melakukan perekaman.
Konsekuensi untuk HAL audio dan subsistem audio adalah keduanya harus mendukung beberapa streaming input aktif secara bersamaan, meskipun dalam beberapa kasus, hanya satu streaming yang menyediakan audio non-senyap ke klien aktif.
Persyaratan CDD
Lihat CDD untuk mengetahui persyaratan dukungan pengambilan serentak.
Merekam situasi dari HAL audio
Skenario pengambilan serentak dapat menghasilkan situasi yang berbeda dalam hal jumlah streaming input aktif, pemilihan perangkat input, atau konfigurasi prapemrosesan.
Serentak dapat terjadi antara hal berikut:
- Beberapa aliran input dari prosesor aplikasi (AP)
- Streaming input dan panggilan suara
- Streaming input dan DSP audio yang menerapkan deteksi frasa pengaktif berdaya rendah
Aktivitas serentak aliran input AP
File konfigurasi kebijakan audio audio_policy_configuration.xml digunakan oleh framework
audio untuk menentukan jumlah aliran input yang dapat dibuka dan aktif secara bersamaan.
Setidaknya, HAL audio harus mendukung setidaknya satu instance dari setiap profil
input (mixPort dari peran sink) yang tercantum dalam file konfigurasi
terbuka dan aktif.
Pemilihan perangkat
Saat beberapa klien aktif dilampirkan ke aliran input HAL yang sama, framework akan memilih perangkat yang sesuai untuk aliran input ini berdasarkan prioritas kasus penggunaan.
Jika beberapa aliran input aktif, setiap aliran dapat memiliki pemilihan perangkat yang berbeda.
Jika teknologi tersebut kompatibel, sebaiknya HAL dan subsistem audio mengizinkan streaming yang berbeda untuk diambil dari perangkat yang berbeda, seperti headset Bluetooth dan mikrofon bawaan.
Jika ada ketidakcocokan (misalnya, dua perangkat memiliki antarmuka audio digital atau backend yang sama), HAL audio harus memilih streaming yang akan mengontrol pemilihan perangkat.
Dalam hal ini:
- Status yang dihasilkan harus konsisten dan menawarkan pemilihan perangkat yang sama saat skenario yang sama diulang.
- Saat status serentak berakhir, streaming aktif yang tersisa harus dirutekan ke perangkat yang awalnya diminta di streaming ini.
Jika urutan prioritas ditentukan oleh HAL audio di antara kasus penggunaan aktif, ikuti urutan yang sama seperti
yang ditemukan di source_priority() di
frameworks/av/services/audiopolicy/common/include/policy.h
Pilihan prapemrosesan
Framework audio dapat meminta pra-pemrosesan pada aliran input menggunakan
metode HAL addEffect() atau removeEffect().
Untuk pra-pemrosesan pada aliran input tertentu, framework audio hanya mengaktifkan konfigurasi yang sesuai dengan kasus penggunaan aktif prioritas tertinggi pada aliran input. Namun, mungkin ada beberapa tumpang-tindih selama aktivasi dan penonaktifan kasus penggunaan, yang menyebabkan dua proses aktif serentak (misalnya, dua instance echo canceller) berjalan di aliran input yang sama. Dalam hal ini, implementasi HAL memilih permintaan mana yang diterima; implementasi ini melacak permintaan yang aktif dan memulihkan status yang benar saat salah satu proses dinonaktifkan.
Saat beberapa aliran pengambilan aktif secara bersamaan, permintaan prapemrosesan yang berbeda mungkin berjalan di aliran yang berbeda.
Implementasi subsistem audio dan HAL harus memungkinkan prapemrosesan yang berbeda diterapkan ke streaming yang berbeda, meskipun keduanya menggunakan perangkat input yang sama. Artinya, prapemrosesan harus diterapkan setelah melakukan demux streaming dari sumber pengambilan utama.
Jika tidak memungkinkan karena alasan teknis pada subsistem audio tertentu, HAL audio harus menerapkan aturan prioritas yang serupa dengan yang tercantum dalam Pemilihan perangkat.
Panggilan suara dan perekaman serentak dari AP
Perekaman dari AP dapat terjadi saat panggilan suara aktif. Situasi ini bukanlah hal baru di Android 10 dan tidak terkait langsung dengan fitur pengambilan serentak, tetapi sebaiknya sebutkan panduan untuk skenario ini.
Dua jenis pengambilan yang berbeda dari AP diperlukan selama panggilan.
Merekam RX dan TX panggilan
Perekaman RX dan TX panggilan dipicu oleh penggunaan sumber audio
AudioSource.VOICE_UPLINK atau AudioSource.VOICE_DOWNLINK, dan/atau perangkat
AudioDevice.IN_TELEPHONY_RX.
HAL audio harus diekspos di profil input (mixPort dari peran sink)
dengan rute yang tersedia dari perangkat AudioDevice.IN_TELEPHONY_RX.
Saat panggilan terhubung (mode audio adalah AudioMode.IN_CALL), Anda seharusnya dapat
memiliki setidaknya satu streaming pengambilan aktif dari perangkat AudioDevice.IN_TELEPHONY_RX.
Mengambil foto dari perangkat input saat panggilan aktif
Saat panggilan aktif (mode audio adalah AudioMode.IN_CALL), Anda dapat
membuka dan mengaktifkan aliran input dari AP seperti yang ditentukan di bagian
Aktivitas serentak aliran input AP.
Namun, prioritas pemilihan perangkat dan pra-pemrosesan harus selalu diatur oleh panggilan suara jika terjadi konflik dengan permintaan dari stream input AP.
Perekaman serentak dari DSP dan AP
Jika subsistem audio berisi DSP yang mendukung konteks audio berdaya rendah atau fungsi deteksi
kata cepat, implementasinya harus mendukung pengambilan serentak dari AP dan DSP audio.
Hal ini mencakup pengambilan oleh DSP selama fase deteksi awal dan pengambilan oleh AP
dengan AudioSource.HOTWORD setelah deteksi dipicu oleh DSP.
Hal ini harus tercermin dalam flag perekaman serentak yang dilaporkan oleh HAL pemicu suara melalui
deskripsi implementasi: ISoundTriggerHw.Properties.concurrentCapture = true.
HAL audio juga harus mengekspos dan memasukkan profil yang khusus untuk pengambilan frasa pengaktif yang diidentifikasi oleh
tanda AudioInputFlag.HW_HOTWORD. Implementasi harus mendukung pembukaan dan
pengaktifan sejumlah streaming di profil ini setidaknya sama dengan jumlah model suara yang
dapat dimuat secara bersamaan oleh HAL pemicu suara.
Perekaman dari profil input ini dapat dilakukan saat profil input lainnya aktif.
Implikasi untuk penerapan Asisten
Persyaratan terkait penggunaan data dan notifikasi pengguna
Karena penggunaan mikrofon serentak, jika disalahgunakan, dapat membocorkan data pribadi pengguna, kami memerlukan kondisi dan jaminan berikut untuk diterapkan ke aplikasi bawaan dengan hak istimewa yang meminta untuk memegang peran Asisten.
- Data yang dikumpulkan melalui mikrofon tidak boleh keluar dari perangkat kecuali jika pengguna berinteraksi dengan Asisten. Misalnya, setelah kata kunci dipicu.
- Aplikasi yang memproses secara serentak harus memberikan isyarat visual kepada pengguna setelah frasa pengaktif terdeteksi. Hal ini membantu pengguna memahami bahwa percakapan lebih lanjut akan melalui aplikasi lain, seperti Asisten.
- Pengguna harus dapat menonaktifkan mikrofon atau pemicu Asisten.
- Saat rekaman audio disimpan, pengguna harus dapat mengakses, meninjau, dan menghapus rekaman kapan saja.
Peningkatan fungsi untuk Android 10
Asisten tidak saling memblokir
Di Android 9 atau yang lebih lama, jika ada dua Asisten yang selalu aktif di perangkat, hanya satu di antaranya yang dapat memproses kata kuncinya. Oleh karena itu, perlu beralih antara kedua Asisten. Di Android 10, Asisten default dapat mendengarkan secara serentak dengan Asisten lainnya. Hal ini menghasilkan pengalaman yang jauh lebih lancar bagi pengguna dengan kedua Asisten.
Aplikasi yang mengaktifkan mikrofon
Saat aplikasi seperti Shazam atau Waze membuka mikrofon, Asisten default masih dapat mendengarkan frasa pengaktif.
Untuk aplikasi Asisten non-default, tidak ada perubahan perilaku untuk Android 10.
Contoh implementasi HAL audio
Contoh implementasi HAL audio yang mematuhi panduan dalam dokumen ini dapat ditemukan di AOSP.