声音触发器

声音触发器功能使应用能够以低功耗且保护隐私的方式监听特定的声音事件（例如启动指令）。“声音触发器”的用例示例包括 Google 助理和“闻曲知音”。

本页将概述声音触发器架构及其 HAL（硬件抽象层）接口。

声音触发器堆栈

声音触发器子系统是分层构建的（如图 1 所示）：

sound_trigger_stack

图 1：声音触发器堆栈

以下列表更详细地介绍了图 1 中所示的每个分层：

  • HAL 层（绿色）包含用于实现声音触发器 HAL (STHAL) 接口的供应商专用代码。

  • SoundTriggerMiddleware（黄色）位于 HAL 接口上方。它与 HAL 进行通信，并负责执行一些功能（例如在不同客户端之间共享 HAL、日志记录、强制执行权限以及处理与旧版 HAL 的兼容性）。

  • SoundTriggerService（蓝色）系统位于中间件上方。它有助于与其他系统功能（例如电话和电池事件）集成。此外，它还维护了一个按唯一 ID 编入索引的声音模型数据库。

  • 在 SoundTriggerService 层上方，该堆栈（棕色）会分别处理 Google 助理和通用应用特有的功能。

声音触发器堆栈的功能是传递代表声音触发器事件的独立事件。在大多数情况下，声音触发器堆栈并不处理音频。收到触发器事件后，应用会通过音频框架打开 AudioRecord 对象，从而在事件发生时访问实际音频流。音频触发器 HAL API 会提供与音频框架一起使用的触发事件的句柄。而由于声音触发器 HAL 和音频 HAL 在后台彼此相连，它们通常会共用一个进程。

声音触发器 HAL 接口

声音触发器 HAL (STHAL) 接口是声音触发器堆栈中的供应商专用组件，用于处理启动指令和其他声音的硬件识别。 STHAL 提供一个或多个引擎，每个引擎都运行不同的算法，用于检测特定类型的声音。当 STHAL 检测到触发器时，会向框架发送事件，然后停止检测。

STHAL 接口在 /hardware/interfaces/soundtrigger/ 下指定。

ISoundTriggerHw 接口支持在指定时间运行一个或多个检测会话，并监听声音事件。调用 ISoundTriggerHw.getProperties() 会返回包含实现说明和功能的 Properties 结构。

图 2 中展示了设置会话的基本流程：

sthal_state

图 2：STHAL 状态图

以下步骤更详细地介绍了每种状态：

  1. HAL 客户端使用 loadSoundModel() 或 loadPhraseSoundModel() 加载模型。提供的模型对象会指明要使用的实现专用检测算法（引擎）以及适用于此算法的参数。成功后，这些方法会返回一个句柄，用于在后续调用中引用此模型。

  2. 成功加载模型后，HAL 客户端会调用 startRecognition() 以开始检测。识别进程会继续在后台运行，直到发生以下任一事件：

    1. 对此模型调用了 stopRecognition()。
    2. 进行了检测。
    3. 检测因资源限制（例如启动了优先级更高的用例）而中止。

    在后两种情况下，会通过 HAL 客户端在加载时注册的回调接口发送识别事件。在所有情况下，只要发生上述事件，检测就会变为非活跃状态，并且不再允许执行识别回调。

    稍后可再次启动同一模型，并且可以根据需要多次重复此过程。

  3. 最后，不再需要的非活跃模型会由 HAL 客户端通过 unloadModel() 取消加载。

处理 HAL 错误

为确保各驱动程序实现所表现出的行为的可靠性和一致性，在 Android 11 中，从 HAL 返回的任何不成功错误代码都将被视为编程错误。若要从这类错误中恢复，需要重新启动 HAL 进程。该恢复策略不到万不得已，尽量不要采用；预计正常运行的系统中不会发生这类情况。