Туннелирование мультимедиа

Туннелирование мультимедиа, также известное как туннельный режим, позволяет передавать сжатые видеоданные через аппаратный декодер видео непосредственно на дисплей без обработки кодом приложения или кодом фреймворка Android. Код, зависящий от устройства, под стеком Android определяет, какие кадры видео отправлять на дисплей и когда их отправлять, сравнивая временные метки представления кадров видео с одним из следующих типов внутренних часов:

  • Для воспроизведения видео по запросу в Android 5 или более поздней версии часы AudioTrack синхронизируются с временными метками аудио, переданными приложением.

  • Для воспроизведения прямых трансляций в Android 11 или более поздней версии – опорные часы программы (PCR) или системные часы (STC), управляемые тюнером.

Фон

При воспроизведении видео в обычном режиме на Android приложение получает уведомление, когда сжатый кадр видео декодирован. Затем приложение отправляет декодированный кадр видео на экран, чтобы он был показан в то же время, что и соответствующий аудиокадр. Для расчета времени извлекаются предыдущие экземпляры AudioTimestamp.

Поскольку при туннелированном воспроизведении видео обходит код приложения и уменьшается количество процессов, воздействующих на видео, это может обеспечить более эффективный рендеринг видео в зависимости от реализации OEM. Это также может обеспечить более точную частоту кадров видео и синхронизацию с выбранными часами (PRC, STC или аудио), избегая проблем с синхронизацией, вызванных потенциальным перекосом между временем запросов Android на рендеринг видео и временем истинной аппаратной вертикальной синхронизации. Однако туннелирование может снизить поддержку эффектов графического процессора, таких как размытие или закругленные углы в окнах режима "картинка в картинке", поскольку буферы обходят графический стек Android.

На следующей диаграмме показано, как туннелирование упрощает процесс воспроизведения видео.

сравнение традиционного и туннельного режимов

Рисунок 1. Сравнение процессов воспроизведения видео без туннелирования и с туннелированием.

Для разработчиков приложений

Поскольку большинство разработчиков приложений интегрируют библиотеку для реализации воспроизведения, в большинстве случаев реализация требует только перенастройки этой библиотеки для туннельного воспроизведения. Ниже приведены инструкции по низкоуровневой реализации туннелированного видеопроигрывателя.

Для воспроизведения видео по запросу на устройствах с Android 5 или более поздней версии:

  1. Создайте экземпляр SurfaceView.

  2. Создайте экземпляр audioSessionId.

  3. Создайте экземпляры AudioTrack и MediaCodec с помощью экземпляра audioSessionId, созданного на шаге 2.

  4. Добавьте аудиоданные в очередь AudioTrack с временной меткой презентации для первого аудиокадра в аудиоданных.

Для воспроизведения прямых трансляций на устройствах с Android 11 или более поздней версии:

  1. Создайте экземпляр SurfaceView.

  2. Получите экземпляр avSyncHwId из Tuner.

  3. Создайте экземпляры AudioTrack и MediaCodec с помощью экземпляра avSyncHwId, созданного на шаге 2.

Последовательность вызовов API показана в следующих фрагментах кода:

aab.setContentType(AudioAttributes.CONTENT_TYPE_MOVIE);

// configure for audio clock sync
aab.setFlag(AudioAttributes.FLAG_HW_AV_SYNC);
// or, for tuner clock sync (Android 11 or higher)
new tunerConfig = TunerConfiguration(0, avSyncId);
aab.setTunerConfiguration(tunerConfig);
if (codecName == null) {
  return FAILURE;
}

// configure for audio clock sync
mf.setInteger(MediaFormat.KEY_AUDIO_SESSION_ID, audioSessionId);
// or, for tuner clock sync (Android 11 or higher)
mf.setInteger(MediaFormat.KEY_HARDWARE_AV_SYNC_ID, avSyncId);

Принципы работы воспроизведения видео по запросу

Поскольку туннелированное воспроизведение видео по запросу неявно связано с воспроизведением AudioTrack, поведение туннелированного воспроизведения видео может зависеть от поведения воспроизведения аудио.

  • На большинстве устройств по умолчанию кадр видео не отображается до начала воспроизведения аудио. Однако приложению может потребоваться отрисовать кадр видео перед началом воспроизведения аудио, например чтобы показать пользователю текущую позицию видео во время поиска.

    • Чтобы первый кадр видео в очереди был показан сразу после декодирования, задайте для параметра PARAMETER_KEY_TUNNEL_PEEK значение 1. Если сжатые кадры видео переупорядочиваются в очереди (например, при наличии B-кадров), то первым должен показываться I-кадр.

    • Если вы не хотите, чтобы первый кадр видео в очереди воспроизводился до начала воспроизведения аудио, установите для этого параметра значение 0.

    • Если этот параметр не задан, поведение устройства определяется OEM-производителем.

  • Если аудиоданные не передаются в AudioTrack и буферы пусты (недостаточный объем аудиоданных), воспроизведение видео приостанавливается, пока не будет записано больше аудиоданных, поскольку аудиотаймер больше не работает.

  • Во время воспроизведения могут возникать сбои, которые приложение не может исправить, в результате чего временные метки аудио могут отображаться некорректно. В таких случаях OEM-производитель корректирует отрицательные расхождения, задерживая текущий кадр видео, а положительные – пропуская кадры видео или вставляя пустые аудиокадры (в зависимости от реализации OEM). Позиция кадра AudioTimestamp не увеличивается для вставленных кадров без звука.

Последовательность действий для точной перемотки

Точная перемотка позволяет найти нужный момент в видео. В отличие от поиска по ключевым кадрам, при котором происходит переход к ближайшему I-кадру и отклонение от целевой позиции может составлять несколько секунд, точная перемотка позволяет воспроизвести видео с нужной временной метки. Соблюдение этой последовательности API позволяет приложению выполнять фоновую предварительную прокрутку и синхронизацию времени без сбоев. Это гарантирует, что целевой кадр будет показан сразу после возобновления воспроизведения.

Чтобы выполнить точную перемотку, следуйте порядку выполнения, показанному на рисунке 2:

последовательность поиска

Рисунок 2. Последовательность действий для точной перемотки.

Вот основные сведения:

  • Параллельное выполнение. Вы можете одновременно выполнять шаги в одном блоке par. Например, видеовызовы MediaCodec не зависят от AudioTrack.

  • Последовательные зависимости: вызовите все операции в первом поле par, прежде чем переходить ко второму полю par. В частности, приложение должно гарантировать, что AudioTrack.write и буферы в видео MediaCodec помещаются в очередь до вызова AudioTrack.play.

Схема воспроизведения с переменной скоростью

Вы можете ускорять или замедлять воспроизведение видео. Эта функция часто используется в приложениях, чтобы пользователи могли быстрее потреблять контент (например, слушать лекции или подкасты на скорости 1,5x или 2,0x) или медленнее (например, анализировать спортивные игры или обучающие видео на скорости 0,5x).

Чтобы задать скорость, следуйте порядку выполнения, показанному на рисунке 3:

скорость последовательности

Рисунок 3. Последовательность действий для настройки скорости.

На диаграмме последовательности на рисунке 3 не показаны следующие действия и технические требования:

  • AudioTrack.getTimestamp возвращает framePosition на основе исходной частоты аудиовхода. Например, если частота дискретизации составляет 44 100 Гц, а скорость воспроизведения – 2,0x, то через 2 секунды воспроизведения метод AudioTrack.getTimestamp вернет значение framePosition, равное 176 400.

  • Если приложение вызывает setSpeed(1.5) и это удается, а затем приложение вызывает setSpeed(30) и это не удается, воспроизведение остается на уровне 1,5x.

  • Если звук отключен (с помощью setVolume), приложение все равно должно отправлять аудио буферы, поскольку кадры видео отображаются на основе позиции аудио.

  • При изменении скорости высота звука сохраняется.

  • Скорость воспроизведения не зависит от других действий.

    • Пример 1. Если скорость воспроизведения равна 1,5x и AudioTrack приостановлено, то после возобновления AudioTrack скорость останется равной 1,5x.

    • Пример 2. Если скорость воспроизведения равна 1,5x и пользователь переходит к другой временной метке, то, как показано на рисунке 2, скорость воспроизведения остается равной 1,5x.

  • Чтобы все кадры декодировались вовремя и воспроизводились с выбранной скоростью, задайте для KEY_OPERATING_RATE значение, равное произведению частоты кадров видео и скорости воспроизведения. Если значение KEY_OPERATING_RATE недостаточно высокое, кодек может не успевать декодировать кадры, что приведет к их непреднамеренному пропуску во время воспроизведения.

    • Пример. Если исходная частота кадров контента составляет 60 кадров/с, а скорость воспроизведения – 2x, то для параметра KEY_OPERATING_RATE нужно задать значение 120.
  • Повторная установка скорости с разными поддерживаемыми скоростями не должна вызывать ошибок, а поведение воспроизведения после последнего вызова должно быть таким же, как если бы скорость была установлена только один раз, с последней настройкой скорости.

Для производителей устройств

Конфигурация

OEM-производителям следует создать отдельный декодер видео для поддержки туннелированного воспроизведения видео. В файле media_codecs.xml должно быть указано, что декодер поддерживает туннельное воспроизведение:

<Feature name="tunneled-playback" required="true"/>

Когда для туннелированного экземпляра MediaCodec настроен идентификатор аудиосеанса, он запрашивает у AudioFlinger этот идентификатор HW_AV_SYNC:

if (entry.getKey().equals(MediaFormat.KEY_AUDIO_SESSION_ID)) {
    int sessionId = 0;
    try {
        sessionId = (Integer)entry.getValue();
    }
    catch (Exception e) {
        throw new IllegalArgumentException("Wrong Session ID Parameter!");
    }
    keys[i] = "audio-hw-sync";
    values[i] = AudioSystem.getAudioHwSyncForSession(sessionId);
}

Во время этого запроса AudioFlinger получает идентификатор HW_AV_SYNC от основного аудиоустройства и внутренне связывает его с идентификатором аудиосеанса:

audio_hw_device_t *dev = mPrimaryHardwareDev->hwDevice();
char *reply = dev->get_parameters(dev, AUDIO_PARAMETER_HW_AV_SYNC);
AudioParameter param = AudioParameter(String8(reply));
int hwAVSyncId;
param.getInt(String8(AUDIO_PARAMETER_HW_AV_SYNC), hwAVSyncId);

Если экземпляр AudioTrack уже создан, идентификатор HW_AV_SYNC передается в выходной поток с тем же идентификатором аудиосеанса. Если он ещё не создан, то идентификатор HW_AV_SYNC передается в выходной поток при создании AudioTrack. Это делает поток воспроизведения:

mOutput->stream->common.set_parameters(&mOutput->stream->common, AUDIO_PARAMETER_STREAM_HW_AV_SYNC, hwAVSyncId);

Идентификатор HW_AV_SYNC, независимо от того, соответствует ли он выходному аудиопотоку или конфигурации Tuner, передается в компонент OMX или Codec2, чтобы код OEM мог связать кодек с соответствующим выходным аудиопотоком или потоком тюнера.

Во время настройки компонента компонент OMX или Codec2 должен возвращать дескриптор боковой полосы, который можно использовать для связывания кодека со слоем Hardware Composer (HWC). Когда приложение связывает поверхность с MediaCodec, этот дескриптор боковой полосы передается в HWC через SurfaceFlinger, который настраивает слой как слой боковой полосы.

err = native_window_set_sideband_stream(nativeWindow.get(), sidebandHandle);
if (err != OK) {
  ALOGE("native_window_set_sideband_stream(%p) failed! (err %d).", sidebandHandle, err);
  return err;
}

HWC отвечает за получение новых буферов изображений из выходных данных кодека в соответствующее время, синхронизированное с соответствующим выходным аудиопотоком или опорным тактовым сигналом программы тюнера, за компоновку буферов с текущим содержимым других слоев и за отображение результирующего изображения. Это происходит независимо от обычного цикла подготовки и установки. Вызовы prepare и set происходят только при изменении других слоев или при изменении свойств слоя боковой полосы (например, положения или размера).

OMX

Компонент туннелированного декодера должен поддерживать следующее:

  • Задайте расширенный параметр OMX.google.android.index.configureVideoTunnelMode, который использует структуру ConfigureVideoTunnelModeParams для передачи идентификатора HW_AV_SYNC, связанного с устройством вывода звука.

  • Настройка параметра OMX_IndexConfigAndroidTunnelPeek, который указывает кодеку, нужно ли отрисовывать первый декодированный кадр видео независимо от того, началось ли воспроизведение аудио.

  • Отправка события OMX_EventOnFirstTunnelFrameReady, когда первый кадр видео, переданный по туннелю, декодирован и готов к воспроизведению.

В реализации AOSP туннельный режим настраивается в ACodec через OMXNodeInstance, как показано в следующем фрагменте кода:

OMX_INDEXTYPE index;
OMX_STRING name = const_cast<OMX_STRING>(
        "OMX.google.android.index.configureVideoTunnelMode");

OMX_ERRORTYPE err = OMX_GetExtensionIndex(mHandle, name, &index);

ConfigureVideoTunnelModeParams tunnelParams;
InitOMXParams(&tunnelParams);
tunnelParams.nPortIndex = portIndex;
tunnelParams.bTunneled = tunneled;
tunnelParams.nAudioHwSync = audioHwSync;
err = OMX_SetParameter(mHandle, index, &tunnelParams);
err = OMX_GetParameter(mHandle, index, &tunnelParams);
sidebandHandle = (native_handle_t*)tunnelParams.pSidebandWindow;

Если компонент поддерживает эту конфигурацию, он должен выделить дескриптор боковой полосы для этого кодека и передать его обратно через элемент pSidebandWindow, чтобы HWC мог идентифицировать связанный кодек. Если компонент не поддерживает эту конфигурацию, он должен установить для bTunneled значение OMX_FALSE.

Codec2

В Android 11 и более поздних версиях Codec2 поддерживает туннелированное воспроизведение. Компонент декодера должен поддерживать следующее:

  • Настройка C2PortTunneledModeTuning, которая настраивает туннельный режим и передает HW_AV_SYNC, полученный от устройства вывода звука или конфигурации тюнера.

  • Запрос C2_PARAMKEY_OUTPUT_TUNNEL_HANDLE для выделения и получения дескриптора боковой полосы для HWC.

  • Обработка C2_PARAMKEY_TUNNEL_HOLD_RENDER, когда он прикреплен к C2Work, что указывает кодеку декодировать и сигнализировать о завершении работы, но не отображать выходной буфер до тех пор, пока 1) кодеку не будет дано указание отобразить его или 2) не начнется воспроизведение аудио.

  • Обработка C2_PARAMKEY_TUNNEL_START_RENDER, которая указывает кодеку немедленно отрисовать кадр, помеченный C2_PARAMKEY_TUNNEL_HOLD_RENDER, даже если воспроизведение аудио ещё не началось.

  • Оставить debug.stagefright.ccodec_delayed_params ненастроенным (рекомендуется). Если вы все же решите его настроить, задайте значение false.

В реализации AOSP туннельный режим настраивается в CCodec через C2PortTunnelModeTuning, как показано в следующем фрагменте кода:

if (msg->findInt32("audio-hw-sync", &tunneledPlayback->m.syncId[0])) {
    tunneledPlayback->m.syncType =
            C2PortTunneledModeTuning::Struct::sync_type_t::AUDIO_HW_SYNC;
} else if (msg->findInt32("hw-av-sync-id", &tunneledPlayback->m.syncId[0])) {
    tunneledPlayback->m.syncType =
            C2PortTunneledModeTuning::Struct::sync_type_t::HW_AV_SYNC;
} else {
    tunneledPlayback->m.syncType =
            C2PortTunneledModeTuning::Struct::sync_type_t::REALTIME;
    tunneledPlayback->setFlexCount(0);
}
c2_status_t c2err = comp->config({ tunneledPlayback.get() }, C2_MAY_BLOCK,
        failures);
std::vector<std::unique_ptr<C2Param>> params;
c2err = comp->query({}, {C2PortTunnelHandleTuning::output::PARAM_TYPE},
        C2_DONT_BLOCK, &params);
if (c2err == C2_OK && params.size() == 1u) {
    C2PortTunnelHandleTuning::output *videoTunnelSideband =
            C2PortTunnelHandleTuning::output::From(params[0].get());
    return OK;
}

Если компонент поддерживает эту конфигурацию, он должен выделить дескриптор боковой полосы для этого кодека и передать его обратно через C2PortTunnelHandlingTuning, чтобы HWC мог идентифицировать связанный кодек.

Аппаратно-зависимый уровень аудио

При воспроизведении видео по запросу Audio HAL получает временные метки аудиопрезентации вместе с аудиоданными в формате big-endian в заголовке, который находится в начале каждого блока аудиоданных, записываемых приложением:

struct TunnelModeSyncHeader {
  // The 32-bit data to identify the sync header (0x55550002)
  int32 syncWord;
  // The size of the audio data following the sync header before the next sync
  // header might be found.
  int32 sizeInBytes;
  // The presentation timestamp of the first audio sample following the sync
  // header.
  int64 presentationTimestamp;
  // The number of bytes to skip after the beginning of the sync header to find the
  // first audio sample (20 bytes for compressed audio, or larger for PCM, aligned
  // to the channel count and sample size).
  int32 offset;
}

Чтобы HWC мог синхронизировать кадры видео с соответствующими аудиокадрами, Audio HAL должен проанализировать заголовок синхронизации и использовать временную метку презентации для повторной синхронизации часов воспроизведения с рендерингом аудио. Чтобы повторно синхронизировать воспроизведение сжатого аудио, Audio HAL может потребоваться проанализировать метаданные в сжатых аудиоданных, чтобы определить продолжительность воспроизведения.

Приостановить поддержку

На устройствах с Android 5 или более ранней версией ОС приостановить работу профиля нельзя. Приостановить туннелированное воспроизведение можно только в случае нехватки аудио- или видеоданных. Однако если внутренний буфер для видео большой (например, в компоненте OMX есть данные за одну секунду), то пауза может выглядеть как отсутствие ответа.

В Android 5.1 и более поздних версиях AudioFlinger поддерживает приостановку и возобновление воспроизведения для прямых (туннелированных) аудиовыходов. Если HAL реализует приостановку и возобновление, приостановка и возобновление трека перенаправляются в HAL.

Последовательность вызовов pause, flush и resume соблюдается за счет выполнения вызовов HAL в потоке воспроизведения (как и при разгрузке).

Рекомендации по реализации

Аппаратно-зависимый уровень аудио

В Android 11 для синхронизации аудио и видео можно использовать идентификатор аппаратной синхронизации из PCR или STC, поэтому поддерживается поток только с видео.

На устройствах с Android 10 или более ранней версией, поддерживающих туннелированное воспроизведение видео, должен быть хотя бы один профиль выходного аудиопотока с флагами FLAG_HW_AV_SYNC и AUDIO_OUTPUT_FLAG_DIRECT в файле audio_policy.conf. Эти флаги используются для установки системных часов по аудиочасам.

OMX

Производители устройств должны иметь отдельный компонент OMX для туннелированного воспроизведения видео (производители могут иметь дополнительные компоненты OMX для других типов воспроизведения аудио и видео, например для безопасного воспроизведения). Компонент туннелирования должен:

  • Укажите 0 буферов (nBufferCountMin, nBufferCountActual) на выходном порте.

  • Реализуйте расширение OMX.google.android.index.prepareForAdaptivePlayback setParameter.

  • Укажите его возможности в файле media_codecs.xml и объявите функцию туннелированного воспроизведения. Также в нем должны быть указаны ограничения на размер кадра, выравнивание и битрейт. Пример:

    <MediaCodec name="OMX.OEM_NAME.VIDEO.DECODER.AVC.tunneled"
    type="video/avc" >
        <Feature name="adaptive-playback" />
        <Feature name="tunneled-playback" required=”true” />
        <Limit name="size" min="32x32" max="3840x2160" />
        <Limit name="alignment" value="2x2" />
        <Limit name="bitrate" range="1-20000000" />
            ...
    </MediaCodec>
    

Если один и тот же компонент OMX используется для поддержки декодирования с туннелированием и без него, функция туннелированного воспроизведения должна быть необязательной. В этом случае у декодеров с туннелированием и без него будут одинаковые ограничения. Пример:

<MediaCodec name="OMX._OEM\_NAME_.VIDEO.DECODER.AVC" type="video/avc" >
    <Feature name="adaptive-playback" />
    <Feature name="tunneled-playback" />
    <Limit name="size" min="32x32" max="3840x2160" />
    <Limit name="alignment" value="2x2" />
    <Limit name="bitrate" range="1-20000000" />
        ...
</MediaCodec>

Hardware Composer (HWC)

Если на экране есть туннелированный слой (слой с HWC_SIDEBAND compositionType), то sidebandStream слоя – это дескриптор боковой полосы, выделенный видеокомпонентом OMX.

HWC синхронизирует декодированные кадры видео (из туннелированного компонента OMX) со связанной аудиодорожкой (с идентификатором audio-hw-sync). Когда новый кадр видео становится текущим, HWC объединяет его с текущим содержимым всех слоев, полученных во время последнего вызова prepare или set, и отображает полученное изображение. Вызовы prepare или set происходят только тогда, когда изменяются другие слои или когда изменяются свойства слоя боковой полосы (например, положение или размер).

На следующем рисунке показано, как HWC работает с аппаратным синхронизатором (или ядром, или драйвером), чтобы объединить кадры видео (7b) с последней композицией (7a) для отображения в правильное время на основе звука (7c).

HWC объединяет кадры видео на основе аудио

Рисунок 4. Синхронизатор аппаратного обеспечения HWC (или ядра, или драйвера).