高動態範圍影片播放

高動態範圍 (HDR) 影片是高品質影片解碼的下一個前沿，可提供無與倫比的場景重現品質。這項技術會大幅增加亮度元件的動態範圍 (從目前的 100 cd/m2 到 1000 個 cd/m2)，並使用更廣泛的色彩空間 (BT 2020)。這項技術現在是電視領域 4K UHD 技術演進的核心元素。

Android 10 支援下列 HDR 影片。

  • HDR10
  • VP9
  • HDR10+

從 Android 9 以上版本開始，無論是哪種隧道模式，MediaCodec 都會回報 HDR 中繼資料。您可以在非隧道模式中取得解碼資料，以及靜態/動態中繼資料。對於使用靜態中繼資料的 HDR10 和 VP9Profile2，這些會以輸出格式搭配鍵 KEY_HDR_STATIC_INFO 回報。如果是使用動態中繼資料的 HDR10+，則會在輸出格式中以索引鍵 KEY_HDR10_PLUS_INFO 回報，而且每個輸出影格可能都不同。詳情請參閱「多媒體通道」。

自 Android 7.0 起，初始 HDR 支援功能包括為 HDR 影片管道探索和設定建立適當的常數。也就是說，您必須定義編碼器類型和顯示模式，並指定 HDR 資料必須如何傳遞至 MediaCodec，以及提供給 HDR 解碼器。

本文件旨在協助應用程式開發人員支援 HDR 串流播放功能，並協助原始設備製造商 (OEM) 和 SOC 啟用 HDR 功能。

支援的 HDR 技術

自 Android 7.0 以上版本來說，我們已支援下列 HDR 技術。

科技 Dolby-Vision HDR10 VP9-HLG VP9-PQ
轉碼器 AVC/HEVC HEVC VP9 VP9
轉移函式 ST-2084 ST-2084 HLG ST-2084
HDR 中繼資料類型 動態 靜態 無 靜態

在 Android 7.0 中，只定義透過隧道模式播放 HDR 內容，但裝置可能會在 SurfaceView 上使用不透明影片緩衝區，支援 HDR 播放功能。換句話說：

  • 目前沒有標準的 Android API，可用於檢查 HDR 播放功能是否支援使用非隧道解碼器。
  • 宣稱支援 HDR 播放功能的管道式影片解碼器，必須在連接至支援 HDR 的螢幕時支援 HDR 播放功能。
  • AOSP Android 7.0 版本不支援 HDR 內容的 GL 合成。

探索

HDR 播放功能需要支援 HDR 的解碼器，並連接至支援 HDR 的螢幕。有些技術需要特定的擷取器

螢幕

應用程式應使用新的 Display.getHdrCapabilities API 查詢指定螢幕支援的 HDR 技術。基本上，這就是 CTA-861.3 所定義 EDID 靜態中繼資料資料區塊中的資訊：

  • public Display.HdrCapabilities getHdrCapabilities()
    傳回螢幕的 HDR 功能。
  • Display.HdrCapabilities
    封裝指定螢幕的 HDR 功能。例如，支援哪些 HDR 類型，以及所需亮度資料的詳細資料。

常數：

  • int HDR_TYPE_DOLBY_VISION
    Dolby Vision 支援。
  • int HDR_TYPE_HDR10
    HDR10 / PQ 支援。
  • int HDR_TYPE_HDR10_PLUS
    HDR10+ 支援。
  • int HDR_TYPE_HLG
    支援混合式 Log-Gamma。
  • float INVALID_LUMINANCE
    亮度值無效。

公用方法：

  • float getDesiredMaxAverageLuminance()
    傳回所需內容的最大畫面格平均亮度資料 (以 cd/cd/m2 為單位)，適用於此螢幕。
  • float getDesiredMaxLuminance()
    傳回此螢幕所需的內容最大亮度資料，單位為 cd/cd/m2。
  • float getDesiredMinLuminance()
    為這個螢幕傳回所需的內容最小亮度資料 (以 cd/cd/m2 為單位)。
  • int[] getSupportedHdrTypes()
    取得螢幕支援的 HDR 類型 (請參閱常數)。如果螢幕不支援 HDR，則傳回空白陣列。

解碼器

應用程式應使用現有的 CodecCapabilities.profileLevels API，驗證是否支援新的 HDR 設定檔：

Dolby-Vision

MediaFormat mime 常數：

String MIMETYPE_VIDEO_DOLBY_VISION

MediaCodecInfo.CodecProfileLevel 設定檔常數：

int DolbyVisionProfileDvavPen
int DolbyVisionProfileDvavPer
int DolbyVisionProfileDvheDen
int DolbyVisionProfileDvheDer
int DolbyVisionProfileDvheDtb
int DolbyVisionProfileDvheDth
int DolbyVisionProfileDvheDtr
int DolbyVisionProfileDvheStn

影片應用程式必須將 Dolby Vision 影片層和中繼資料連結為每個影格中的單一緩衝區。這項作業是由支援 Dolby Vision 的 MediaExtractor 自動執行。

HEVC HDR 10

MediaCodecInfo.CodecProfileLevel 設定檔常數：

int HEVCProfileMain10HDR10
int HEVCProfileMain10HDR10Plus

VP9 HLG 和 PQ

MediaCodecInfo.CodecProfileLevel 設定檔常數：

int VP9Profile2HDR
int VP9Profile2HDR10Plus
int VP9Profile3HDR
int VP9Profile3HDR10Plus

如果平台支援 HDR 解碼器，則也應支援 HDR 擷取器。

只有隧道解碼器保證可播放 HDR 內容。透過非隧道解碼器播放時，可能會導致 HDR 資訊遺失，並且將內容平坦化為 SDR 色彩音量。

Extractor

Android 7.0 支援下列容器，用於各種 HDR 技術：

科技 Dolby-Vision HDR10 VP9-HLG VP9-PQ
容器 MP4 MP4 WebM WebM

平台不支援發現檔案音軌是否需要 HDR 支援。應用程式可剖析編碼器專屬資料，判斷音軌是否需要特定 HDR 設定檔。

摘要

下表列出各 HDR 技術的元件需求：

科技 Dolby-Vision HDR10 VP9-HLG VP9-PQ
支援的 HDR 類型 (螢幕) HDR_TYPE_DOLBY_VISION HDR_TYPE_HDR10 HDR_TYPE_HLG HDR_TYPE_HDR10
容器 (Extractor) MP4 MP4 WebM WebM
解碼器 MIMETYPE_VIDEO_DOLBY_VISION MIMETYPE_VIDEO_HEVC MIMETYPE_VIDEO_VP9 MIMETYPE_VIDEO_VP9
設定檔 (解碼器) 其中一個 Dolby 設定檔 HEVCProfileMain10HDR10 VP9Profile2HDR 或 VP9Profile3HDR VP9Profile2HDR 或 VP9Profile3HDR

注意：

  • Dolby Vision 位元串流會以 Dolby 定義的方式，封裝在 MP4 容器中。只要應用程式將對應層級的存取單位封裝至 Dolby 定義的單一存取單位，即可實作自己的 Dolby 相容擷取器。
  • 平台可能支援 HDR 相容的擷取器，但沒有對應的 HDR 相容解碼器。

播放

應用程式驗證支援 HDR 播放功能後，能夠播放 HDR 內容的方式與播放非 HDR 內容幾乎相同，但請注意以下事項：

  • 以 Dolby-Vision 來說，無論特定媒體檔案/音軌是否需要支援 HDR 的解碼器，都無法立即使用。應用程式必須事先取得這項資訊，或能夠透過剖析 MediaFormat 的編碼器專屬資料區段來取得這項資訊。
  • CodecCapabilities.isFormatSupported 不會考慮是否需要使用管道解碼器功能來支援這類設定檔。

啟用 HDR 平台支援

SoC 供應商和原始設備製造商必須進行額外作業，才能讓 HDR 平台支援裝置。

Android 7.0 中的 HDR 平台異動

以下是原始設備製造商 (OEM) 和 SOC 必須留意的平台 (應用程式/原生層) 重要異動。

螢幕

硬體組合

支援 HDR 的平台必須支援 HDR 內容與非 HDR 內容的混合。從版本 7.0 開始，Android 並未定義確切的混合特性和作業，但這項程序通常會遵循下列步驟：

  1. 根據圖層的顏色、母帶和潛在的動態中繼資料，判斷含有所有要合成的圖層的線性色彩空間/音量。
    如果直接合成至螢幕，可能是與螢幕色彩音量相符的線性空間。
  2. 將所有圖層轉換為通用色彩空間。
  3. 執行混合。
  4. 如果透過 HDMI 顯示：
    1. 判斷混合場景的顏色、主控和潛在動態中繼資料。
    2. 將產生的混合場景轉換為衍生色彩空間/音量。
  5. 如果要直接顯示到螢幕，請將產生的混合場景轉換為所需的顯示信號，以產生該場景。

多媒體探索

只有透過 HWC2 才能偵測 HDR 螢幕。裝置導入者必須選擇啟用與 Android 7.0 一併發布的 HWC2 轉接器，才能使用這項功能。因此，平台必須新增對 HWC2 的支援，或擴充 AOSP 架構，以便提供這類資訊。HWC2 會公開新的 API，將 HDR 靜態資料傳播至架構和應用程式。

HDMI

  • 連接的 HDMI 螢幕會透過 HDMI EDID 宣告 HDR 功能，如 CTA-861.3 的第 4.2 節所定義。
  • 應使用下列 EOTF 對應：
    • ET_0 傳統伽馬 - SDR 亮度範圍：未對應至任何 HDR 類型
    • ET_1 傳統伽瑪 - HDR 亮度範圍：未對應至任何 HDR 類型
    • ET_2 SMPTE ST 2084 - 對應至 HDR 類型 HDR10
  • 透過 HDMI 支援 Dolby Vision 或 HLG 的信號，是根據相關機構的定義完成。
  • 請注意，HWC2 API 會使用浮點所需亮度值，因此必須以適當方式轉譯 8 位元 EDid 值。

解碼器

平台必須新增支援 HDR 的管道解碼器，並宣傳 HDR 支援功能。一般來說，支援 HDR 的解碼器必須符合下列條件：

  • 支援隧道解碼 (FEATURE_TunneledPlayback)。
  • 支援 HDR 靜態中繼資料 (OMX.google.android.index.describeHDRColorInfo) 及其傳播至螢幕/硬體組合。對於 HLG，必須將適當的中繼資料提交至螢幕。
  • 支援色彩說明 (OMX.google.android.index.describeColorAspects) 及其對顯示/硬體組合的傳播。
  • 支援 HDR 嵌入中繼資料，並符合相關標準的定義。

支援 Dolby Vision 解碼器

如要支援 Dolby Vision，平台必須新增支援 Dolby Vision 的 HDR OMX 解碼器。有鑑於 Dolby Vision 的具體細節，這通常是在一或多個 AVC 和/或 HEVC 解碼器及合成器周圍的包裝函式解碼器。這類解碼器必須：

  • 支援 MIME 類型「video/dolby-vision」。
  • 宣傳支援的 Dolby Vision 設定檔/等級。
  • 接受包含 Dolby 定義的所有層級子存取單位的存取單位。
  • 接受 Dolby 定義的轉碼器專屬資料。例如，包含 Dolby Vision 設定檔/層級的資料，以及內部解碼器的轉碼器專屬資料。
  • 根據 Dolby 規定，支援在 Dolby Vision 設定檔/等級之間進行自動切換。

設定解碼器時，實際的 Dolby 設定檔不會傳送至編解碼器。只有在解碼器啟動後，才會透過編解碼器專屬資料傳送。平台可以選擇支援多個 Dolby Vision 解碼器：一個用於 AVC 設定檔，另一個用於 HEVC 設定檔，以便在設定期間初始化底層編解碼器。如果單一 Dolby Vision 解碼器支援這兩種設定檔，則必須支援以自動調整的方式在這兩種設定檔之間進行切換。

如果平台除了支援一般 HDR 解碼器外，也提供 Dolby Vision 解碼器，則必須符合下列條件：

  • 提供 Dolby Vision 感知擷取工具，即使該工具不支援 HDR 播放也一樣。
  • 提供可支援 Dolby 定義的視覺設定檔的解碼器。

HDR10 解碼器支援

如要支援 HDR10，平台必須新增支援 HDR10 的 OMX 解碼器。這通常是經過通道的 HEVC 解碼器，這個解碼器也支援剖析和處理 HDMI 相關中繼資料。除了一般 HDR 解碼器以外，這類解碼器還必須符合以下規定：

  • 支援 mime 類型「video/hevc」。
  • 廣告支援 HEVCMain10HDR10。要支援 HEVCMain10HRD10 設定檔，就必須支援 HEVCMain10 設定檔，而這需要在相同層級支援 HEVCMain 設定檔。
  • 支援剖析後製中繼資料 SEI 區塊，以及 SPS 中包含的其他 HDR 相關資訊。

VP9 解碼器支援

如要支援 VP9 HDR，平台必須新增支援 VP9 Profile2 的 HDR OMX 解碼器。這通常是經過通道處理的 VP9 解碼器，也支援處理 HDMI 相關的中繼資料。除了支援一般 HDR 解碼器外，這類解碼器還必須：

  • 支援 mime type "video/x-vnd.on2.vp9."
  • 宣傳支援的 VP9Profile2HDR。如要支援 VP9Profile2HDR 設定檔，也必須在相同層級支援 VP9Profile2 設定檔。

Extractor

支援 Dolby Vision Extractor

支援 Dolby Vision 解碼器的平台必須新增 Dolby Extractor (稱為 Dolby Extractor)，以便支援 Dolby Video 內容。

  • 一般 MP4 Extractor 只能從檔案中擷取基本層，而無法擷取強化或中繼資料層。因此，你必須使用特殊的 Dolby Extractor，才能從檔案中擷取資料。
  • Dolby 擷取器必須為每個 Dolby 視訊音軌 (群組) 公開 1 到 2 個音軌：
    • 以「video/dolby-vision」類型，提供結合 2/3 層 Dolby 串流的 Dolby Vision HDR 音軌。HDR 音軌的存取單位格式會定義如何將基本/強化/中繼資料層的存取單元封裝成單一緩衝區，並解碼為單一 HDR 影格，需由 Dolby 定義。
    • 如果 Dolby Vision 影片軌包含獨立 (向後相容) 的基礎層 (BL)，擷取器也必須將其公開為獨立的「video/avc」或「video/hevc」軌。擷取器必須為這個測試群組提供一般 AVC/HEVC 存取單位。
    • BL 音軌必須與 HDR 音軌使用相同的 track-unique-ID (「track-ID」)，讓應用程式瞭解這兩者是同一部影片的兩種編碼。
    • 應用程式可根據平台功能決定要選擇哪個測試群組。
  • Dolby Vision 設定檔/等級必須以 HDR 音軌的音軌格式公開。
  • 如果平台提供支援 Dolby Vision 的解碼器，則必須提供 Dolby Vision 感知擷取器，即使該平台不支援 HDR 播放也一樣。

HDR10 和 VP9 HDR Extractor 支援

不需額外擷取器需求即可支援 HDR10 或 VP9 HLG。平台必須擴充 MP4 Extractor，才能支援 MP4 中的 VP9 PQ。HDR 靜態中繼資料必須在 VP9 PQ 位元串中傳播，以便透過一般 MediaExtractor => MediaCodec 管道，將這項中繼資料傳遞至 VP9 PQ 解碼器和顯示器。

支援 Dolby Vision 的 Stagefright 擴充功能

平台必須在 Stagefright 中新增 Dolby Vision 格式支援功能：

  • 支援對已壓縮通訊埠的通訊埠定義查詢。
  • 支援 DV 解碼器的設定檔/層級列舉。
  • 支援為 DV HDR 音軌公開 DV 設定檔/等級。

特定技術的實作詳細資料

HDR10 解碼器管道

圖 1. HDR10 管道

HDR10 位元串流會封裝在 MP4 容器中。應用程式會使用一般 MP4 Extractor 擷取影格資料，並將資料傳送至解碼器。

  • MPEG4 擷取器
    MPEG4Extractor 將 HDR10 位元串流視為正常的 HEVC 串流，並擷取類型為「video/HEVC」的 HDR 音軌。該架構會挑選支援 Main10HDR10 設定檔的 HEVC 視訊解碼器，用於解碼該音軌。
  • HEVC 解碼器
    HDR 資訊位於 SEI 或 SPS 中。HEVC 解碼器會先接收含 HDR 資訊的影格。解碼器會接著擷取 HDR 資訊，並通知應用程式正在解碼 HDR 影片。HDR 資訊會整合至解碼器輸出格式，並稍後傳播至途徑。

廠商應採取的行動

  1. 宣傳支援的 HDR 解碼器設定檔和 OMX 類型等級。範例：
    OMX_VIDEO_HEVCProfileMain10HDR10 (和 Main10)
  2. 實作索引支援：'OMX.google.android.index.describeHDRColorInfo'
  3. 實作索引支援：'OMX.google.android.index.describeColorAspects'
  4. 實作 SEI 對母帶中繼資料的剖析支援功能。

Dolby Vision 解碼器管道

圖 2. Dolby Vision 管道

Dolby 位元串流會封裝在 Dolby 定義的 MP4 容器中。理論上，應用程式可以使用一般 MP4 Extractor 獨立擷取基本層、強化層和中繼層，但這不符合目前的 Android MediaExtractor/MediaCodec 模型。

  • DolbyExtractor：
    • DolbyExtractor 會辨識 Dolby 位元流，並將各種層公開為每個 Dolby 影片軌道 (群組) 的 1 到 2 個音軌：
      • 類型為「video/dolby-vision」類型的 HDR 音軌，其類型為合併後的 2/3 層 Dolby 串流。HDR 音軌的存取單位格式由 Dolby 定義，定義如何將基本/強化/中繼資料層的存取單位封裝至單一緩衝區，再解碼為單一 HDR 影格。
      • (選用，僅適用於 BL 向下相容的情況) BL 音軌只包含基礎層，必須能由一般 MediaCodec 解碼器解碼，例如 AVC/HEVC 解碼器。擷取器應為此音軌提供一般 AVC/HEVC 存取單位。這個 BL 音軌必須與 Dolby 音軌具有相同的音軌專屬 ID (「track-ID」)，以便應用程式瞭解這兩者是同一部影片的兩種編碼。
    • 應用程式可以根據平台的功能決定要選擇哪個音軌。
    • 由於 HDR 音軌具有特定 HDR 類型，因此架構會挑選 Dolby 影像解碼器來解碼該音軌。系統會使用一般 AVC/HEVC 影片解碼器解碼 BL 音軌。
  • DolbyDecoder：
    • DolbyDecoder 收到的存取單元含有所有層 (EL+BL+MD 或 BL+MD) 所需的存取單位
    • 個別圖層的 CSD (編解碼專屬資料，例如 SPS+PPS+VPS) 資訊可封裝至 1 個 CSD 影格，以便由 Dolby 定義。必須有單一 CSD 影格。

Dolby 動作

  1. 為抽象 Dolby 解碼器 (即 HDR 解碼器所預期的緩衝區格式) 定義各種 Dolby 容器配置 (例如 BL+EL+MD) 的存取單位包裝。
  2. 為抽象 Dolby 解碼器定義 CSD 的封裝。

供應商採取的行動

  1. 實作 Dolby Extractor。Dolby 也能執行這項操作。
  2. 將 DolbyExtractor 整合至架構中。進入點為 frameworks/av/media/libstagefright/MediaExtractor.cpp。
  3. 宣告 HDR 解碼器設定檔和 OMX 類型等級。例如 OMX_VIDEO_DOLBYPROFILETYPE 和 OMX_VIDEO_DOLBYLEVELTYP。
  4. 實作索引支援：'OMX.google.android.index.describeColorAspects
  5. 將動態 HDR 中繼資料傳播至每個影格中的應用程式和介面。通常，這類資訊必須按照 Dolby 定義的方式，封裝至解碼影格，因為 HDMI 標準並未提供將這類資訊傳遞至螢幕的方法。

VP9 解碼器管道

圖 3. VP9-PQ 管道

VP9 位元流會以 WebM 團隊定義的方式封裝在 WebM 容器中。應用程式必須使用 WebM Extractor，才能從位元串流中擷取 HDR 中繼資料，然後再將影格傳送至解碼器。

  • WebM Extractor：
  • VP9 解碼器：
    • 解碼器會接收 Profile2 位元串流，並將其解碼為一般 VP9 串流。
    • 解碼器會從架構接收任何 HDR 靜態中繼資料。
    • 解碼器會透過 VP9 PQ 串流的位元存取單位接收靜態中繼資料。
    • VP9 解碼器必須能夠將 HDR 靜態/動態中繼資料傳播至螢幕。

廠商應採取的行動

  1. 實作索引支援功能： OMX.google.android.index.describeHDRColorInfo
  2. 實作索引支援功能： OMX.google.android.index.describeColorAspects
  3. 散發 HDR 靜態中繼資料