การเล่นวิดีโอ HDR

วิดีโอ High Dynamic Range (HDR) เป็นเทคโนโลยีขั้นต่อไปในการถอดรหัสวิดีโอคุณภาพสูง ซึ่งให้คุณภาพการสร้างฉากที่ไม่มีใครเทียบได้ โดยการเพิ่มช่วงไดนามิกขององค์ประกอบความสว่างอย่างมาก (จากปัจจุบัน 100 cd/m2 เป็นหลายพัน cd/m2) และการใช้พื้นที่สีที่กว้างขึ้นมาก (BT 2020) ตอนนี้จึงเป็นองค์ประกอบสำคัญของการพัฒนา 4K UHD ในวงการทีวี

Android 10 รองรับวิดีโอ HDR ต่อไปนี้

  • HDR10
  • VP9
  • HDR10+

ตั้งแต่ Android 9 ขึ้นไป MediaCodec จะรายงานข้อมูลเมตา HDR ไม่ว่าจะเป็นโหมด Tunnel หรือไม่ก็ตาม คุณจะได้รับข้อมูลที่ถอดรหัสแล้วพร้อมกับข้อมูลเมตาแบบคงที่/แบบไดนามิกในโหมดที่ไม่ใช่การเชื่อมต่อผ่านอุโมงค์ สำหรับ HDR10 และ VP9Profile2 ที่ใช้ข้อมูลเมตาแบบคงที่จะมีการรายงานในรูปแบบเอาต์พุตที่มีคีย์ KEY_HDR_STATIC_INFO สำหรับ HDR10+ ที่ใช้ข้อมูลเมตาแบบไดนามิก ระบบจะรายงานข้อมูลนี้ด้วย คีย์ KEY_HDR10_PLUS_INFO ในรูปแบบเอาต์พุต และอาจเปลี่ยนแปลงสำหรับแต่ละเฟรมเอาต์พุต ดูข้อมูลเพิ่มเติมได้ที่การทำอุโมงค์มัลติมีเดีย

ตั้งแต่ Android 7.0 เป็นต้นมา การรองรับ HDR ในช่วงแรกจะรวมถึง การสร้างค่าคงที่ที่เหมาะสมสำหรับการค้นหาและการตั้งค่าไปป์ไลน์ วิดีโอ HDR ซึ่งหมายถึงการกำหนดประเภทตัวแปลงรหัสและโหมดการแสดงผล รวมถึงการระบุ วิธีส่งข้อมูล HDR ไปยัง MediaCodec และส่งไปยังตัวถอดรหัส HDR

จุดประสงค์ของเอกสารนี้คือเพื่อช่วยให้นักพัฒนาแอปพลิเคชันรองรับการเล่นสตรีม HDR และช่วยให้ OEM และ SOC เปิดใช้ฟีเจอร์ HDR ได้

เทคโนโลยี HDR ที่รองรับ

ตั้งแต่ Android 7.0 ขึ้นไป ระบบจะรองรับเทคโนโลยี HDR ต่อไปนี้

เทคโนโลยี Dolby Vision HDR10 VP9-HLG VP9-PQ
ตัวแปลงรหัส AVC/HEVC HEVC VP9 VP9
ฟังก์ชันการโอน ST-2084 ST-2084 HLG ST-2084
ประเภทข้อมูลเมตา HDR ไดนามิก คงที่ ไม่มี คงที่

ใน Android 7.0 มีการกำหนดเฉพาะการเล่น HDR ผ่านโหมด Tunnel แต่อุปกรณ์อาจเพิ่มการรองรับการเล่น HDR บน SurfaceView โดยใช้บัฟเฟอร์วิดีโอ แบบทึบแสง กล่าวคือ

  • ไม่มี Android API มาตรฐานสำหรับตรวจสอบว่ารองรับการเล่น HDR หรือไม่ โดยใช้ตัวถอดรหัสที่ไม่ใช่แบบ Tunnel
  • ตัวถอดรหัสวิดีโอแบบอุโมงค์ที่โฆษณาความสามารถในการเล่น HDR ต้อง รองรับการเล่น HDR เมื่อเชื่อมต่อกับจอแสดงผลที่รองรับ HDR
  • AOSP Android 7.0 ไม่รองรับการเขียน GL ของเนื้อหา HDR

Discovery

การเล่น HDR ต้องใช้ตัวถอดรหัสที่รองรับ HDR และการเชื่อมต่อกับจอแสดงผลที่รองรับ HDR เทคโนโลยีบางอย่างอาจต้องใช้ตัวแยกเฉพาะ (ไม่บังคับ)

จอแสดงผล

แอปพลิเคชันต้องใช้ Display.getHdrCapabilities API ใหม่เพื่อค้นหาเทคโนโลยี HDR ที่จอแสดงผลที่ระบุรองรับ ซึ่งโดยพื้นฐานแล้วคือข้อมูลในบล็อกข้อมูลเมตาแบบคงที่ของ EDID ตามที่กำหนดไว้ใน CTA-861.3

  • public Display.HdrCapabilities getHdrCapabilities()
    แสดงความสามารถ HDR ของจอแสดงผล
  • Display.HdrCapabilities
    แคปซูลความสามารถ HDR ของจอแสดงผลที่ระบุ เช่น ประเภท HDR ที่รองรับและรายละเอียดเกี่ยวกับข้อมูลความสว่างที่ต้องการ

ค่าคงที่:

  • int HDR_TYPE_DOLBY_VISION
    รองรับ Dolby Vision
  • int HDR_TYPE_HDR10
    รองรับ HDR10 / PQ
  • int HDR_TYPE_HDR10_PLUS
    รองรับ HDR10+
  • int HDR_TYPE_HLG
    รองรับ Hybrid Log-Gamma
  • float INVALID_LUMINANCE
    ค่าความสว่างไม่ถูกต้อง

เมธอดสาธารณะ:

  • float getDesiredMaxAverageLuminance()
    แสดงผลข้อมูลความสว่างโดยเฉลี่ยสูงสุดของเฟรมเนื้อหาที่ต้องการใน cd/cd/m2 สำหรับ จอแสดงผลนี้
  • float getDesiredMaxLuminance()
    แสดงผลข้อมูลความสว่างสูงสุดของเนื้อหาที่ต้องการใน cd/cd/m2 สำหรับจอแสดงผลนี้
  • float getDesiredMinLuminance()
    แสดงผลข้อมูลความสว่างขั้นต่ำของเนื้อหาที่ต้องการใน cd/cd/m2 สำหรับจอแสดงผลนี้
  • int[] getSupportedHdrTypes()
    รับประเภท HDR ที่รองรับของจอแสดงผลนี้ (ดูค่าคงที่) แสดงอาร์เรย์ว่าง หากจอแสดงผลไม่รองรับ HDR

ตัวถอดรหัส

แอปพลิเคชันต้องใช้ API CodecCapabilities.profileLevels ที่มีอยู่เพื่อยืนยันการรองรับ โปรไฟล์ใหม่ที่รองรับ HDR

Dolby Vision

MediaFormat ค่าคงที่ของ MIME:

String MIMETYPE_VIDEO_DOLBY_VISION

MediaCodecInfo.CodecProfileLevel ค่าคงที่ของโปรไฟล์

int DolbyVisionProfileDvavPen
int DolbyVisionProfileDvavPer
int DolbyVisionProfileDvheDen
int DolbyVisionProfileDvheDer
int DolbyVisionProfileDvheDtb
int DolbyVisionProfileDvheDth
int DolbyVisionProfileDvheDtr
int DolbyVisionProfileDvheStn

แอปพลิเคชันวิดีโอต้องต่อเลเยอร์วิดีโอและข้อมูลเมตาของ Dolby Vision เข้าด้วยกันเป็นบัฟเฟอร์เดียวต่อเฟรม โดย MediaExtractor ที่รองรับ Dolby Vision จะดำเนินการนี้โดยอัตโนมัติ

HEVC HDR 10

MediaCodecInfo.CodecProfileLevel ค่าคงที่ของโปรไฟล์

int HEVCProfileMain10HDR10
int HEVCProfileMain10HDR10Plus

VP9 HLG และ PQ

MediaCodecInfo.CodecProfileLevel โปรไฟล์ ค่าคงที่:

int VP9Profile2HDR
int VP9Profile2HDR10Plus
int VP9Profile3HDR
int VP9Profile3HDR10Plus

หากแพลตฟอร์มรองรับตัวถอดรหัสที่รองรับ HDR ก็จะต้องรองรับตัวแยกที่รองรับ HDR ด้วย

เฉพาะตัวถอดรหัสที่ผ่านการเชื่อมต่ออุโมงค์เท่านั้นที่รับประกันว่าจะเล่นเนื้อหา HDR ได้ การเล่น โดยตัวถอดรหัสที่ไม่ใช่แบบ Tunnel อาจทำให้ข้อมูล HDR สูญหายและ เนื้อหาถูกแปลงเป็นระดับสี SDR

เครื่องมือแยกข้อความ

ระบบรองรับคอนเทนเนอร์ต่อไปนี้สำหรับเทคโนโลยี HDR ต่างๆ ใน Android 7.0

เทคโนโลยี Dolby Vision HDR10 VP9-HLG VP9-PQ
คอนเทนเนอร์ MP4 MP4 WebM WebM

แพลตฟอร์มไม่รองรับการค้นหาว่าแทร็ก (ของไฟล์) ต้องรองรับ HDR หรือไม่ แอปพลิเคชันอาจแยกวิเคราะห์ข้อมูลเฉพาะของตัวแปลงรหัส เพื่อพิจารณาว่าแทร็กต้องใช้โปรไฟล์ HDR ที่เฉพาะเจาะจงหรือไม่

สรุป

ข้อกำหนดของคอมโพเนนต์สำหรับเทคโนโลยี HDR แต่ละรายการแสดงอยู่ในตารางต่อไปนี้

เทคโนโลยี Dolby Vision HDR10 VP9-HLG VP9-PQ
ประเภท HDR ที่รองรับ (จอแสดงผล) HDR_TYPE_DOLBY_VISION HDR_TYPE_HDR10 HDR_TYPE_HLG HDR_TYPE_HDR10
คอนเทนเนอร์ (ตัวแยก) MP4 MP4 WebM WebM
ตัวถอดรหัส MIMETYPE_VIDEO_DOLBY_VISION MIMETYPE_VIDEO_HEVC MIMETYPE_VIDEO_VP9 MIMETYPE_VIDEO_VP9
โปรไฟล์ (ตัวถอดรหัส) โปรไฟล์ Dolby อย่างใดอย่างหนึ่ง HEVCProfileMain10HDR10 VP9Profile2HDR หรือ VP9Profile3HDR VP9Profile2HDR หรือ VP9Profile3HDR

หมายเหตุ:

  • สตรีมบิต Dolby Vision จะอยู่ในคอนเทนเนอร์ MP4 ในลักษณะที่ Dolby กำหนด แอปพลิเคชันอาจใช้ตัวแยกที่รองรับ Dolby ของตนเองได้ตราบใดที่จัดแพ็กเกจหน่วยการเข้าถึงจากเลเยอร์ที่เกี่ยวข้องเป็นหน่วยการเข้าถึงเดียวสำหรับตัวถอดรหัสตามที่ Dolby กำหนด
  • แพลตฟอร์มอาจรองรับตัวแยกที่รองรับ HDR แต่ไม่มีตัวถอดรหัสที่รองรับ HDR ที่สอดคล้องกัน

การเล่น

หลังจากที่แอปพลิเคชันได้รับการยืนยันว่ารองรับการเล่น HDR แล้ว แอปจะเล่นเนื้อหา HDR ได้ในลักษณะเดียวกับการเล่นเนื้อหาที่ไม่ใช่ HDR โดยมีข้อควรระวังดังนี้

  • สำหรับ Dolby Vision เรายังไม่สามารถระบุได้ในทันทีว่าไฟล์/แทร็กสื่อใดที่ต้องใช้ ตัวถอดรหัสที่รองรับ HDR แอปพลิเคชันต้อง มีข้อมูลนี้ล่วงหน้าหรือรับข้อมูลนี้ได้โดย การแยกวิเคราะห์ส่วนข้อมูลเฉพาะของตัวแปลงรหัสของ MediaFormat
  • CodecCapabilities.isFormatSupported ไม่ได้พิจารณาว่าจำเป็นต้องใช้ฟีเจอร์ตัวถอดรหัสที่ส่งผ่านอุโมงค์เพื่อรองรับโปรไฟล์ดังกล่าวหรือไม่

เปิดใช้การรองรับแพลตฟอร์ม HDR

ผู้จำหน่าย SoC และ OEM ต้องดำเนินการเพิ่มเติมเพื่อเปิดใช้แพลตฟอร์ม HDR ในอุปกรณ์

การเปลี่ยนแปลงแพลตฟอร์มใน Android 7.0 สำหรับ HDR

การเปลี่ยนแปลงที่สำคัญบางอย่างในแพลตฟอร์ม (เลเยอร์แอป/เนทีฟ) ที่ OEM และ SOC ควรทราบมีดังนี้

จอแสดงผล

องค์ประกอบของฮาร์ดแวร์

แพลตฟอร์มที่รองรับ HDR ต้องรองรับการผสมเนื้อหา HDR กับเนื้อหาที่ไม่ใช่ HDR Android ไม่ได้กำหนดลักษณะและการทำงานของการผสมที่แน่นอน ณ การเผยแพร่เวอร์ชัน 7.0 แต่โดยทั่วไปกระบวนการนี้จะทำตามขั้นตอนต่อไปนี้

  1. กำหนดพื้นที่/ปริมาตรสีเชิงเส้นที่มีเลเยอร์ทั้งหมดที่จะ คอมโพสิต โดยอิงตามสี การมาสเตอร์ และข้อมูลเมตาแบบไดนามิก ที่เป็นไปได้ของเลเยอร์
    หากคอมโพสิตกับจอแสดงผลโดยตรง นี่อาจเป็นพื้นที่เชิงเส้น ที่ตรงกับปริมาณสีของจอแสดงผล
  2. แปลงเลเยอร์ทั้งหมดเป็นพื้นที่สีทั่วไป
  3. ทำการผสม
  4. หากแสดงผ่าน HDMI ให้ทำดังนี้
    1. กำหนดสี การมาสเตอร์ และข้อมูลเมตาแบบไดนามิกที่อาจเกิดขึ้นสำหรับ ฉากที่ผสมผสาน
    2. แปลงฉากที่ผสมแล้วเป็นพื้นที่/ปริมาตรสีที่ได้
  5. หากแสดงผลโดยตรงไปยังจอแสดงผล ให้แปลงฉากที่ผสมแล้ว เป็นสัญญาณจอแสดงผลที่ต้องการเพื่อสร้างฉากนั้น

Display Discovery

การค้นหาจอแสดงผล HDR รองรับเฉพาะผ่าน HWC2 ผู้ติดตั้งใช้งานอุปกรณ์ต้อง เปิดใช้อะแดปเตอร์ HWC2 ที่เผยแพร่พร้อม Android 7.0 เป็นการเลือก เพื่อให้ฟีเจอร์นี้ทำงานได้ ดังนั้น แพลตฟอร์มจึงต้องเพิ่มการรองรับ HWC2 หรือขยาย เฟรมเวิร์ก AOSP เพื่อให้มีวิธีระบุข้อมูลนี้ HWC2 จะแสดง API ใหม่เพื่อเผยแพร่ข้อมูลแบบคงที่ของ HDR ไปยังเฟรมเวิร์กและแอปพลิเคชัน

HDMI

  • จอแสดงผล HDMI ที่เชื่อมต่อจะโฆษณา ความสามารถ HDR ผ่าน HDMI EDID ตามที่กำหนดไว้ใน CTA-861.3 ส่วนที่ 4.2
  • ต้องใช้การแมป EOTF ต่อไปนี้
    • ET_0 แกมมาแบบเดิม - ช่วงความสว่าง SDR: ไม่ได้แมปกับ HDR ประเภทใด
    • ET_1 แกมมาแบบเดิม - ช่วงความสว่าง HDR: ไม่ได้แมปกับ HDR ประเภทใด
    • ET_2 SMPTE ST 2084 - แมปกับ HDR ประเภท HDR10
  • การส่งสัญญาณการรองรับ Dolby Vision หรือ HLG ผ่าน HDMI จะดำเนินการตามที่หน่วยงานที่เกี่ยวข้องกำหนด
  • โปรดทราบว่า HWC2 API ใช้ค่าความสว่างที่ต้องการแบบลอย ดังนั้นจึงต้องแปลค่า EDID แบบ 8 บิต ในลักษณะที่เหมาะสม

ตัวถอดรหัส

แพลตฟอร์มต้องเพิ่มตัวถอดรหัสแบบ Tunnel ที่รองรับ HDR และโฆษณาการรองรับ HDR โดยทั่วไปแล้ว ตัวถอดรหัสที่รองรับ HDR ต้องมีคุณสมบัติดังนี้

  • รองรับการถอดรหัสแบบอุโมงค์ (FEATURE_TunneledPlayback)
  • รองรับข้อมูลเมตาแบบคงที่ของ HDR (OMX.google.android.index.describeHDRColorInfo) และ การเผยแพร่ไปยังการแสดงผล/องค์ประกอบฮาร์ดแวร์ สำหรับ HLG คุณต้องส่งข้อมูลเมตาที่เหมาะสมไปยังจอแสดงผล
  • รองรับคำอธิบายสี (OMX.google.android.index.describeColorAspects) และการ ส่งต่อไปยังองค์ประกอบการแสดงผล/ฮาร์ดแวร์
  • รองรับข้อมูลเมตา HDR แบบฝังตามที่มาตรฐานที่เกี่ยวข้องกำหนด

รองรับตัวถอดรหัส Dolby Vision

หากต้องการรองรับ Dolby Vision แพลตฟอร์มต้องเพิ่มตัวถอดรหัส HDR OMX ที่รองรับ Dolby Vision เนื่องจากลักษณะเฉพาะของ Dolby Vision โดยปกติแล้วจะเป็น ตัวถอดรหัส Wrapper รอบตัวถอดรหัส AVC และ/หรือ HEVC อย่างน้อย 1 ตัว รวมถึง ตัวรวม โดยดีโคดเดอร์ดังกล่าวต้องมีคุณสมบัติดังนี้

  • รองรับประเภท MIME "video/dolby-vision"
  • โฆษณาโปรไฟล์/ระดับ Dolby Vision ที่รองรับ
  • ยอมรับหน่วยการเข้าถึงที่มีหน่วยการเข้าถึงย่อยของทุกเลเยอร์ตามที่ Dolby กำหนด
  • ยอมรับข้อมูลเฉพาะตัวแปลงรหัสที่กำหนดโดย Dolby เช่น ข้อมูลที่มี โปรไฟล์/ระดับ Dolby Vision และอาจมีข้อมูลเฉพาะตัวแปลงรหัสสำหรับ ตัวถอดรหัสภายใน
  • รองรับการสลับแบบปรับอัตโนมัติระหว่างโปรไฟล์/ระดับ Dolby Vision ตามที่ Dolby กำหนด

เมื่อกำหนดค่าตัวถอดรหัส ระบบจะไม่สื่อสารโปรไฟล์ Dolby จริงกับตัวแปลงรหัส โดยจะทำผ่านข้อมูลเฉพาะตัวแปลงรหัสหลังจากที่เริ่มตัวถอดรหัสแล้วเท่านั้น แพลตฟอร์มอาจเลือกที่จะรองรับตัวถอดรหัส Dolby Vision หลายตัว โดยตัวหนึ่งสำหรับโปรไฟล์ AVC และอีกตัวหนึ่งสำหรับโปรไฟล์ HEVC เพื่อให้สามารถเริ่มต้นตัวแปลงรหัสพื้นฐานในระหว่างการกำหนดค่า หากตัวถอดรหัส Dolby Vision ตัวเดียวรองรับทั้ง 2 ประเภทโปรไฟล์ ก็ต้องรองรับการสลับ ระหว่างโปรไฟล์เหล่านั้นแบบไดนามิกในลักษณะที่ปรับเปลี่ยนได้ด้วย

หากแพลตฟอร์มมีตัวถอดรหัสที่รองรับ Dolby Vision นอกเหนือจาก การรองรับตัวถอดรหัส HDR ทั่วไป แพลตฟอร์มนั้นจะต้องดำเนินการต่อไปนี้

  • ระบุตัวแยกที่รองรับ Dolby Vision แม้ว่าจะไม่รองรับ การเล่น HDR ก็ตาม
  • ระบุตัวถอดรหัสที่รองรับโปรไฟล์ภาพตามที่ Dolby กำหนด

รองรับตัวถอดรหัส HDR10

หากต้องการรองรับ HDR10 แพลตฟอร์มต้องเพิ่มตัวถอดรหัส OMX ที่รองรับ HDR10 โดยปกติแล้ว จะเป็นตัวถอดรหัส HEVC ที่มีการเชื่อมต่อแบบอุโมงค์ซึ่งรองรับการแยกวิเคราะห์และการจัดการ ข้อมูลเมตาที่เกี่ยวข้องกับ HDMI ด้วย ดีโคดเดอร์ดังกล่าว (นอกเหนือจากการรองรับดีโคดเดอร์ HDR ทั่วไป) ต้องมีคุณสมบัติดังนี้

  • รองรับ MIME ประเภท "video/hevc"
  • โฆษณา HEVCMain10HDR10 ที่รองรับ การรองรับโปรไฟล์ HEVCMain10HRD10 ยังต้องรองรับโปรไฟล์ HEVCMain10 ซึ่งต้องรองรับ โปรไฟล์ HEVCMain ในระดับเดียวกันด้วย
  • รองรับการแยกวิเคราะห์บล็อก SEI ของข้อมูลเมตามาสเตอร์ริ่ง รวมถึงข้อมูลอื่นๆ ที่เกี่ยวข้องกับ HDR ที่อยู่ใน SPS

รองรับตัวถอดรหัส VP9

แพลตฟอร์มต้องเพิ่มตัวถอดรหัส HDR OMX ที่รองรับ VP9 โปรไฟล์ 2 เพื่อรองรับ VP9 HDR โดยปกติแล้วจะเป็นตัวถอดรหัส VP9 ที่มีการทำอุโมงค์ซึ่งรองรับการจัดการข้อมูลเมตาที่เกี่ยวข้องกับ HDMI ด้วย ตัวถอดรหัสดังกล่าว (นอกเหนือจากการรองรับตัวถอดรหัส HDR ทั่วไป) ต้องมีคุณสมบัติดังนี้

  • รองรับประเภท MIME "video/x-vnd.on2.vp9"
  • โฆษณา VP9Profile2HDR ที่รองรับ การรองรับโปรไฟล์ VP9Profile2HDR ยัง ต้องรองรับโปรไฟล์ VP9Profile2 ในระดับเดียวกันด้วย

เครื่องมือดึงข้อมูล

รองรับตัวแยก Dolby Vision

แพลตฟอร์มที่รองรับตัวถอดรหัส Dolby Vision ต้องเพิ่มการรองรับตัวแยก Dolby (เรียกว่าตัวแยก Dolby) สำหรับเนื้อหา Dolby Video

  • โปรแกรมแยก MP4 ทั่วไปจะแยกได้เฉพาะเลเยอร์ฐานจากไฟล์ แต่จะแยกเลเยอร์การปรับปรุงหรือข้อมูลเมตาไม่ได้ ดังนั้นจึงต้องใช้ตัวแยก Dolby พิเศษเพื่อแยกข้อมูลจากไฟล์
  • โปรแกรมแยก Dolby ต้องแสดงแทร็ก 1-2 แทร็กสำหรับแทร็กวิดีโอ Dolby แต่ละแทร็ก (กลุ่ม):
    • แทร็ก Dolby Vision HDR ที่มีประเภท "video/dolby-vision" สำหรับ สตรีม Dolby แบบ 2/3 เลเยอร์ที่รวมกัน รูปแบบหน่วยการเข้าถึงของแทร็ก HDR ซึ่ง กำหนดวิธีแพ็กเกจหน่วยการเข้าถึงจากเลเยอร์ฐาน/การปรับปรุง/ข้อมูลเมตา ลงในบัฟเฟอร์เดียวเพื่อถอดรหัสเป็นเฟรม HDR เดียว จะต้อง กำหนดโดย Dolby
    • หากแทร็กวิดีโอ Dolby Vision มีเลเยอร์ฐาน (BL) แยกต่างหาก (เข้ากันได้แบบย้อนหลัง) โปรแกรมแยกจะต้องแสดงเลเยอร์นี้เป็นแทร็ก "video/avc" หรือ "video/hevc" แยกต่างหากด้วย โปรแกรมแยกต้องให้สิทธิ์เข้าถึง AVC/HEVC หน่วยปกติสำหรับแทร็กนี้
    • แทร็ก BL ต้องมีรหัสที่ไม่ซ้ำกันของแทร็ก ("track-ID") เดียวกันกับแทร็ก HDR เพื่อให้แอปเข้าใจว่าแทร็กทั้ง 2 เป็นการเข้ารหัสวิดีโอเดียวกัน
    • แอปพลิเคชันสามารถเลือกแทร็กที่จะใช้โดยอิงตามความสามารถของแพลตฟอร์ม
  • ต้องแสดงโปรไฟล์/ระดับ Dolby Vision ในรูปแบบแทร็กของ แทร็ก HDR
  • หากแพลตฟอร์มมีตัวถอดรหัสที่รองรับ Dolby Vision ก็ต้องมีตัวแยกที่รองรับ Dolby Vision ด้วย แม้ว่าจะไม่รองรับการเล่น HDR ก็ตาม

รองรับตัวแยก HDR10 และ VP9 HDR

โดยไม่มีข้อกำหนดเพิ่มเติมสำหรับโปรแกรมแยกเพื่อรองรับ HDR10 หรือ VP9 HLG แพลตฟอร์มต้องขยายโปรแกรมแยก MP4 เพื่อรองรับ VP9 PQ ใน MP4 ข้อมูลเมตาแบบคงที่ของ HDR ต้องเผยแพร่ในบิตสตรีม VP9 PQ เพื่อให้ระบบส่งข้อมูลเมตานี้ ไปยังตัวถอดรหัส VP9 PQ และไปยังจอแสดงผลผ่านไปป์ไลน์ MediaExtractor => MediaCodec ปกติ

ส่วนขยาย Stagefright สำหรับการรองรับ Dolby Vision

แพลตฟอร์มต้องเพิ่มการรองรับรูปแบบ Dolby Vision ลงใน Stagefright โดยทำดังนี้

  • รองรับการค้นหาคำจำกัดความของพอร์ตสำหรับพอร์ตที่บีบอัด
  • รองรับการแจงนับโปรไฟล์/ระดับสำหรับตัวถอดรหัส DV
  • รองรับการเปิดเผยโปรไฟล์/ระดับ DV สำหรับแทร็ก DV HDR

รายละเอียดการใช้งานเฉพาะเทคโนโลยี

ไปป์ไลน์ตัวถอดรหัส HDR10

รูปที่ 1 ไปป์ไลน์ HDR10

สตรีมบิต HDR10 จะอยู่ในคอนเทนเนอร์ MP4 แอปพลิเคชันใช้ตัวแยก MP4 ปกติ เพื่อแยกข้อมูลเฟรมและส่งไปยังตัวถอดรหัส

  • MPEG4 Extractor
    MPEG4Extractor จะจดจำสตรีมบิต 10 บิตของ HDR10 เป็นเพียงสตรีม HEVC ปกติ และจะแยกแทร็ก HDR ที่มีประเภทเป็น "video/HEVC" ออกมา เฟรมเวิร์กจะเลือกตัวแปลงรหัสวิดีโอ HEVC ที่รองรับโปรไฟล์ Main10HDR10 เพื่อถอดรหัสแทร็กนั้น
  • ตัวถอดรหัส HEVC
    ข้อมูล HDR อยู่ใน SEI หรือ SPS โดยตัวถอดรหัส HEVC จะได้รับเฟรมที่มีข้อมูล HDR ก่อน จากนั้นตัวถอดรหัสจะดึงข้อมูล HDR และแจ้งให้แอปพลิเคชันทราบว่ากำลังถอดรหัสวิดีโอ HDR ระบบจะรวมข้อมูล HDR ไว้ในรูปแบบเอาต์พุตของตัวถอดรหัส ซึ่งจะเผยแพร่ไปยัง พื้นผิวในภายหลัง

การดำเนินการของผู้ให้บริการ

  1. ประกาศประเภทและระดับ OMX ของโปรไฟล์ตัวถอดรหัส HDR ที่รองรับ ตัวอย่าง:
    OMX_VIDEO_HEVCProfileMain10HDR10 (และ Main10)
  2. ใช้การรองรับดัชนี: 'OMX.google.android.index.describeHDRColorInfo'
  3. ใช้การรองรับดัชนี: 'OMX.google.android.index.describeColorAspects'
  4. ใช้การรองรับการแยกวิเคราะห์ SEI ของข้อมูลเมตาการมาสเตอร์

ไปป์ไลน์ตัวถอดรหัส Dolby Vision

รูปที่ 2 ไปป์ไลน์ Dolby Vision

ระบบจะแพ็กเกจบิตสตรีม Dolby ในคอนเทนเนอร์ MP4 ตามที่ Dolby กำหนด ในทางทฤษฎีแล้ว แอปพลิเคชันสามารถใช้โปรแกรมแยก MP4 ทั่วไปเพื่อแยก เลเยอร์ฐาน เลเยอร์การปรับปรุง และเลเยอร์ข้อมูลเมตาได้อย่างอิสระ แต่ วิธีนี้ไม่เหมาะกับโมเดล MediaExtractor/MediaCodec ของ Android ในปัจจุบัน

  • DolbyExtractor:
    • DolbyExtractor จะจดจำสตรีมบิต Dolby ซึ่งจะแสดงเลเยอร์ต่างๆ เป็น 1-2 แทร็กสำหรับแทร็กวิดีโอ Dolby (กลุ่ม) แต่ละแทร็ก ดังนี้
      • แทร็ก HDR ที่มีประเภทเป็น "video/dolby-vision" สำหรับสตรีม Dolby แบบรวม 2/3 เลเยอร์ Dolby จะเป็นผู้กำหนดรูปแบบหน่วยการเข้าถึงของแทร็ก HDR ซึ่งจะกำหนด วิธีแพ็กเกจหน่วยการเข้าถึงจากเลเยอร์ฐาน/การปรับปรุง/ข้อมูลเมตา ลงในบัฟเฟอร์เดียวเพื่อถอดรหัสเป็นเฟรม HDR เดียว
      • (ไม่บังคับ เฉพาะในกรณีที่ BL เข้ากันได้แบบย้อนหลัง) แทร็ก BL มีเฉพาะเลเยอร์ฐาน ซึ่งต้องถอดรหัสได้ด้วยตัวถอดรหัส MediaCodec ปกติ เช่น ตัวถอดรหัส AVC/HEVC โปรแกรมแยกควรระบุหน่วยการเข้าถึง AVC/HEVC ปกติสำหรับแทร็กนี้ แทร็ก BL นี้ต้องมี track-unique-ID ("track-ID") เดียวกันกับแทร็ก Dolby เพื่อให้แอปพลิเคชันเข้าใจว่าแทร็กทั้ง 2 นี้ เป็นการเข้ารหัสวิดีโอเดียวกัน
    • แอปพลิเคชันสามารถเลือกแทร็กที่จะใช้โดยอิงตามความสามารถของแพลตฟอร์ม
    • เนื่องจากแทร็ก HDR มีประเภท HDR ที่เฉพาะเจาะจง เฟรมเวิร์กจึงเลือก ตัวถอดรหัสวิดีโอ Dolby เพื่อถอดรหัสแทร็กนั้น ตัวถอดรหัสวิดีโอ AVC/HEVC ปกติจะถอดรหัสแทร็ก BL
  • DolbyDecoder:
    • DolbyDecoder จะได้รับหน่วยการเข้าถึงที่มีหน่วยการเข้าถึงที่จำเป็นสำหรับทุกเลเยอร์ (EL+BL+MD หรือ BL+MD)
    • ข้อมูล CSD (ข้อมูลเฉพาะของตัวแปลงรหัส เช่น SPS+PPS+VPS) สำหรับ เลเยอร์แต่ละรายการสามารถจัดแพ็กเกจเป็นเฟรม CSD 1 เฟรมที่กำหนดโดย Dolby ต้องมีเฟรม CSD เดียว

การดำเนินการของ Dolby

  1. กำหนดการแพ็กเกจหน่วยการเข้าถึงสำหรับรูปแบบคอนเทนเนอร์ Dolby ต่างๆ (เช่น BL+EL+MD) สำหรับตัวถอดรหัส Dolby แบบนามธรรม (เช่น รูปแบบบัฟเฟอร์ ที่ตัวถอดรหัส HDR คาดหวัง)
  2. กำหนดการแพ็กเกจ CSD สำหรับตัวถอดรหัส Dolby แบบนามธรรม

การดำเนินการของผู้ให้บริการ

  1. ใช้ตัวแยก Dolby Dolby ก็ทำได้เช่นกัน
  2. ผสานรวม DolbyExtractor เข้ากับเฟรมเวิร์ก จุดแรกเข้าคือ frameworks/av/media/libstagefright/MediaExtractor.cpp
  3. ประกาศโปรไฟล์และระดับของตัวถอดรหัส HDR OMX type ตัวอย่างเช่น OMX_VIDEO_DOLBYPROFILETYPE และ OMX_VIDEO_DOLBYLEVELTYP
  4. ใช้การรองรับดัชนี: 'OMX.google.android.index.describeColorAspects'
  5. ส่งต่อข้อมูลเมตา HDR แบบไดนามิกไปยังแอปและแพลตฟอร์มในแต่ละเฟรม โดยปกติแล้ว ข้อมูลนี้จะต้องรวมอยู่ในเฟรมที่ถอดรหัสแล้ว ตามที่ Dolby กำหนด เนื่องจากมาตรฐาน HDMI ไม่มีวิธี ส่งข้อมูลนี้ไปยังจอแสดงผล

ไปป์ไลน์ตัวถอดรหัส VP9

รูปที่ 3 ไปป์ไลน์ VP9-PQ

สตรีมบิต VP9 จะอยู่ในแพ็กเกจคอนเทนเนอร์ WebM ในลักษณะที่ทีม WebM กำหนด แอปพลิเคชันต้องใช้โปรแกรมแยก WebM เพื่อแยกข้อมูลเมตา HDR จาก บิตสตรีมก่อนส่งเฟรมไปยังตัวถอดรหัส

  • WebM Extractor
  • ตัวถอดรหัส VP9
    • ตัวถอดรหัสจะรับสตรีมบิต Profile2 และถอดรหัสเป็นสตรีม VP9 ตามปกติ
    • ตัวถอดรหัสจะได้รับข้อมูลเมตาแบบคงที่ของ HDR จากเฟรมเวิร์ก
    • ตัวถอดรหัสจะได้รับข้อมูลเมตาแบบคงที่ผ่านหน่วยการเข้าถึงบิตสตรีมสำหรับสตรีม VP9 PQ
    • ตัวถอดรหัส VP9 ต้องสามารถเผยแพร่ข้อมูลเมตาแบบคงที่/แบบไดนามิกของ HDR ไปยังจอแสดงผลได้

การดำเนินการของผู้ให้บริการ

  1. ใช้การรองรับดัชนี: OMX.google.android.index.describeHDRColorInfo
  2. ใช้การรองรับดัชนี: OMX.google.android.index.describeColorAspects
  3. เผยแพร่ข้อมูลเมตาแบบคงที่ของ HDR