Tùy chỉnh các thành phần phương tiện

Bạn có thể mở rộng các thành phần giải mã phương tiện và giải mã phương tiện bằng cách sử dụng tiện ích mở rộng của nhà cung cấp. Không thể tùy chỉnh API MediaSession2 và MediaParser (nhưng bạn có thể ngược dòng các thay đổi đối với API MediaPlayerMediaSession cũ).

Để hỗ trợ các loại phương tiện bổ sung trong khung phương tiện Android, bạn cần tạo trình trích xuấtgiải mã tùy chỉnh . Ví dụ: để thêm hỗ trợ cho video Windows Media trong các tệp AVI, bạn cần tạo Trình trích xuất AVI và Bộ giải mã video Windows Media.

Giới thiệu về tiện ích mở rộng

Nếu trình trích xuất phương tiện mặc định không đáp ứng yêu cầu của bạn, bạn có thể đặt các plugin trình trích xuất tùy chỉnh trong /system/lib[64]/extractors/ . Quá trình giải nén tự động tải các plugin giải nén từ gói APEX do Google cung cấp và từ /system/lib[64]/extractors/ .

Tương tự, bạn có thể thiết lập các dịch vụ codec phương tiện tùy chỉnh sử dụng giao diện Codec 2.0 được xác định trong frameworks/av/media/codec2/core/ . Để biết cách triển khai cơ bản, hãy tham khảo frameworks/av/media/codec2/hidl/services/ . Điểm vào thư viện là giao diện C2ComponentStore . Để biết ví dụ, hãy tham khảo cách triển khai cửa hàng codec phần mềm mặc định tại frameworks/av/media/codec2/vndk/C2Store.cpp .

Khi sử dụng APEX của riêng bạn, hãy cấu trúc dịch vụ codec và tải tệp APEX bằng các quy trình tương tự như dịch vụ mediaswcodec . Để làm như vậy, hãy xác định thư viện dùng chung cấp cao nhất chịu trách nhiệm đăng ký tất cả các thành phần C2, sau đó tạo gói APEX (với các phần phụ thuộc bắc cầu) nằm trong phân vùng của nhà cung cấp. Khi quá trình dịch vụ codec của nhà cung cấp bắt đầu, nó có thể tải điểm vào cấp cao nhất này.

Tạo một trình trích xuất

Khi thêm trình trích xuất cho định dạng mới, hãy đảm bảo trình trích xuất chỉ phụ thuộc vào các API NDK ổn định và không phụ thuộc vào bất kỳ API riêng tư nào. Trình trích xuất phải triển khai API được xác định bởi frameworks/av/include/media/MediaExtractorPluginApi.h và có thể sử dụng trình bao bọc tiện lợi C++ trong frameworks/av/include/media/MediaExtractorPluginHelper.h . Vì Android 10 trở lên chỉ hỗ trợ phiên bản cao nhất của API trình trích xuất nên hãy đảm bảo lập mô hình trình trích xuất của bạn theo trình trích xuất có số phiên bản API cao nhất.

Đặt trình trích xuất tùy chỉnh trong /system/lib/64/extractors hoặc APEX của nhà cung cấp, được mở cùng với Google APEX có chứa trình trích xuất của Google. Để xác minh khung đã tải trình giải nén của bạn, hãy chạy lệnh sau.

adb shell dumpsys media.extractor

Bạn sẽ nhận được một danh sách các trình trích xuất có sẵn tương tự như sau.

Available extractors:
AAC Extractor: plugin\_version(2), uuid(4fd80eae03d24d729eb948fa6bb54613), version(1), path(/system/lib64/extractors/libaacextractor.so)
AMR Extractor: plugin\_version(2), uuid(c86639c92f3140aca715fa01b4493aaf), version(1), path(/system/lib64/extractors/libamrextractor.so)
FLAC Extractor: plugin\_version(2), uuid(1364b048cc454fda9934327d0ebf9829), version(1), path(/system/lib64/extractors/libflacextractor.so)
MIDI Extractor: plugin\_version(2), uuid(ef6cca0af8a243e6ba5fdfcd7c9a7ef2), version(1), path(/system/lib64/extractors/libmidiextractor.so)
MP3 Extractor: plugin\_version(2), uuid(812a3f6cc8cf46deb5293774b14103d4), version(1), path(/system/lib64/extractors/libmp3extractor.so)
MP4 Extractor: plugin\_version(2), uuid(27575c6744174c548d3d8e626985a164), version(2), path(/system/lib64/extractors/libmp4extractor.so)
MPEG2-PS/TS Extractor: plugin\_version(1), uuid(3d1dcfebe40a436da574c2438a555e5f), version(1), path(/system/lib64/extractors/libmpeg2extractor.so)
Matroska Extractor: plugin\_version(2), uuid(abbedd9238c44904a4c1b3f45f899980), version(1), path(/system/lib64/extractors/libmkvextractor.so)
Ogg Extractor: plugin\_version(2), uuid(8cc5cd06f772495e8a62cba9649374e9), version(1), path(/system/lib64/extractors/liboggextractor.so)
WAV Extractor: plugin\_version(3), uuid(7d61385858374a3884c5332d1cddee27), version(1), path(/system/lib64/extractors/libwavextractor.so)

Nếu trình trích xuất tùy chỉnh của bạn hỗ trợ định dạng đã được trình trích xuất do Google cung cấp hỗ trợ, thì bạn có thể buộc khung sử dụng trình trích xuất của mình bằng cách sử dụng hàm Sniff() để trả về mức độ tin cậy cao hơn mức do Google cung cấp.

Khi khung phương tiện tải trình giải nén của bạn (từ /system/lib/64/extractors hoặc từ APEX của nhà cung cấp), nó sẽ nhận dạng tệp và nhận thông tin về nội dung của nó. Bước tiếp theo là thêm bộ giải mã cho định dạng để khung có thể hiểu cách phân tích nội dung tệp.

Tạo bộ giải mã tùy chỉnh

Bạn cần bộ giải mã tùy chỉnh cho bất kỳ định dạng nào chưa được bộ giải mã do Google cung cấp hỗ trợ. Ví dụ:

  • Để thêm hỗ trợ khung phương tiện cho các tệp AVI chứa MP3, bạn cần có trình trích xuất AVI nhưng không cần bộ giải mã MP3 vì đã có sẵn bộ giải mã.

  • Để thêm hỗ trợ khung phương tiện cho các tệp AVI có chứa Windows Media, bạn cần cả trình trích xuất AVI và bộ giải mã Windows Media.

Việc thêm bộ giải mã mới cũng tương tự như việc thêm bộ giải mã phần cứng của riêng bạn cho AVC hoặc HEVC.

Mặc dù trình trích xuất xuất bản loại MIME của các bản nhạc phương tiện chứa trong đó, nhưng cần phải có các codec hỗ trợ các loại MIME này để tệp được hỗ trợ đầy đủ. Chuỗi loại MIME thực tế được sử dụng hoàn toàn là sự thỏa thuận giữa trình trích xuất và codec (chuỗi này không cần phải thêm vào tệp MediaDefs.h ).

Tích hợp với máy quét phương tiện

Trình quét phương tiện sẽ tìm kiếm các loại tệp mới và thêm chúng vào cơ sở dữ liệu phương tiện. Để máy quét phương tiện xử lý loại tệp tùy chỉnh của bạn, máy quét cần biết về nó. Trong Android 10 trở lên, MimeUtils (trong libcore ) duy trì ánh xạ MIME-to-extension. Trước đây, ánh xạ này được xử lý trong tệp MediaFile.java , tệp này tiếp tục chứa ánh xạ từ các hằng số định dạng MIME sang MTP.

Trình giải nén có thể xuất danh sách các phần mở rộng tên tệp mà chúng hỗ trợ (chẳng hạn như MP3 hoặc MP4). Tuy nhiên, chỉ LegacyMediaScanner mới sử dụng điều đó; nó không có tác dụng với ModernMediaScanner , được sử dụng theo mặc định.