Dùng thiết bị làm webcam

Đối với các thiết bị chạy Android 14-QPR1 trở lên, Android hỗ trợ sử dụng thiết bị làm webcam USB. Các thiết bị Android hỗ trợ tính năng này được quảng cáo là thiết bị UVC, cho phép nhiều máy chủ USB với nhiều hệ điều hành khác nhau (ví dụ: Linux, macOS, Windows và ChromeOS) sử dụng máy ảnh của thiết bị làm webcam. Dịch vụ DeviceAsWebcam hỗ trợ tính năng này để sử dụng thiết bị làm webcam.

Dịch vụ DeviceAsWebcam

Dịch vụ DeviceAsWebcam trong AOSP bao gồm một hoạt động xem trước (DeviceAsWebcamPreview.java) cho phép người dùng tạo khung cảnh. Hoạt động xem trước cho phép người dùng thực hiện các thao tác sau:

  • Xem trước giao diện của nguồn cấp dữ liệu webcam trên máy chủ trước khi bắt đầu phát trực tiếp.

  • Bạn có thể tuỳ chỉnh nguồn cấp dữ liệu webcam được gửi đến máy chủ lưu trữ theo các cách sau:

    • Chọn máy ảnh để phát trực tuyến, trước hoặc sau.
    • Chọn mức thu phóng bằng thanh trượt hoặc nút.
    • Nhấn vào một vùng cụ thể của bản xem trước để lấy nét hoặc xoá tiêu điểm trên một vùng.

Hoạt động xem trước hoạt động với các tính năng hỗ trợ tiếp cận chung trên Android, chẳng hạn như TalkBack, Tiếp cận bằng công tắc và Truy cập bằng giọng nói.

nguồn cấp dữ liệu webcam được truyền trực tuyến đến máy chủ

Hình 1. Luồng webcam đang được truyền đến máy chủ lưu trữ có bản xem trước điều khiển luồng.

Kiến trúc

Cấu trúc hỗ trợ việc sử dụng thiết bị làm webcam được minh hoạ trong Hình 2. Phần sau đây mô tả quy trình tương tác của dịch vụ DeviceAsWebcam với phần còn lại của khung Android:

  1. Người dùng chọn tuỳ chọn webcam USB trong ứng dụng Cài đặt.
  2. Ứng dụng Cài đặt gửi một lệnh gọi liên kết đến system_server thông qua lớp UsbManager để cho biết rằng FUNCTION_UVC đã được chọn.
  3. Máy chủ hệ thống thực hiện những việc sau:
    1. Thông báo cho HAL tiện ích USB để truy xuất hàm tiện ích UVC thông qua lệnh gọi giao diện HAL setUsbFunctions.
    2. Thông báo cho HAL tiện ích USB để định cấu hình trình điều khiển tiện ích UVC bằng cách sử dụng ConfigF.
  4. Khi nhận được lệnh gọi lại từ HAL của tiện ích, system_server sẽ gửi thông báo đến khung để dịch vụ DeviceAsWebcam tiếp nhận.
  5. Trình điều khiển tiện ích USB sẽ bắt đầu luồng webcam khi nhận được lệnh cấu hình từ máy chủ thông qua các nút V4L2 tại /dev/video*.

cấu trúc thiết bị làm webcam

Hình 2. Cấu trúc DeviceAsWebcam.

Triển khai

Phần này mô tả cách hỗ trợ sử dụng thiết bị Android làm webcam.

Hỗ trợ nhân

Đối với Android 14 trở lên, Hình ảnh hạt nhân chung (GKI) sẽ bật trình điều khiển tiện ích UVC theo mặc định (xem thông tin chi tiết trong bản vá AOSP).

Hỗ trợ UVC trong Gadget HAL

Kể từ Android 14, hàm UVC được đưa vào giao diện HAL GadgetFunction.aidl. Đối với Gadget HAL, tiện ích UVC được gắn vào ConfigFS theo cách tương tự như các hàm ConfigFS khác, chẳng hạn như MTP hoặc ADB.

Để triển khai Gadget HAL, hãy sửa đổi để gắn hàm UVC vào ConfigFS. Sau đây là một đoạn mã mẫu về cách triển khai HAL của tiện ích hỗ trợ chức năng UVC:

UsbGadget::setCurrentUsbFunctions(long functions) {
   ...
   // Existing functions
   if ((functions & GadgetFunction::MTP) != 0) {
       ...
       linkFunction("ffs.mtp"); // Mount to ConfigFS
       ...
   }
   ...
   // UVC function follows the same pattern!
   if ((functions & GadgetFunction::UVC) != 0) {
       ...
       linkFunction("uvc.0"); // Mount to ConfigFS
       ...
   }
   ...
}

Khi thiết bị hoạt động như một webcam, hãy đảm bảo HAL tiện ích USB đang quảng cáo các tổ hợp VID/PID thích hợp.

Vì tất cả logic UVC đều nằm trong quá trình khởi động của nhà cung cấp hoặc trong dịch vụ DeviceAsWebcam, nên không cần logic cụ thể nào của UVC (ngoài việc liên kết tượng trưng hàm UVC với ConfigFS) trong HAL của tiện ích.

Để được hướng dẫn thêm về cách triển khai, hãy xem mã mẫu sau trong AOSP:

Thiết lập ConfigFS bằng cấu hình UVC

Để thông báo cho trình điều khiển tiện ích UVC về các định dạng, kích thước và tốc độ khung hình mà webcam Android hỗ trợ, hãy thiết lập ConfigFS bằng cấu hình UVC. Để biết thêm thông tin, hãy xem tài liệu Linux ngược dòng về ABI tiện ích UVC ConfigFS.

Sau đây là ví dụ về cách trình khởi động của nhà cung cấp có thể thiết lập trình điều khiển tiện ích UVC (đoạn mã trong AOSP):

# uvc function
   mkdir /configfs_path/functions/uvc.0
   write /configfs_path/functions/uvc.0/function_name "Android Webcam"
   write /configfs_path/functions/uvc.0/streaming_maxpacket 3072
   # setup control params
   mkdir /configfs_path/functions/uvc.0/control/header/h
   symlink /configfs_path/functions/uvc.0/control/header/h \
                /configfs_path/functions/uvc.0/control/class/fs/h
   symlink /configfs_path/functions/uvc.0/control/header/h \
                /configfs_path/functions/uvc.0/control/class/ss/h
   # advertise 1080p resolution for webcam encoded as mjpeg
   mkdir /configfs_path/functions/uvc.0/streaming/mjpeg/m/1080p
   write /configfs_path/functions/uvc.0/streaming/mjpeg/m/1080p/wHeight 1080
   write /configfs_path/functions/uvc.0/streaming/mjpeg/m/1080p/wWidth 1920
   write /configfs_path/functions/uvc.0/streaming/mjpeg/m/1080p/dwMaxVideoFrameBufferSize 4147200
   # advertise 30 fps support for 1080p.
   write /configfs_path/functions/uvc.0/streaming/mjpeg/m/1080p/dwDefaultFrameInterval 333333
   write /configfs_path/functions/uvc.0/streaming/mjpeg/m/1080p/dwFrameInterval "333333"
   # setup streaming params
   mkdir /configfs_path/functions/uvc.0/streaming/header/h
   symlink /configfs_path/functions/uvc.0/streaming/mjpeg/m \
                /configfs_path/functions/uvc.0/streaming/header/h/m
   symlink /configfs_path/functions/uvc.0/streaming/header/h \
                /configfs_path/functions/uvc.0/streaming/class/fs/h
   symlink /configfs_path/functions/uvc.0/streaming/header/h \
                /configfs_path/functions/uvc.0/streaming/class/hs/h
   symlink /configfs_path/functions/uvc.0/streaming/header/h \
                /config/usb_gadget/g1/functions/uvc.0/streaming/class/ss/h
   # ...

Đoạn mã này thiết lập trình điều khiển tiện ích UVC để quảng cáo luồng MJPEG 1080p ở tốc độ 30 khung hình/giây. Các chức năng này được thông báo cho máy chủ USB khi máy chủ truy vấn độ phân giải và tốc độ khung hình được hỗ trợ.

Sau đây là các nguyên tắc chung về cách chọn cấu hình mà webcam quảng cáo:

  • Hai định dạng luồng mà dịch vụ DeviceAsWebcam hỗ trợ là MJPEG và YUYV không nén.
  • USB 2.0 hỗ trợ tốc độ truyền dữ liệu 480 Mbps (60 MBps). Điều này có nghĩa là ở tốc độ 30 khung hình/giây, mỗi khung hình phải có kích thước tối đa là 2 MB; và ở tốc độ 60 khung hình/giây, kích thước tối đa là 1 MB.
    • Luồng không nén (YUYV): Ở tốc độ 30 khung hình/giây, kích thước khung hình tối đa được hỗ trợ là 720p vì YUYV là 2 byte/pixel.
    • Luồng MJPEG nén: Giả sử tỷ lệ nén 1:10 từ YUV, USB 2.0 có thể hỗ trợ 4K (1,18 MB mỗi khung).
  • Các thiết bị camera chính trước và sau phải hỗ trợ tất cả các kích thước khung hình được quảng cáo. Điều này là do người dùng có thể chuyển đổi giữa các mã máy ảnh bằng giao diện người dùng xem trước. Đối với luồng MJPEG, nhà cung cấp nên quảng cáo kích thước khung hình 480p (640 x 480), 720p (1280 x 820) và 1080p (1920 x 1080) vì đây là các kích thước mà ứng dụng lưu trữ thường sử dụng.
  • Thiết bị máy ảnh trước và sau chính phải hỗ trợ tất cả tốc độ khung hình được quảng cáo. Nhà cung cấp nên hỗ trợ tốc độ 30 khung hình/giây.

Để biết ví dụ về cách thêm cấu hình luồng webcam (ConfigFS), hãy xem bản vá mẫu AOSP.

Bật webcam trong bản dựng

Để bật dịch vụ DeviceAsWebcam, bạn phải đặt thuộc tính hệ thống ro.usb.uvc.enabled thành true trong tệp device.mk.

# Enable UVC support
PRODUCT_VENDOR_PROPERTIES += \
    ro.usb.uvc.enabled=true

Khi bạn bật thuộc tính hệ thống này, tuỳ chọn Webcam sẽ xuất hiện trong ứng dụng Cài đặt trong phần lựa chọn ưu tiên USB như minh hoạ trong Hình 3. Khi bạn chọn tuỳ chọn này, thiết bị Android sẽ xuất hiện dưới dạng webcam USB đối với thiết bị lưu trữ.

Hình 3. Lựa chọn ưu tiên về USB trong ứng dụng Cài đặt.

Bạn cũng có thể đặt thiết bị thành chức năng webcam USB thông qua ADB bằng lệnh sau:

adb shell svc usb setFunctions uvc

Cân nhắc các vấn đề về nguồn điện và nhiệt

Hoạt động webcam có nghĩa là camera của thiết bị có thể ở trạng thái bật trong nhiều giờ mỗi ngày. Vì vậy, bạn nên thực hiện các biện pháp để đảm bảo mức tiêu thụ điện năng và nhiệt của thiết bị vẫn ở một số giới hạn nhất định. Sau đây là các giải pháp đề xuất để giữ mức tiêu thụ điện năng ở mức giới hạn:

  • Để có hiệu suất pin tốt hơn từ HAL máy ảnh, hãy bật STREAM_USE_CASE_VIDEO_CALL trong dịch vụ DeviceAsWebcam.

  • Nếu bạn lo ngại về nguồn điện ngay cả khi bật STREAM_USE_CASE_VIDEO_CALL, thì dịch vụ DeviceAsWebcam sẽ cung cấp một tuỳ chọn để giảm mức tiêu thụ điện năng hơn nữa bằng cách sử dụng luồng vật lý. Bạn có thể sử dụng lớp phủ tài nguyên thời gian chạy (RRO) để chỉ định máy ảnh thực tế cần sử dụng. Luồng thực tế làm giảm đáng kể chất lượng video và dẫn đến trải nghiệm người dùng khó hiểu, vì vậy, chỉ nên sử dụng giải pháp này làm phương án cuối cùng. Tối ưu hoá STREAM_USE_CASE_VIDEO_CALL là giải pháp được ưu tiên để xử lý các mối lo ngại về quyền lực. Để biết thêm thông tin về RRO mà dịch vụ DeviceAsWebcam hỗ trợ, hãy xem readme.md.

    Sau đây là ví dụ về một RRO được thiết lập để sử dụng mã nhận dạng máy ảnh thực 3 thay vì mã nhận dạng máy ảnh logic 0. Để biết ví dụ trong AOSP, hãy xem DeviceAsWebcamRaven.

    // For logical camera id 0 - use physical camera id 3
{"0": {"3" : "UW"}}

Xác minh

Để kiểm thử việc triển khai dịch vụ DeviceAsWebcam trên thiết bị, hãy sử dụng các bài kiểm thử sau:

  • Kiểm thử webcam bằng trình xác minh CTS: Kiểm thử để đảm bảo thiết bị hỗ trợ các định dạng, kích thước và tốc độ khung hình.
  • Kiểm thử thủ công: Kiểm thử để đảm bảo tính năng webcam hoạt động với nhiều ứng dụng lưu trữ trên nhiều hệ điều hành lưu trữ.

Vấn đề đã biết

Sau đây là các vấn đề đã biết đối với dịch vụ DeviceAsWebcam: