Phát hiện tư thế bằng Bộ công cụ học máy trên iOS

Bộ công cụ học máy cung cấp hai SDK được tối ưu hoá để phát hiện tư thế.

Tên SDKPoseDetectionPoseDetectionAccurate
Triển khaiCác thành phần của trình phát hiện cơ sở được liên kết tĩnh với ứng dụng của bạn tại thời điểm tạo bản dựng.Các thành phần của trình phát hiện chính xác được liên kết tĩnh với ứng dụng của bạn tại thời điểm tạo bản dựng.
Kích thước ứng dụngTối đa 29,6 MBTối đa 33,2 MB
Hiệu suấtiPhone X: ~45 khung hình/giâyiPhone X: ~29 khung hình/giây

Dùng thử

  • Hãy thử nghiệm với ứng dụng mẫu để xem ví dụ về cách sử dụng API này.

Trước khi bắt đầu

  1. Thêm các nhóm Bộ công cụ học máy sau vào Podfile:

    # If you want to use the base implementation:
pod 'GoogleMLKit/PoseDetection', '8.0.0'

# If you want to use the accurate implementation:
pod 'GoogleMLKit/PoseDetectionAccurate', '8.0.0'

  2. Sau khi bạn cài đặt hoặc cập nhật các pod của dự án, hãy mở dự án Xcode bằng xcworkspace. Bộ công cụ học máy được hỗ trợ trong Xcode phiên bản 13.2.1 trở lên.

1. Tạo một thực thể của PoseDetector

Để phát hiện tư thế trong hình ảnh, trước tiên, hãy tạo một thực thể của PoseDetector và tùy ý chỉ định chế độ cài đặt của trình phát hiện.

PoseDetector lựa chọn

Chế độ phát hiện

PoseDetector hoạt động ở hai chế độ phát hiện. Hãy nhớ chọn một loại phù hợp với trường hợp sử dụng của bạn.

stream (mặc định)
Trước tiên, trình phát hiện tư thế sẽ phát hiện người nổi bật nhất trong hình ảnh, sau đó chạy tính năng phát hiện tư thế. Trong các khung hình tiếp theo, bước phát hiện người sẽ không được thực hiện trừ phi người đó bị che khuất hoặc không còn được phát hiện với độ tin cậy cao. Trình phát hiện tư thế sẽ cố gắng theo dõi người nổi bật nhất và trả về tư thế của người đó trong mỗi lần suy luận. Điều này giúp giảm độ trễ và giúp quá trình phát hiện diễn ra suôn sẻ. Sử dụng chế độ này khi bạn muốn phát hiện tư thế trong luồng video.
singleImage
Trình phát hiện tư thế sẽ phát hiện một người rồi chạy tính năng phát hiện tư thế. Bước phát hiện người sẽ chạy cho mọi hình ảnh, vì vậy, độ trễ sẽ cao hơn và không có tính năng theo dõi người. Sử dụng chế độ này khi sử dụng tính năng phát hiện tư thế trên hình ảnh tĩnh hoặc khi không muốn theo dõi.

Chỉ định các tuỳ chọn của trình phát hiện tư thế:

Swift

// Base pose detector with streaming, when depending on the PoseDetection SDK
let options = PoseDetectorOptions()
options.detectorMode = .stream

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
let options = AccuratePoseDetectorOptions()
options.detectorMode = .singleImage

Objective-C

// Base pose detector with streaming, when depending on the PoseDetection SDK
MLKPoseDetectorOptions *options = [[MLKPoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeStream;

// Accurate pose detector on static images, when depending on the
// PoseDetectionAccurate SDK
MLKAccuratePoseDetectorOptions *options =
    [[MLKAccuratePoseDetectorOptions alloc] init];
options.detectorMode = MLKPoseDetectorModeSingleImage;

Cuối cùng, hãy lấy một thực thể của PoseDetector. Truyền các tuỳ chọn bạn đã chỉ định:

Swift

let poseDetector = PoseDetector.poseDetector(options: options)

Objective-C

MLKPoseDetector *poseDetector =
    [MLKPoseDetector poseDetectorWithOptions:options];

2. Chuẩn bị hình ảnh đầu vào

Để phát hiện tư thế, hãy làm như sau cho mỗi hình ảnh hoặc khung hình video. Nếu đã bật chế độ truyền trực tuyến, bạn phải tạo các đối tượng VisionImage từ CMSampleBuffer.

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBuffer.

Nếu bạn sử dụng UIImage, hãy làm theo các bước sau:

  • Tạo đối tượng VisionImage bằng UIImage. Hãy nhớ chỉ định đúng .orientation.

    Swift

    let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

    Objective-C

    MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

Nếu bạn sử dụng CMSampleBuffer, hãy làm theo các bước sau:

  • Chỉ định hướng của dữ liệu hình ảnh có trong CMSampleBuffer.

    Cách lấy hướng hình ảnh:

    Swift

    func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

    Objective-C

    - (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}
  • Tạo đối tượng VisionImage bằng đối tượng và hướng CMSampleBuffer:

    Swift

    let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

    Objective-C

     MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. Xử lý hình ảnh

Truyền VisionImage vào một trong các phương thức xử lý hình ảnh của trình phát hiện tư thế. Bạn có thể sử dụng phương thức process(image:) không đồng bộ hoặc phương thức results() đồng bộ.

Cách phát hiện đối tượng một cách đồng bộ:

Swift

var results: [Pose]
do {
  results = try poseDetector.results(in: image)
} catch let error {
  print("Failed to detect pose with error: \(error.localizedDescription).")
  return
}
guard let detectedPoses = results, !detectedPoses.isEmpty else {
  print("Pose detector returned no results.")
  return
}

// Success. Get pose landmarks here.

Objective-C

NSError *error;
NSArray *poses = [poseDetector resultsInImage:image error:&error];
if (error != nil) {
  // Error.
  return;
}
if (poses.count == 0) {
  // No pose detected.
  return;
}

// Success. Get pose landmarks here.

Cách phát hiện đối tượng không đồng bộ:

Swift

poseDetector.process(image) { detectedPoses, error in
  guard error == nil else {
    // Error.
    return
  }
  guard !detectedPoses.isEmpty else {
    // No pose detected.
    return
  }

  // Success. Get pose landmarks here.
}

Objective-C

[poseDetector processImage:image
                completion:^(NSArray * _Nullable poses,
                             NSError * _Nullable error) {
                    if (error != nil) {
                      // Error.
                      return;
                    }
                    if (poses.count == 0) {
                      // No pose detected.
                      return;
                    }

                    // Success. Get pose landmarks here.
                  }];

4. Nhận thông tin về tư thế được phát hiện

Nếu phát hiện thấy một người trong hình ảnh, API phát hiện tư thế sẽ truyền một mảng các đối tượng Pose đến trình xử lý hoàn tất hoặc trả về mảng đó, tuỳ thuộc vào việc bạn gọi phương thức không đồng bộ hay đồng bộ.

Nếu người đó không hoàn toàn nằm trong hình ảnh, thì mô hình sẽ gán các toạ độ điểm đánh dấu bị thiếu bên ngoài khung hình và cung cấp cho các toạ độ đó giá trị InFrameConfidence thấp.

Nếu không phát hiện thấy người nào, thì mảng sẽ trống.

Swift

for pose in detectedPoses {
  let leftAnkleLandmark = pose.landmark(ofType: .leftAnkle)
  if leftAnkleLandmark.inFrameLikelihood > 0.5 {
    let position = leftAnkleLandmark.position
  }
}

Objective-C

for (MLKPose *pose in detectedPoses) {
  MLKPoseLandmark *leftAnkleLandmark =
      [pose landmarkOfType:MLKPoseLandmarkTypeLeftAnkle];
  if (leftAnkleLandmark.inFrameLikelihood > 0.5) {
    MLKVision3DPoint *position = leftAnkleLandmark.position;
  }
}

Mẹo cải thiện hiệu suất

Chất lượng của kết quả phụ thuộc vào chất lượng của hình ảnh đầu vào:

  • Để Bộ công cụ học máy phát hiện chính xác tư thế, người trong hình ảnh phải được biểu thị bằng dữ liệu pixel đầy đủ; để đạt được hiệu suất tốt nhất, đối tượng phải có kích thước tối thiểu là 256x256 pixel.
  • Nếu phát hiện tư thế trong một ứng dụng theo thời gian thực, bạn cũng nên cân nhắc kích thước tổng thể của hình ảnh đầu vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn, vì vậy, để giảm độ trễ, hãy chụp ảnh ở độ phân giải thấp hơn, nhưng hãy lưu ý đến các yêu cầu về độ phân giải ở trên và đảm bảo rằng đối tượng chiếm nhiều không gian hình ảnh nhất có thể.
  • Độ nét của hình ảnh cũng có thể ảnh hưởng đến độ chính xác. Nếu bạn không nhận được kết quả chấp nhận được, hãy yêu cầu người dùng chụp lại hình ảnh.

Nếu bạn muốn sử dụng tính năng phát hiện tư thế trong một ứng dụng theo thời gian thực, hãy làm theo các nguyên tắc sau để đạt được tốc độ khung hình tốt nhất:

  • Sử dụng SDK PoseDetection cơ sở và chế độ phát hiện stream.
  • Cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, hãy lưu ý đến các yêu cầu về kích thước hình ảnh của API này.
  • Để xử lý khung hình video, hãy sử dụng API đồng bộ results(in:) của trình phát hiện. Gọi phương thức này từ hàm captureOutput(_, didOutput:from:) của AVCaptureVideoDataOutputSampleBufferDelegate để đồng bộ nhận kết quả từ khung video đã cho. Giữ alwaysDiscardsLateVideoFrames của AVCaptureVideoDataOutput ở trạng thái true để điều tiết các lệnh gọi đến trình phát hiện. Nếu có khung video mới trong khi trình phát hiện đang chạy, khung video đó sẽ bị loại bỏ.
  • Nếu bạn sử dụng kết quả của trình phát hiện để phủ hình ảnh đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và lớp phủ trong một bước. Bằng cách này, bạn chỉ kết xuất một lần cho mỗi khung đầu vào đã xử lý trên bề mặt hiển thị. Xem các lớp previewOverlayView và MLKDetectionOverlayView trong ứng dụng mẫu giới thiệu để biết ví dụ.

Các bước tiếp theo