Phát hiện, theo dõi và phân loại đối tượng bằng mô hình phân loại tuỳ chỉnh trên iOS

Khi bạn truyền một hình ảnh cho Bộ công cụ học máy, công cụ này sẽ phát hiện tối đa 5 vật thể trong hình ảnh cùng với vị trí của từng vật thể trong hình ảnh. Khi phát hiện các vật thể trong luồng video, mỗi vật thể sẽ có một mã nhận dạng riêng mà bạn có thể dùng để theo dõi vật thể đó từ khung hình này sang khung hình khác.

Bạn có thể dùng mô hình phân loại hình ảnh tuỳ chỉnh để phân loại các vật thể được phát hiện. Hãy tham khảo bài viết Mô hình tuỳ chỉnh bằng Bộ công cụ học máy để biết hướng dẫn về các yêu cầu về khả năng tương thích của mô hình, nơi tìm các mô hình được huấn luyện trước, và cách huấn luyện mô hình của riêng bạn.

Có 2 cách để tích hợp mô hình tuỳ chỉnh. Bạn có thể gói mô hình bằng cách đặt mô hình đó vào thư mục tài sản của ứng dụng hoặc bạn có thể tải mô hình đó xuống một cách linh hoạt từ Cloud Storage. Bảng sau đây so sánh 2 lựa chọn này.

Dùng thử

• Hãy xem ứng dụng bắt đầu nhanh về tầm nhìn để biết ví dụ về cách sử dụng mô hình được gói và ứng dụng bắt đầu nhanh về AutoML để biết ví dụ về cách sử dụng mô hình được lưu trữ.
• Hãy xem ứng dụng giới thiệu Material Design để biết cách triển khai API này từ đầu đến cuối.

Trước khi bắt đầu

1. Đưa các thư viện Bộ công cụ học máy vào Podfile:

   pod 'GoogleMLKit/ObjectDetectionCustom', '8.0.0'
   

2. Sau khi cài đặt hoặc cập nhật Pod của dự án, hãy mở dự án Xcode bằng .xcworkspace. Bộ công cụ học máy được hỗ trợ trong Xcode phiên bản 13.2.1 trở lên.

3. Nếu bạn muốn tải mô hình xuống bằng Cloud Storage cho Firebase, hãy nhớ thêm Firebase vào dự án iOS, nếu bạn chưa làm việc này. Bạn không cần làm việc này khi gói mô hình.

1. Tải mô hình

Định cấu hình nguồn mô hình cục bộ

Cách gói mô hình với ứng dụng của bạn:

1. Sao chép tệp mô hình (thường kết thúc bằng .tflite hoặc .lite) vào dự án Xcode, nhớ chọn Copy bundle resources khi bạn làm việc này. Tệp mô hình sẽ được đưa vào gói ứng dụng và có sẵn cho Bộ công cụ học máy.

2. Tạo đối tượng LocalModel, chỉ định đường dẫn đến tệp mô hình:

   Swift

   let localModel = LocalModel(path: localModelFilePath)

   Objective-C

   MLKLocalModel *localModel =
       [[MLKLocalModel alloc] initWithPath:localModelFilePath];

Định cấu hình nguồn mô hình được lưu trữ từ xa

Để sử dụng mô hình được lưu trữ từ xa, bạn phải tải tệp mô hình xuống bộ nhớ cục bộ của thiết bị bằng logic ứng dụng của riêng bạn, sau đó tải tệp đó dưới dạng mô hình cục bộ. Bạn nên dùng Cloud Storage cho Firebase để lưu trữ mô hình. Để biết thông tin chi tiết về cách triển khai, hãy xem hướng dẫn di chuyển từ Firebase ML sang Cloud Storage.

2. Định cấu hình trình phát hiện vật thể

Sau khi định cấu hình các nguồn mô hình, hãy định cấu hình trình phát hiện vật thể cho trường hợp sử dụng của bạn bằng đối tượng CustomObjectDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

Nếu bạn chỉ có một mô hình được gói cục bộ, hãy tạo trình phát hiện vật thể từ đối tượng LocalModel:

let options = CustomObjectDetectorOptions(localModel: localModel)
options.detectorMode = .singleImage
options.shouldEnableClassification = true
options.shouldEnableMultipleObjects = true
options.classificationConfidenceThreshold = NSNumber(value: 0.5)
options.maxPerObjectLabelCount = 3

MLKCustomObjectDetectorOptions *options =
    [[MLKCustomObjectDetectorOptions alloc] initWithLocalModel:localModel];
options.detectorMode = MLKObjectDetectorModeSingleImage;
options.shouldEnableClassification = YES;
options.shouldEnableMultipleObjects = YES;
options.classificationConfidenceThreshold = @(0.5);
options.maxPerObjectLabelCount = 3;

Nếu có mô hình được lưu trữ từ xa, bạn sẽ phải kiểm tra xem mô hình đó đã được tải xuống hay chưa trước khi chạy.

Mặc dù bạn chỉ phải xác nhận điều này trước khi chạy trình phát hiện vật thể, nhưng nếu có cả mô hình được lưu trữ từ xa và mô hình được gói cục bộ, thì bạn nên thực hiện bước kiểm tra này khi khởi tạo ObjectDetector: tạo trình phát hiện từ mô hình từ xa nếu mô hình đó đã được tải xuống và từ mô hình cục bộ nếu chưa.

// Path where your download logic saves the model
let documentDirectory = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask).first!
let localModelURL = documentDirectory.appendingPathComponent("my_remote_model.tflite")

let model: LocalModel
if FileManager.default.fileExists(atPath: localModelURL.path) {
  // Use the downloaded model
  model = LocalModel(path: localModelURL.path)
} else {
  // Fall back to bundled model
  guard let bundledModelPath = Bundle.main.path(forResource: "model", ofType: "tflite") else { return }
  model = LocalModel(path: bundledModelPath)
}

let options = CustomObjectDetectorOptions(localModel: model)
options.detectorMode = .singleImage
options.shouldEnableClassification = true
options.shouldEnableMultipleObjects = true
options.classificationConfidenceThreshold = NSNumber(value: 0.5)
options.maxPerObjectLabelCount = 3
let objectDetector = ObjectDetector.objectDetector(options: options)

NSString *documentsDirectory = [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) firstObject];
NSString *localModelPath = [documentsDirectory stringByAppendingPathComponent:@"my_remote_model.tflite"];

MLKLocalModel *model;
if ([NSFileManager.defaultManager fileExistsAtPath:localModelPath]) {
  // Use the downloaded model
  model = [[MLKLocalModel alloc] initWithPath:localModelPath];
} else {
  // Fall back to bundled model
  NSString *bundledModelPath = [NSBundle.mainBundle pathForResource:@"model" ofType:@"tflite"];
  model = [[MLKLocalModel alloc] initWithPath:bundledModelPath];
}

MLKCustomObjectDetectorOptions *options = [[MLKCustomObjectDetectorOptions alloc] initWithLocalModel:model];
options.detectorMode = MLKObjectDetectorModeSingleImage;
options.shouldEnableClassification = YES;
options.shouldEnableMultipleObjects = YES;
options.classificationConfidenceThreshold = @(0.5);
options.maxPerObjectLabelCount = 3;
MLKObjectDetector *objectDetector = [MLKObjectDetector objectDetectorWithOptions:options];

Nếu bạn chỉ có một mô hình được lưu trữ từ xa, bạn nên tắt chức năng liên quan đến mô hình (ví dụ: làm mờ hoặc ẩn một phần giao diện người dùng) cho đến khi xác nhận mô hình đã được tải xuống.

let documentDirectory = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask).first!
let localModelURL = documentDirectory.appendingPathComponent("my_remote_model.tflite")
if FileManager.default.fileExists(atPath: localModelURL.path) {
  // Model is already cached, initialize immediately
  self.initializeDetector(with: localModelURL)
} else {
  // Model is not yet available, show loading UI and start download
  self.showLoadingUI()
  let storage = Storage.storage()
  let modelRef = storage.reference(forURL: "gs://YOUR_BUCKET/path/to/model.tflite")
  modelRef.write(toFile: localModelURL) { url, error in
    self.hideLoadingUI()
    if let error = error {
      // Handle download error
      self.showErrorUI()
    } else if let modelURL = url {
      // Download success, initialize detector
      self.initializeDetector(with: modelURL)
    }
  }
}

func initializeDetector(with modelURL: URL) {
  let localModel = LocalModel(path: modelURL.path)
  let options = CustomObjectDetectorOptions(localModel: localModel)
  options.detectorMode = .singleImage
  options.shouldEnableClassification = true
  options.shouldEnableMultipleObjects = true
  self.objectDetector = ObjectDetector.objectDetector(options: options)
  // Enable ML features in UI
  self.enableMLFeatures()
}

NSString *documentsDirectory = [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) firstObject];
NSString *localModelPath = [documentsDirectory stringByAppendingPathComponent:@"my_remote_model.tflite"];
NSURL *localModelURL = [NSURL fileURLWithPath:localModelPath];

if ([NSFileManager.defaultManager fileExistsAtPath:localModelPath]) {
  // Model is already cached, initialize immediately
  [self initializeDetectorWithURL:localModelURL];
} else {
  // Model is not yet available, show loading UI and start download
  [self showLoadingUI];

  FIRStorage *storage = [FIRStorage storage];
  FIRStorageReference *modelRef = [storage referenceForURL:@"gs://YOUR_BUCKET/path/to/model.tflite"];

  [modelRef writeToFile:localModelURL
             completion:^(NSURL * _Nullable URL, NSError * _Nullable error) {
               [self hideLoadingUI];
               if (error != nil) {
                 // Handle download error
                 [self showErrorUI];
               } else {
                 // Download success, initialize detector
                 [self initializeDetectorWithURL:URL];
               }
             }];
}

- (void)initializeDetectorWithURL:(NSURL *)modelURL {
  MLKLocalModel *localModel = [[MLKLocalModel alloc] initWithPath:modelURL.path];
  MLKCustomObjectDetectorOptions *options = [[MLKCustomObjectDetectorOptions alloc] initWithLocalModel:localModel];
  options.detectorMode = MLKObjectDetectorModeSingleImage;
  options.shouldEnableClassification = YES;
  options.shouldEnableMultipleObjects = YES;
  self.objectDetector = [MLKObjectDetector objectDetectorWithOptions:options];

  // Enable ML features in UI
  [self enableMLFeatures];
}

API phát hiện và theo dõi vật thể được tối ưu hoá cho 2 trường hợp sử dụng cốt lõi sau:

• Phát hiện và theo dõi trực tiếp vật thể nổi bật nhất trong khung ngắm của máy ảnh.
• Phát hiện nhiều vật thể từ một hình ảnh tĩnh.

Cách định cấu hình API cho các trường hợp sử dụng này:

// Live detection and tracking
let options = CustomObjectDetectorOptions(localModel: localModel)
options.shouldEnableClassification = true
options.maxPerObjectLabelCount = 3

// Multiple object detection in static images
let options = CustomObjectDetectorOptions(localModel: localModel)
options.detectorMode = .singleImage
options.shouldEnableMultipleObjects = true
options.shouldEnableClassification = true
options.maxPerObjectLabelCount = 3

// Live detection and tracking
MLKCustomObjectDetectorOptions *options =
    [[MLKCustomObjectDetectorOptions alloc] initWithLocalModel:localModel];
options.shouldEnableClassification = YES;
options.maxPerObjectLabelCount = 3;

// Multiple object detection in static images
MLKCustomObjectDetectorOptions *options =
    [[MLKCustomObjectDetectorOptions alloc] initWithLocalModel:localModel];
options.detectorMode = MLKObjectDetectorModeSingleImage;
options.shouldEnableMultipleObjects = YES;
options.shouldEnableClassification = YES;
options.maxPerObjectLabelCount = 3;

3. Chuẩn bị hình ảnh đầu vào

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBuffer.

Nếu bạn dùng UIImage, hãy làm theo các bước sau:

• Tạo đối tượng VisionImage bằng UIImage. Nhớ chỉ định .orientation chính xác.

  Swift

  let image = VisionImage(image: UIImage)
  visionImage.orientation = image.imageOrientation

  Objective-C

  MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
  visionImage.orientation = image.imageOrientation;

Nếu bạn dùng CMSampleBuffer, hãy làm theo các bước sau:

• Chỉ định hướng của dữ liệu hình ảnh có trong the CMSampleBuffer.

  Cách lấy hướng hình ảnh:

  Swift

  func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
  ) -> UIImage.Orientation {
    switch deviceOrientation {
    case .portrait:
      return cameraPosition == .front ? .leftMirrored : .right
    case .landscapeLeft:
      return cameraPosition == .front ? .downMirrored : .up
    case .portraitUpsideDown:
      return cameraPosition == .front ? .rightMirrored : .left
    case .landscapeRight:
      return cameraPosition == .front ? .upMirrored : .down
    case .faceDown, .faceUp, .unknown:
      return .up
    }
  }
        

  Objective-C

  - (UIImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
    switch (deviceOrientation) {
      case UIDeviceOrientationPortrait:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                              : UIImageOrientationRight;
  
      case UIDeviceOrientationLandscapeLeft:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                              : UIImageOrientationUp;
      case UIDeviceOrientationPortraitUpsideDown:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                              : UIImageOrientationLeft;
      case UIDeviceOrientationLandscapeRight:
        return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                              : UIImageOrientationDown;
      case UIDeviceOrientationUnknown:
      case UIDeviceOrientationFaceUp:
      case UIDeviceOrientationFaceDown:
        return UIImageOrientationUp;
    }
  }
        

• Tạo đối tượng VisionImage bằng đối tượng CMSampleBuffer và hướng:

  Swift

  let image = VisionImage(buffer: sampleBuffer)
  image.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition)

  Objective-C

   MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
   image.orientation =
     [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                  cameraPosition:cameraPosition];

4. Tạo và chạy trình phát hiện vật thể

1. Tạo trình phát hiện vật thể mới:

   Swift

   let objectDetector = ObjectDetector.objectDetector(options: options)

   Objective-C

   MLKObjectDetector *objectDetector = [MLKObjectDetector objectDetectorWithOptions:options];

2. Sau đó, hãy dùng trình phát hiện:

   Không đồng bộ:

   Swift

   objectDetector.process(image) { objects, error in
       guard error == nil, let objects = objects, !objects.isEmpty else {
           // Handle the error.
           return
       }
       // Show results.
   }

   Objective-C

   [objectDetector
       processImage:image
         completion:^(NSArray *_Nullable objects,
                      NSError *_Nullable error) {
           if (objects.count == 0) {
               // Handle the error.
               return;
           }
           // Show results.
        }];

   Đồng bộ:

   Swift

   var objects: [Object]
   do {
       objects = try objectDetector.results(in: image)
   } catch let error {
       // Handle the error.
       return
   }
   // Show results.

   Objective-C

   NSError *error;
   NSArray *objects =
       [objectDetector resultsInImage:image error:&error];
   // Show results or handle the error.

5. Lấy thông tin về các vật thể được gắn nhãn

Nếu lệnh gọi đến bộ xử lý hình ảnh thành công, thì lệnh gọi đó sẽ truyền danh sách Object cho trình xử lý hoàn tất hoặc trả về danh sách đó, tuỳ thuộc vào việc bạn đã gọi phương thức không đồng bộ hay đồng bộ.

Mỗi Object chứa các thuộc tính sau:

// objects contains one item if multiple object detection wasn't enabled.
for object in objects {
  let frame = object.frame
  let trackingID = object.trackingID
  let description = object.labels.enumerated().map { (index, label) in
    "Label \(index): \(label.text), \(label.confidence), \(label.index)"
  }.joined(separator: "\n")
}

// The list of detected objects contains one item if multiple object detection
// wasn't enabled.
for (MLKObject *object in objects) {
  CGRect frame = object.frame;
  NSNumber *trackingID = object.trackingID;
  for (MLKObjectLabel *label in object.labels) {
    NSString *labelString =
        [NSString stringWithFormat:@"%@, %f, %lu",
                                   label.text,
                                   label.confidence,
                                   (unsigned long)label.index];
  }
}

Đảm bảo trải nghiệm chất lượng cao cho người dùng

Để mang lại trải nghiệm tốt nhất cho người dùng, hãy làm theo các nguyên tắc sau trong ứng dụng của bạn:

• Việc phát hiện đối tượng thành công phụ thuộc vào độ phức tạp trực quan của đối tượng. Để được phát hiện, các vật thể có ít tính năng trực quan có thể cần chiếm một phần lớn hơn trong hình ảnh. Bạn nên hướng dẫn người dùng về cách chụp ảnh đầu vào hoạt động tốt với loại vật thể mà bạn muốn phát hiện.
• Khi bạn dùng tính năng phân loại, nếu bạn muốn phát hiện các vật thể không thuộc các danh mục được hỗ trợ, hãy triển khai quy trình xử lý đặc biệt cho các vật thể không xác định.

Ngoài ra, hãy xem ứng dụng giới thiệu Bộ công cụ học máy Material Design và bộ sưu tập Mẫu Material Design cho các tính năng dựa trên công nghệ học máy.

Cải thiện hiệu suất

• Khi bạn dùng chế độ truyền trực tuyến trong ứng dụng theo thời gian thực, đừng dùng tính năng phát hiện đối tượng, vì hầu hết các thiết bị sẽ không thể tạo ra tốc độ khung hình phù hợp.

• Để xử lý khung hình video, hãy dùng API đồng bộ results(in:) của trình phát hiện. Gọi phương thức này từ hàm AVCaptureVideoDataOutputSampleBufferDelegate's captureOutput(_, didOutput:from:) để nhận kết quả một cách đồng bộ từ khung hình video đã cho. Giữ AVCaptureVideoDataOutput của alwaysDiscardsLateVideoFrames ở trạng thái true để điều tiết các lệnh gọi đến trình phát hiện. Nếu có một khung video mới trong khi trình phát hiện đang chạy, thì khung đó sẽ bị loại bỏ.
• Nếu bạn dùng kết quả của trình phát hiện để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và lớp phủ trong một bước. Bằng cách này, bạn chỉ kết xuất vào bề mặt hiển thị một lần cho mỗi khung đầu vào đã xử lý. Hãy xem phần updatePreviewOverlayViewWithLastFrame trong mẫu bắt đầu nhanh về Bộ công cụ học máy để biết ví dụ.