ML Kit มี SDK ที่เพิ่มประสิทธิภาพสำหรับการแบ่งกลุ่มเซลฟี ชิ้นงานเครื่องมือแบ่งเซลฟีจะลิงก์แบบคงที่กับแอปในเวลาบิลด์ ซึ่งจะเพิ่มขนาดแอปได้สูงสุด 24 MB และเวลาในการตอบสนองของ API อาจแตกต่างกันไปตั้งแต่ประมาณ 7 มิลลิวินาทีถึงประมาณ 12 มิลลิวินาที โดยขึ้นอยู่กับขนาดรูปภาพอินพุต ตามที่วัดใน iPhone X
ลองเลย
- ลองใช้แอปตัวอย่างเพื่อดูตัวอย่างการใช้งาน API นี้
ก่อนเริ่มต้น
ใส่ไลบรารี ML Kit ต่อไปนี้ใน Podfile
pod 'GoogleMLKit/SegmentationSelfie', '3.2.0'
หลังจากติดตั้งหรืออัปเดตพ็อดของโปรเจ็กต์แล้ว ให้เปิดโปรเจ็กต์ Xcode โดยใช้โปรเจ็กต์ .
xcworkspace
ML Kit ใช้งานได้ใน Xcode เวอร์ชัน 13.2.1 ขึ้นไป
1. สร้างอินสแตนซ์ของเครื่องมือแบ่งกลุ่ม
หากต้องการแบ่งกลุ่มรูปภาพเซลฟี ก่อนอื่นให้สร้างอินสแตนซ์ Segmenter
ด้วย SelfieSegmenterOptions
แล้วเลือกการตั้งค่าการแบ่งกลุ่ม (ไม่บังคับ)
ตัวเลือกเครื่องมือแบ่งส่วน
โหมดเครื่องมือแบ่งส่วน
Segmenter
ทำงานใน 2 โหมด โปรดเลือกรายการที่ตรงกับกรณีการใช้งานของคุณ
STREAM_MODE (default)
โหมดนี้ออกแบบมาเพื่อสตรีมเฟรมในวิดีโอหรือกล้อง ในโหมดนี้ การแบ่งกลุ่มลูกค้าจะใช้ประโยชน์จากผลลัพธ์จากเฟรมก่อนหน้าเพื่อแสดงผลลัพธ์การแบ่งกลุ่มที่ราบรื่นยิ่งขึ้น
SINGLE_IMAGE_MODE (default)
โหมดนี้ออกแบบมาสำหรับรูปภาพเดี่ยวที่ไม่เกี่ยวข้อง ในโหมดนี้ ตัวแยกส่วนจะประมวลผลแต่ละภาพแบบแยกกัน โดยไม่ทำให้เฟรมเป็นไปอย่างราบรื่น
เปิดใช้มาสก์ขนาดดิบ
ขอให้ตัวแบ่งส่วนแสดงมาสก์ขนาดดิบซึ่งตรงกับขนาดเอาต์พุตโมเดล
ขนาดมาสก์ดิบ (เช่น 256x256) มักจะเล็กกว่าขนาดรูปภาพที่ป้อน
หากไม่ได้ระบุตัวเลือกนี้ ตัวแบ่งส่วนจะปรับขนาดมาสก์ดิบใหม่เพื่อให้ตรงกับขนาดรูปภาพอินพุต ลองใช้ตัวเลือกนี้หากต้องการใช้ตรรกะการปรับขนาดที่กำหนดเองหรือการปรับขนาดใหม่ที่ไม่จำเป็นสำหรับกรณีการใช้งานของคุณ
ระบุตัวเลือกการแบ่งกลุ่มลูกค้าดังนี้
Swift
let options = SelfieSegmenterOptions() options.segmenterMode = .singleImage options.shouldEnableRawSizeMask = true
Objective-C
MLKSelfieSegmenterOptions *options = [[MLKSelfieSegmenterOptions alloc] init]; options.segmenterMode = MLKSegmenterModeSingleImage; options.shouldEnableRawSizeMask = YES;
ขั้นตอนสุดท้าย รับอินสแตนซ์ของ Segmenter
ผ่านตัวเลือกที่คุณระบุ ได้แก่
Swift
let segmenter = Segmenter.segmenter(options: options)
Objective-C
MLKSegmenter *segmenter = [MLKSegmenter segmenterWithOptions:options];
2. เตรียมรูปภาพอินพุต
หากต้องการแบ่งกลุ่มเซลฟี ให้ทำตามขั้นตอนต่อไปนี้กับรูปภาพหรือเฟรมวิดีโอแต่ละเฟรม
หากเปิดใช้โหมดสตรีม คุณต้องสร้างออบเจ็กต์ VisionImage
รายการจาก CMSampleBuffer
สร้างออบเจ็กต์ VisionImage
โดยใช้ UIImage
หรือ CMSampleBuffer
หากคุณใช้ UIImage
ให้ทำตามขั้นตอนต่อไปนี้
- สร้างออบเจ็กต์
VisionImage
ด้วยUIImage
ตรวจสอบว่าได้ระบุ.orientation
ที่ถูกต้องSwift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
หากคุณใช้ CMSampleBuffer
ให้ทำตามขั้นตอนต่อไปนี้
-
ระบุการวางแนวของข้อมูลรูปภาพที่อยู่ใน
CMSampleBuffer
วิธีดูการวางแนวรูปภาพ
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- สร้างออบเจ็กต์
VisionImage
โดยใช้ออบเจ็กต์CMSampleBuffer
และการวางแนวดังนี้Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. ประมวลผลรูปภาพ
ส่งออบเจ็กต์ VisionImage
ไปยังวิธีประมวลผลรูปภาพของ Segmenter
คุณจะใช้เมธอด process(image:)
แบบไม่พร้อมกันหรือเมธอด results(in:)
แบบซิงโครนัสก็ได้
วิธีแบ่งกลุ่มรูปภาพเซลฟีแบบพร้อมกัน
Swift
var mask: [SegmentationMask] do { mask = try segmenter.results(in: image) } catch let error { print("Failed to perform segmentation with error: \(error.localizedDescription).") return } // Success. Get a segmentation mask here.
Objective-C
NSError *error; MLKSegmentationMask *mask = [segmenter resultsInImage:image error:&error]; if (error != nil) { // Error. return; } // Success. Get a segmentation mask here.
วิธีแบ่งกลุ่มรูปภาพเซลฟีแบบไม่พร้อมกัน
Swift
segmenter.process(image) { mask, error in guard error == nil else { // Error. return } // Success. Get a segmentation mask here.
Objective-C
[segmenter processImage:image completion:^(MLKSegmentationMask * _Nullable mask, NSError * _Nullable error) { if (error != nil) { // Error. return; } // Success. Get a segmentation mask here. }];
4. รับมาสก์การแบ่งกลุ่มลูกค้า
ผลการแบ่งกลุ่มมีดังต่อไปนี้
Swift
let maskWidth = CVPixelBufferGetWidth(mask.buffer) let maskHeight = CVPixelBufferGetHeight(mask.buffer) CVPixelBufferLockBaseAddress(mask.buffer, CVPixelBufferLockFlags.readOnly) let maskBytesPerRow = CVPixelBufferGetBytesPerRow(mask.buffer) var maskAddress = CVPixelBufferGetBaseAddress(mask.buffer)!.bindMemory( to: Float32.self, capacity: maskBytesPerRow * maskHeight) for _ in 0...(maskHeight - 1) { for col in 0...(maskWidth - 1) { // Gets the confidence of the pixel in the mask being in the foreground. let foregroundConfidence: Float32 = maskAddress[col] } maskAddress += maskBytesPerRow / MemoryLayout<Float32>.size }
Objective-C
size_t width = CVPixelBufferGetWidth(mask.buffer); size_t height = CVPixelBufferGetHeight(mask.buffer); CVPixelBufferLockBaseAddress(mask.buffer, kCVPixelBufferLock_ReadOnly); size_t maskBytesPerRow = CVPixelBufferGetBytesPerRow(mask.buffer); float *maskAddress = (float *)CVPixelBufferGetBaseAddress(mask.buffer); for (int row = 0; row < height; ++row) { for (int col = 0; col < width; ++col) { // Gets the confidence of the pixel in the mask being in the foreground. float foregroundConfidence = maskAddress[col]; } maskAddress += maskBytesPerRow / sizeof(float); }
ดูตัวอย่างทั้งหมดเกี่ยวกับวิธีใช้ผลลัพธ์การแบ่งกลุ่มได้ที่ตัวอย่างการเริ่มต้นใช้งาน ML Kit อย่างรวดเร็ว
เคล็ดลับในการปรับปรุงประสิทธิภาพ
คุณภาพของผลลัพธ์ขึ้นอยู่กับคุณภาพของรูปภาพที่ป้อน ดังนี้
- รูปภาพควรมีขนาดอย่างน้อย 256x256 พิกเซล เพื่อให้ ML Kit ได้ผลลัพธ์การแบ่งกลุ่มที่แม่นยำ
- หากคุณทำการแบ่งกลุ่มเซลฟีในแอปพลิเคชันแบบเรียลไทม์ คุณอาจต้องพิจารณาขนาดโดยรวมของรูปภาพที่ป้อนด้วย ภาพขนาดเล็กจะประมวลผลได้เร็วขึ้น เพื่อลดเวลาในการตอบสนอง ให้ถ่ายภาพที่ความละเอียดต่ำลง แต่โปรดคำนึงถึงข้อกำหนดด้านความละเอียดข้างต้น และตรวจสอบว่าวัตถุใช้พื้นที่ในรูปภาพมากที่สุด
- การโฟกัสรูปภาพที่ไม่ดีอาจส่งผลต่อความแม่นยำได้เช่นกัน หากคุณไม่ได้รับผลลัพธ์ที่ยอมรับ โปรดขอให้ผู้ใช้เรียกคืนรูปภาพ
หากต้องการใช้การแบ่งกลุ่มในแอปพลิเคชันแบบเรียลไทม์ ให้ทำตามหลักเกณฑ์ต่อไปนี้เพื่อให้ได้อัตราเฟรมที่ดีที่สุด
- ใช้โหมดการแบ่งกลุ่ม
stream
- ลองถ่ายภาพที่ความละเอียดต่ำลง อย่างไรก็ตาม โปรดคำนึงถึงข้อกำหนดขนาดรูปภาพของ API นี้ด้วย
- สำหรับการประมวลผลเฟรมวิดีโอ ให้ใช้ API แบบซิงโครนัส
results(in:)
ของเครื่องมือแบ่งกลุ่ม เรียกใช้เมธอดนี้จากฟังก์ชัน captureOutput(_, didOutput:from:) ของ AVCaptureVideoDataOutputSampleBufferDelegate เพื่อให้ได้ผลลัพธ์จากเฟรมวิดีโอที่ระบุแบบพร้อมกัน คงสถานะ alwaysDiscardsLateVideoFrames ของ AVCaptureVideoDataOutput ให้เป็นจริงเพื่อควบคุมการเรียกตัวแบ่งกลุ่ม หากเฟรมวิดีโอใหม่พร้อมใช้งานขณะที่เครื่องมือแบ่งส่วนทำงานอยู่ เฟรมนั้นจะหายไป - หากใช้เอาต์พุตของแผงกั้นเพื่อแสดงกราฟิกบนรูปภาพอินพุต ให้ได้ผลลัพธ์จาก ML Kit ก่อน จากนั้นจึงแสดงผลรูปภาพและการวางซ้อนในขั้นตอนเดียว การทำเช่นนี้จะทำให้คุณแสดงผลบนพื้นผิวแสดงผลเพียงครั้งเดียวต่อเฟรมอินพุตที่ประมวลผลแต่ละเฟรม ดูตัวอย่างได้ในคลาส previewOverlayView และ CameraViewController ในตัวอย่างการเริ่มต้นใช้งานอย่างรวดเร็วสำหรับ ML Kit