ML Kit fornisce un SDK ottimizzato per la segmentazione dei selfie. Gli asset del segmento per i selfie sono collegati in modo statico alla tua app al momento della creazione. Ciò aumenterà le dimensioni dell'app fino a 24 MB e la latenza dell'API può variare da ~7 ms a ~12 ms a seconda delle dimensioni dell'immagine in input, misurate su iPhone X.
Prova
- Prova l'app di esempio per vedere un utilizzo di esempio di questa API.
Prima di iniziare
Includi le seguenti librerie ML Kit nel tuo podfile:
pod 'GoogleMLKit/SegmentationSelfie', '3.2.0'
Dopo aver installato o aggiornato i pod del progetto, apri il progetto Xcode utilizzando il suo file .
xcworkspace
. ML Kit è supportato in Xcode versione 13.2.1 o successive.
1. Crea un'istanza di Segmenter
Per eseguire la segmentazione su un'immagine selfie, crea prima un'istanza di Segmenter
con SelfieSegmenterOptions
e, se vuoi, specifica le impostazioni di segmentazione.
Opzioni del segmenter
Modalità segmentazione
Segmenter
funziona in due modalità. Assicurati di scegliere quello adatto al tuo caso d'uso.
STREAM_MODE (default)
Questa modalità è progettata per lo streaming di fotogrammi da video o videocamera. In questa modalità, il segmenter sfrutterà i risultati dei frame precedenti per restituire risultati di segmentazione più fluidi.
SINGLE_IMAGE_MODE (default)
Questa modalità è progettata per singole immagini non correlate. In questa modalità, il segmenter elaborerà ogni immagine in modo indipendente, senza smussamento dei fotogrammi.
Attiva maschera dimensioni non elaborate
Chiede al segmenter di restituire la maschera non elaborata che corrisponde alla dimensione dell'output del modello.
Le dimensioni della maschera grezza (ad es. 256 x 256) sono in genere inferiori alle dimensioni dell'immagine di input.
Senza specificare questa opzione, il segmenter ridimensiona la maschera non elaborata in modo che corrisponda alle dimensioni dell'immagine di input. Prendi in considerazione questa opzione se vuoi applicare una logica di ridimensionamento personalizzata o se non è necessario il ridimensionamento per il tuo caso d'uso.
Specifica le opzioni del segmenter:
Swift
let options = SelfieSegmenterOptions() options.segmenterMode = .singleImage options.shouldEnableRawSizeMask = true
Objective-C
MLKSelfieSegmenterOptions *options = [[MLKSelfieSegmenterOptions alloc] init]; options.segmenterMode = MLKSegmenterModeSingleImage; options.shouldEnableRawSizeMask = YES;
Infine, recupera un'istanza di Segmenter
. Passa le opzioni specificate:
Swift
let segmenter = Segmenter.segmenter(options: options)
Objective-C
MLKSegmenter *segmenter = [MLKSegmenter segmenterWithOptions:options];
2. Prepara l'immagine di input
Per segmentare i selfie, procedi nel seguente modo per ogni immagine o fotogramma del video:
Se hai abilitato la modalità flusso, devi creare VisionImage
oggetti da CMSampleBuffer
.
Crea un oggetto VisionImage
utilizzando un UIImage
o un
CMSampleBuffer
.
Se usi un UIImage
, segui questi passaggi:
- Crea un oggetto
VisionImage
conUIImage
. Assicurati di specificare il valore.orientation
corretto.Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
Se usi un CMSampleBuffer
, segui questi passaggi:
-
Specifica l'orientamento dei dati dell'immagine contenuti in
CMSampleBuffer
.Per ottenere l'orientamento dell'immagine:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- Crea un oggetto
VisionImage
utilizzando l'oggettoCMSampleBuffer
e l'orientamento:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. Elabora l'immagine
Passa l'oggetto VisionImage
a uno dei metodi di elaborazione delle immagini di Segmenter
. Puoi utilizzare il metodo process(image:)
asincrono o il metodo sincrono results(in:)
.
Per eseguire la segmentazione in modo sincrono di un'immagine selfie:
Swift
var mask: [SegmentationMask] do { mask = try segmenter.results(in: image) } catch let error { print("Failed to perform segmentation with error: \(error.localizedDescription).") return } // Success. Get a segmentation mask here.
Objective-C
NSError *error; MLKSegmentationMask *mask = [segmenter resultsInImage:image error:&error]; if (error != nil) { // Error. return; } // Success. Get a segmentation mask here.
Per eseguire la segmentazione di un'immagine selfie in modo asincrono:
Swift
segmenter.process(image) { mask, error in guard error == nil else { // Error. return } // Success. Get a segmentation mask here.
Objective-C
[segmenter processImage:image completion:^(MLKSegmentationMask * _Nullable mask, NSError * _Nullable error) { if (error != nil) { // Error. return; } // Success. Get a segmentation mask here. }];
4. Ottieni la maschera di segmentazione
Puoi ottenere il risultato della segmentazione nel seguente modo:
Swift
let maskWidth = CVPixelBufferGetWidth(mask.buffer) let maskHeight = CVPixelBufferGetHeight(mask.buffer) CVPixelBufferLockBaseAddress(mask.buffer, CVPixelBufferLockFlags.readOnly) let maskBytesPerRow = CVPixelBufferGetBytesPerRow(mask.buffer) var maskAddress = CVPixelBufferGetBaseAddress(mask.buffer)!.bindMemory( to: Float32.self, capacity: maskBytesPerRow * maskHeight) for _ in 0...(maskHeight - 1) { for col in 0...(maskWidth - 1) { // Gets the confidence of the pixel in the mask being in the foreground. let foregroundConfidence: Float32 = maskAddress[col] } maskAddress += maskBytesPerRow / MemoryLayout<Float32>.size }
Objective-C
size_t width = CVPixelBufferGetWidth(mask.buffer); size_t height = CVPixelBufferGetHeight(mask.buffer); CVPixelBufferLockBaseAddress(mask.buffer, kCVPixelBufferLock_ReadOnly); size_t maskBytesPerRow = CVPixelBufferGetBytesPerRow(mask.buffer); float *maskAddress = (float *)CVPixelBufferGetBaseAddress(mask.buffer); for (int row = 0; row < height; ++row) { for (int col = 0; col < width; ++col) { // Gets the confidence of the pixel in the mask being in the foreground. float foregroundConfidence = maskAddress[col]; } maskAddress += maskBytesPerRow / sizeof(float); }
Per un esempio completo di come utilizzare i risultati di segmentazione, consulta l'esempio della guida rapida di ML Kit.
Suggerimenti per migliorare il rendimento
La qualità dei risultati dipende dalla qualità dell'immagine di input:
- Affinché ML Kit possa ottenere un risultato di segmentazione accurato, l'immagine deve essere di almeno 256 x 256 pixel.
- Se esegui la segmentazione per selfie in un'applicazione in tempo reale, puoi anche prendere in considerazione le dimensioni complessive delle immagini di input. Le immagini più piccole possono essere elaborate più velocemente, quindi per ridurre la latenza puoi acquisire immagini a risoluzioni più basse, ma tieni presente i requisiti di risoluzione sopra indicati e assicurati che il soggetto occupi la maggior parte dell'immagine possibile.
- Anche una scarsa messa a fuoco delle immagini può influire sulla precisione. Se non ottieni risultati accettabili, chiedi all'utente di recuperare l'immagine.
Se vuoi utilizzare la segmentazione in un'applicazione in tempo reale, segui queste linee guida per ottenere le migliori frequenze fotogrammi:
- Utilizza la modalità di segmentazione dei
stream
. - Valuta la possibilità di acquisire immagini a una risoluzione più bassa. Tuttavia, tieni presente anche i requisiti di dimensione delle immagini di questa API.
- Per elaborare i frame video, utilizza l'API sincrona
results(in:)
del segmenter. Richiama questo metodo dalla funzione captureOutput(_, didOutput:from:) di AVCaptureVideoDataOutputSampleBufferDelegate per ottenere in modo sincrono i risultati dal frame video specificato. Mantieni il valore alwaysDiscardsLateVideoFrames di AVCaptureVideoDataOutput per limitare le chiamate al segmenter. Se è disponibile un nuovo fotogramma video mentre il segmenter è in esecuzione, verrà eliminato. - Se utilizzi l'output del segmenter per sovrapporre gli elementi grafici all'immagine di input, ottieni il risultato da ML Kit, quindi esegui il rendering dell'immagine e dell'overlay in un unico passaggio. In questo modo, esegui il rendering sulla superficie del display solo una volta per ogni frame di input elaborato. Per un esempio, consulta le classi previewOverlayView e CameraViewController nell'esempio della guida rapida di ML Kit.