ML Kit fournit deux SDK optimisés pour la détection des postures.
Nom du SDK | PoseDetection | PoseDetectionAccurate |
---|---|---|
Implémentation | Les composants du détecteur de base sont associés de manière statique à votre application au moment de la compilation. | Les composants permettant un détecteur précis sont associés de manière statique à votre application au moment de la compilation. |
Taille d'application | Jusqu'à 29,6 Mo | Jusqu'à 33,2 Mo |
Performances | iPhone X: ~45FPS | iPhone X: ~29FPS |
Essayer
- Jouez avec l'application exemple pour voir un exemple d'utilisation de cette API.
Avant de commencer
Incluez les pods ML Kit suivants dans votre Podfile:
# If you want to use the base implementation: pod 'GoogleMLKit/PoseDetection', '3.2.0' # If you want to use the accurate implementation: pod 'GoogleMLKit/PoseDetectionAccurate', '3.2.0'
Après avoir installé ou mis à jour les pods de votre projet, ouvrez votre projet Xcode à l'aide de son
xcworkspace
. ML Kit est compatible avec Xcode 13.2.1 ou version ultérieure.
1. Créer une instance de PoseDetector
Pour détecter une posture dans une image, commencez par créer une instance de PoseDetector
et spécifiez éventuellement les paramètres de détecteur.
Options PoseDetector
Mode de détection
PoseDetector
fonctionne avec deux modes de détection. Veillez à choisir celle qui correspond à votre cas d'utilisation.
stream
(par défaut)- Le détecteur de postures détecte d'abord la personne la plus visible sur l'image, puis lance la détection des postures. Dans les images suivantes, l'étape de détection de personnes n'est effectuée que si la personne est masquée ou si elle n'est plus détectée avec un niveau de confiance élevé. Le détecteur de postures tente de suivre la personne la plus visible et de renvoyer sa posture à chaque inférence. Cela réduit la latence et fluidifie la détection. Utilisez ce mode lorsque vous souhaitez détecter une pose dans un flux vidéo.
singleImage
- Le détecteur de postures détecte une personne, puis lance la détection des postures. L'étape de détection des personnes s'exécutera pour chaque image, la latence sera donc plus élevée et il n'y aura pas de suivi des personnes. Utilisez ce mode lorsque vous utilisez la détection des postures sur des images statiques ou lorsque le suivi n'est pas souhaité.
Spécifiez les options du détecteur de postures:
Swift
// Base pose detector with streaming, when depending on the PoseDetection SDK let options = PoseDetectorOptions() options.detectorMode = .stream // Accurate pose detector on static images, when depending on the // PoseDetectionAccurate SDK let options = AccuratePoseDetectorOptions() options.detectorMode = .singleImage
Objective-C
// Base pose detector with streaming, when depending on the PoseDetection SDK MLKPoseDetectorOptions *options = [[MLKPoseDetectorOptions alloc] init]; options.detectorMode = MLKPoseDetectorModeStream; // Accurate pose detector on static images, when depending on the // PoseDetectionAccurate SDK MLKAccuratePoseDetectorOptions *options = [[MLKAccuratePoseDetectorOptions alloc] init]; options.detectorMode = MLKPoseDetectorModeSingleImage;
Enfin, obtenez une instance de PoseDetector
. Transmettez les options que vous avez spécifiées:
Swift
let poseDetector = PoseDetector.poseDetector(options: options)
Objective-C
MLKPoseDetector *poseDetector = [MLKPoseDetector poseDetectorWithOptions:options];
2. Préparer l'image d'entrée
Pour détecter les postures, procédez comme suit pour chaque image ou image de la vidéo.
Si vous avez activé le mode de flux, vous devez créer des objets VisionImage
à partir de CMSampleBuffer
.
Créez un objet VisionImage
à l'aide d'un UIImage
ou d'un CMSampleBuffer
.
Si vous utilisez un UIImage
, procédez comme suit:
- Créez un objet
VisionImage
avecUIImage
. Veillez à spécifier le bon.orientation
.Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
Si vous utilisez un CMSampleBuffer
, procédez comme suit:
-
Spécifiez l'orientation des données d'image contenues dans
CMSampleBuffer
.Pour obtenir l'orientation de l'image:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- Créez un objet
VisionImage
à l'aide de l'objet et de l'orientationCMSampleBuffer
:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. Traiter l'image
Transmettez VisionImage
à l'une des méthodes de traitement d'image du détecteur de postures. Vous pouvez utiliser la méthode process(image:)
asynchrone ou la méthode results()
synchrone.
Pour détecter des objets de manière synchrone:
Swift
var results: [Pose] do { results = try poseDetector.results(in: image) } catch let error { print("Failed to detect pose with error: \(error.localizedDescription).") return } guard let detectedPoses = results, !detectedPoses.isEmpty else { print("Pose detector returned no results.") return } // Success. Get pose landmarks here.
Objective-C
NSError *error; NSArray*poses = [poseDetector resultsInImage:image error:&error]; if (error != nil) { // Error. return; } if (poses.count == 0) { // No pose detected. return; } // Success. Get pose landmarks here.
Pour détecter des objets de manière asynchrone, procédez comme suit:
Swift
poseDetector.process(image) { detectedPoses, error in guard error == nil else { // Error. return } guard !detectedPoses.isEmpty else { // No pose detected. return } // Success. Get pose landmarks here. }
Objective-C
[poseDetector processImage:image completion:^(NSArray* _Nullable poses, NSError * _Nullable error) { if (error != nil) { // Error. return; } if (poses.count == 0) { // No pose detected. return; } // Success. Get pose landmarks here. }];
4. Obtenir des informations sur la posture détectée
Si une personne est détectée dans l'image, l'API de détection de postures transmet un tableau d'objets Pose
au gestionnaire d'achèvement ou renvoie le tableau, selon que vous avez appelé la méthode asynchrone ou synchrone.
Si la personne n'était pas complètement à l'intérieur de l'image, le modèle attribue les coordonnées des points de repère manquants en dehors du cadre et leur attribue des valeurs InFrameConfidence faibles.
Si aucune personne n'est détectée, le tableau est vide.
Swift
for pose in detectedPoses { let leftAnkleLandmark = pose.landmark(ofType: .leftAnkle) if leftAnkleLandmark.inFrameLikelihood > 0.5 { let position = leftAnkleLandmark.position } }
Objective-C
for (MLKPose *pose in detectedPoses) { MLKPoseLandmark *leftAnkleLandmark = [pose landmarkOfType:MLKPoseLandmarkTypeLeftAnkle]; if (leftAnkleLandmark.inFrameLikelihood > 0.5) { MLKVision3DPoint *position = leftAnkleLandmark.position; } }
Conseils pour améliorer les performances
La qualité des résultats dépend de la qualité de l'image d'entrée:
- Pour que ML Kit puisse détecter précisément la pose, la personne sur l'image doit être représentée par une quantité suffisante de données de pixels. Pour des performances optimales, le sujet doit faire au moins 256 x 256 pixels.
- Si vous détectez une posture dans une application en temps réel, vous pouvez également prendre en compte les dimensions globales des images d'entrée. Les images plus petites peuvent être traitées plus rapidement. Par conséquent, pour réduire la latence, capturez des images à des résolutions inférieures, mais tenez compte des exigences de résolution ci-dessus et assurez-vous que le sujet occupe la plus grande partie de l'image possible.
- Une mauvaise mise au point peut aussi avoir un impact sur la précision. Si vous n'obtenez pas de résultats acceptables, demandez à l'utilisateur de reprendre l'image.
Si vous souhaitez utiliser la détection des postures dans une application en temps réel, suivez ces consignes pour obtenir les meilleures fréquences d'images:
- Utilisez le SDK PoseDetection de base et le mode de détection
stream
. - Envisagez de capturer des images à une résolution inférieure. Toutefois, gardez également à l'esprit les exigences de cette API concernant les dimensions des images.
- Pour traiter les images vidéo, utilisez l'API synchrone
results(in:)
du détecteur. Appelez cette méthode à partir de la fonction captureOutput(_, didOutput:from:) de AVCaptureVideoDataOutputSampleBufferDelegate pour obtenir de manière synchrone les résultats de l'image vidéo donnée. Conservez la valeur alwaysDiscardsLateVideoFrames de AVCaptureVideoDataOutput pour limiter les appels au détecteur. Si une nouvelle image vidéo devient disponible alors que le détecteur est en cours d'exécution, elle sera ignorée. - Si vous utilisez la sortie du détecteur pour superposer des éléments graphiques sur l'image d'entrée, obtenez d'abord le résultat de ML Kit, puis affichez l'image et la superposition en une seule étape. Ainsi, vous n'effectuez le rendu sur la surface d'affichage qu'une seule fois pour chaque trame d'entrée traitée. Consultez les classes previewOverlayView et MLKDetectionOverlayView dans l'application exemple Showcase.
Étapes suivantes
- Pour savoir comment utiliser les points de repère de poses pour classer les postures, consultez les conseils pour la classification des postures.
- Consultez l'exemple de démarrage rapide de ML Kit sur GitHub pour découvrir un exemple d'utilisation de cette API.