میتوانید از ML Kit برای تشخیص چهره در تصاویر و ویدیوهای سلفیمانند استفاده کنید.
| Face mesh detection API | |
|---|---|
| نام کیت توسعه نرمافزار | face-mesh-detection |
| پیادهسازی | کد و داراییها در زمان ساخت بهصورت ایستا به برنامه شما پیوند داده میشوند. |
| تأثیر اندازه برنامه | ~۶.۴ مگابایت |
| عملکرد | در اکثر دستگاهها بهصورت همزمان. |
امتحان کنید
- با برنامه نمونه بازی کنید تا نمونهای از استفاده از این API را ببینید.
قبلاز شروع
در فایل
build.gradleسطح پروژه، حتماً مخزن Maven مربوط به Google را در هر دو بخش buildscript و allprojects اضافه کنید.وابستگی کتابخانه تشخیص مش چهره ML Kit را به فایل gradle سطح برنامه واحدتان اضافه کنید، که معمولاً
app/build.gradleاست:dependencies { // ... implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1' }
دستورالعملهای تصویر ورودی
تصاویر باید در فاصله حدود ۲ متری (حدود ۷ فوتی) از دوربین دستگاه گرفته شوند تا چهرهها بهاندازه کافی بزرگ باشند و تشخیص مش چهره بهطور بهینه انجام شود. بهطورکلی، هرچه چهره بزرگتر باشد، تشخیص مش چهره بهتر است.
چهره باید رو به دوربین باشد و حداقل نیمی از چهره نمایان باشد. هر شیء بزرگی که بین صورت و دوربین قرار بگیرد ممکن است باعث کاهش دقت شود.
اگر میخواهید چهرهها را در یک برنامه همزمان تشخیص دهید، باید ابعاد کلی تصویر ورودی را نیز درنظر بگیرید. تصاویر کوچکتر را میتوان سریعتر پردازش کرد، بنابراین ثبت تصاویر با وضوح پایینتر تأخیر را کاهش میدهد. بااینحال، الزامات دقت ذکرشده در بالا را بهخاطر داشته باشید و مطمئن شوید که چهره سوژه تا حد امکان بخش زیادی از تصویر را اشغال کند.
پیکربندی آشکارساز مش چهره
اگر میخواهید هریک از تنظیمات پیشفرض آشکارساز مش چهره را تغییر دهید، آن تنظیمات را با شیء FaceMeshDetectorOptions مشخص کنید. میتوانید تنظیمات زیر را تغییر دهید:
setUseCaseBOUNDING_BOX_ONLY: فقط چارگوش محدودهای برای مش چهره شناساییشده ارائه میدهد. این سریعترین تشخیصدهنده چهره است، اما محدودیت برد دارد(چهرهها باید در فاصله حدود ۲ متری یا ۷ فوتی دوربین باشند).FACE_MESH(گزینه پیشفرض): چارگوش محدودکننده و اطلاعات اضافی مش چهره (۴۶۸ نقطه سهبعدی و اطلاعات مثلث) را ارائه میدهد. درمقایسه با مورد استفادهBOUNDING_BOX_ONLY، تأخیر حدود ۱۵٪ افزایش مییابد، همانطور که در Pixel 3 اندازهگیری شده است.
برای مثال:
Kotlin
val defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS) val boundingBoxDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() )
جاوا
FaceMeshDetector defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS); FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient( new FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() );
آماده کردن تصویر ورودی
برای تشخیص چهرهها در تصویر، یک شیء InputImage از
Bitmap، media.Image، ByteBuffer، آرایه بایت، یا فایلی در دستگاه ایجاد کنید.
سپس، شیء InputImage را به روش process در FaceDetector منتقل کنید.
برای تشخیص مش چهره، باید از تصویری با ابعاد حداقل ۴۸۰x۳۶۰ پیکسل استفاده کنید. اگر چهرهها را بهصورت همزمان تشخیص میدهید، ضبط کردن قابها با این حداقل وضوح میتواند به کاهش تأخیر کمک کند.
میتوانید InputImage
شیء را از منابع مختلف ایجاد کنید که هرکدام در زیر توضیح داده شده است.
استفاده از media.Image
برای ایجاد یک شیء InputImage
از یک شیء media.Image، مثلاً وقتی تصویری را از دوربین
دستگاه ضبط میکنید، شیء media.Image و چرخش تصویر را به InputImage.fromMediaImage() منتقل کنید.
اگر از کتابخانه
CameraX استفاده میکنید، کلاسهای OnImageCapturedListener و
ImageAnalysis.Analyzer مقدار چرخش را برایتان محاسبه میکنند.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
جاوا
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
اگر از کتابخانه دوربینی استفاده نمیکنید که درجه چرخش تصویر را به شما بدهد، میتوانید آن را از درجه چرخش دستگاه و جهت حسگر دوربین در دستگاه محاسبه کنید:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
جاوا
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
سپس، شیء media.Image و مقدار درجه چرخش را به InputImage.fromMediaImage() منتقل کنید:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
استفاده از نشانی وب فایل
برای ایجاد یک شیء InputImage
از نشانی وب فایل، بافت برنامه و نشانی وب فایل را به
InputImage.fromFilePath() ارسال کنید. این کار زمانی مفید است که از
قصد ACTION_GET_CONTENT برای ترغیب کاربر به انتخاب
تصویر از برنامه گالریاش استفاده میکنید.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
استفاده از ByteBuffer یا ByteArray
برای ایجاد InputImage
شیء از ByteBuffer یا ByteArray، ابتدا درجه چرخش تصویر را
همانطور که قبلاً برای ورودی media.Image توضیح داده شد محاسبه کنید.
سپس، شیء InputImage را با بافر یا آرایه، همراه با ارتفاع، عرض، قالب کدبندی رنگ، و درجه چرخش تصویر ایجاد کنید:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
جاوا
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
استفاده از Bitmap
برای ایجاد یک InputImage
شیء از یک شیء Bitmap، بیانیه زیر را اعلام کنید:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
تصویر با یک شیء Bitmap بههمراه درجههای چرخش نشان داده میشود.
پردازش تصویر
تصویر را به روش process ارسال کنید:
Kotlin
val result = detector.process(image) .addOnSuccessListener { result -> // Task completed successfully // … } .addOnFailureListener { e -> // Task failed with an exception // … }
جاوا
Task<List<FaceMesh>> result = detector.process(image) .addOnSuccessListener( new OnSuccessListener<List<FaceMesh>>() { @Override public void onSuccess(List<FaceMesh> result) { // Task completed successfully // … } }) .addOnFailureListener( new OnFailureListener() { @Override Public void onFailure(Exception e) { // Task failed with an exception // … } });
دریافت اطلاعات درباره مش چهره شناساییشده
اگر چهرهای در تصویر شناسایی شود، فهرستی از FaceMesh شیء به شنونده موفقیت ارسال میشود. هر FaceMesh نشاندهنده چهرهای است که در تصویر شناسایی شده است. برای هر مش چهره، میتوانید مختصات مرزی آن را در تصویر ورودی و همچنین هر اطلاعات دیگری را که آشکارساز مش چهره را برای یافتن آن پیکربندی کردهاید، دریافت کنید.
Kotlin
for (faceMesh in faceMeshs) { val bounds: Rect = faceMesh.boundingBox() // Gets all points val faceMeshpoints = faceMesh.allPoints for (faceMeshpoint in faceMeshpoints) { val index: Int = faceMeshpoints.index() val position = faceMeshpoint.position } // Gets triangle info val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles for (triangle in triangles) { // 3 Points connecting to each other and representing a triangle area. val connectedPoints = triangle.allPoints() } }
جاوا
for (FaceMesh faceMesh : faceMeshs) { Rect bounds = faceMesh.getBoundingBox(); // Gets all points List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints(); for (FaceMeshPoint faceMeshpoint : faceMeshpoints) { int index = faceMeshpoints.getIndex(); PointF3D position = faceMeshpoint.getPosition(); } // Gets triangle info List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles(); for (Triangle<FaceMeshPoint> triangle : triangles) { // 3 Points connecting to each other and representing a triangle area. List<FaceMeshPoint> connectedPoints = triangle.getAllPoints(); } }