با API تشخیص و ردیابی اشیاء روی دستگاه کیت ML، می توانید اشیاء را در یک تصویر یا فید دوربین زنده شناسایی و ردیابی کنید.
به صورت اختیاری، میتوانید اشیاء شناساییشده را با استفاده از طبقهبندی درشت تعبیهشده در API یا با استفاده از مدل طبقهبندی تصویر سفارشی خود طبقهبندی کنید. برای اطلاعات بیشتر به استفاده از یک مدل سفارشی TensorFlow Lite مراجعه کنید.
از آنجا که تشخیص و ردیابی شی در دستگاه اتفاق می افتد، به خوبی به عنوان قسمت جلویی خط لوله جستجوی بصری عمل می کند. پس از شناسایی و فیلتر کردن اشیاء، میتوانید آنها را به پشتیبان ابری مانند جستجوی محصول Cloud Vision منتقل کنید.
قابلیت های کلیدی
- تشخیص و ردیابی سریع اشیا اشیاء را شناسایی کرده و مکان آنها را در تصویر دریافت کنید. ردیابی اشیاء در فریم های تصویر متوالی.
- مدل بهینه سازی شده روی دستگاه مدل تشخیص و ردیابی شی برای دستگاه های تلفن همراه بهینه شده است و برای استفاده در برنامه های بلادرنگ، حتی در دستگاه های پایین تر در نظر گرفته شده است.
- تشخیص شیء برجسته به طور خودکار برجسته ترین شی را در یک تصویر تعیین می کند.
- طبقه بندی درشت اشیاء را به دسته های گسترده طبقه بندی کنید، که می توانید از آنها برای فیلتر کردن اشیایی که به آنها علاقه ندارید استفاده کنید. دسته های زیر پشتیبانی می شوند: کالاهای خانگی، کالاهای مد، غذا، گیاهان و مکان ها.
- طبقه بندی با یک مدل سفارشی از مدل طبقه بندی تصویر سفارشی خود برای شناسایی یا فیلتر کردن دسته بندی اشیاء خاص استفاده کنید. با کنار گذاشتن پسزمینه تصویر، عملکرد مدل سفارشی خود را بهتر کنید.
نتایج نمونه
ردیابی برجسته ترین شی در بین تصاویر
مثال زیر داده های ردیابی را از سه فریم متوالی با طبقه بندی درشت پیش فرض ارائه شده توسط ML Kit نشان می دهد.
| |||||||||
| |||||||||
|
عکس: Christian Ferrer [CC BY-SA 4.0]
چندین اشیاء در یک تصویر ثابت
مثال زیر داده های چهار شی شناسایی شده در تصویر را با طبقه بندی درشت پیش فرض ارائه شده توسط ML Kit نشان می دهد.
شی 0 | |
---|---|
محدوده | (1، 97)، (332، 97)، (332، 332)، (1، 332) |
دسته بندی | FASHION_GOOD |
اطمینان طبقه بندی | 0.95703125 |
شی 1 | |
محدوده | (186، 80)، (337، 80)، (337، 226)، (186، 226) |
دسته بندی | FASHION_GOOD |
اطمینان طبقه بندی | 0.84375 |
شی 2 | |
محدوده | (296، 80)، (472، 80)، (472، 388)، (296، 388) |
دسته بندی | FASHION_GOOD |
اطمینان طبقه بندی | 0.94921875 |
شی 3 | |
محدوده | (439، 83)، (615، 83)، (615، 306)، (439، 306) |
دسته بندی | FASHION_GOOD |
اطمینان طبقه بندی | 0.9375 |
با استفاده از یک مدل سفارشی TensorFlow Lite
طبقه بندی درشت پیش فرض برای پنج دسته ساخته شده است که اطلاعات محدودی در مورد اشیاء شناسایی شده ارائه می دهد. ممکن است به یک مدل طبقهبندی تخصصیتر نیاز داشته باشید که دامنه محدودتری از مفاهیم را با جزئیات بیشتری پوشش دهد. به عنوان مثال، مدلی برای تمایز بین گونه های گل یا انواع غذا.
این API به شما امکان میدهد با پشتیبانی از مدلهای طبقهبندی تصویر سفارشی از طیف گستردهای از منابع، برای یک مورد خاص استفاده کنید. لطفاً برای کسب اطلاعات بیشتر به مدل های سفارشی با کیت ML مراجعه کنید. با استفاده از سرویس استقرار مدل Firebase Machine Learning، میتوان مدلهای سفارشی را با برنامهتان همراه کرد یا بهصورت پویا از ابر دانلود کرد.
پیش پردازش تصویر ورودی
در صورت نیاز، تشخیص و ردیابی شی از مقیاس گذاری و کشش تصویر دوخطی برای تنظیم اندازه تصویر ورودی و نسبت ابعاد استفاده می کند تا مطابق با الزامات مدل اصلی باشد.