با استفاده از API تشخیص و ردیابی اشیاء روی دستگاه ML Kit، میتوانید اشیاء را در یک تصویر یا فید دوربین زنده تشخیص داده و ردیابی کنید.
به صورت اختیاری، میتوانید اشیاء شناسایی شده را یا با استفاده از طبقهبندیکنندهی تقریبیِ تعبیهشده در API یا با استفاده از مدل طبقهبندی تصویر سفارشی خودتان، طبقهبندی کنید. برای اطلاعات بیشتر به بخش «استفاده از مدل سفارشی LiteRT» مراجعه کنید.
از آنجا که تشخیص و ردیابی اشیا روی دستگاه اتفاق میافتد، به عنوان بخش جلویی خط لوله جستجوی بصری به خوبی کار میکند. پس از تشخیص و فیلتر کردن اشیا، میتوانید آنها را به یک بخش پشتی ابری، مانند جستجوی محصول Cloud Vision ، منتقل کنید.
قابلیتهای کلیدی
- تشخیص و ردیابی سریع اشیا: اشیا را تشخیص داده و مکان آنها را در تصویر مشخص کنید. اشیا را در فریمهای تصویر متوالی ردیابی کنید.
- مدل بهینهشده روی دستگاه مدل تشخیص و ردیابی اشیا برای دستگاههای تلفن همراه بهینه شده و برای استفاده در برنامههای بلادرنگ، حتی در دستگاههای رده پایین، در نظر گرفته شده است.
- تشخیص اشیاء برجسته: به طور خودکار برجستهترین شیء در یک تصویر را تعیین میکند.
- طبقهبندی کلی: اشیاء را در دستههای کلی طبقهبندی کنید، که میتوانید از آنها برای فیلتر کردن اشیاء مورد علاقهتان استفاده کنید. دستههای زیر پشتیبانی میشوند: کالاهای خانگی، کالاهای مد، غذا، گیاهان و مکانها.
- طبقهبندی با یک مدل سفارشی از مدل طبقهبندی تصویر سفارشی خود برای شناسایی یا فیلتر کردن دستههای خاص اشیاء استفاده کنید. با حذف پسزمینه تصویر، عملکرد مدل سفارشی خود را بهبود بخشید.
نتایج مثال
ردیابی برجستهترین شیء در تصاویر
مثال زیر دادههای ردیابی را از سه فریم متوالی با طبقهبندیکنندهی تقریبی پیشفرض ارائه شده توسط ML Kit نشان میدهد.
 |
| ||||||||
 |
| ||||||||
 |
|
عکس: کریستین فرر [CC BY-SA 4.0]
چندین شیء در یک تصویر ثابت
مثال زیر دادههای مربوط به چهار شیء شناساییشده در تصویر را با استفاده از طبقهبندیکنندهی تقریبی پیشفرض ارائهشده توسط ML Kit نشان میدهد.
| شیء ۰ | |
|---|---|
| مرزها | (1، 97)، (332، 97)، (332، 332)، (1، 332) |
| دسته بندی | مد_خوب |
| اطمینان طبقهبندی | ۰.۹۵۷۰۳۱۲۵ |
| شیء ۱ | |
| مرزها | (186، 80)، (337، 80)، (337، 226)، (186، 226) |
| دسته بندی | مد_خوب |
| اطمینان طبقهبندی | ۰.۸۴۳۷۵ |
| شیء ۲ | |
| مرزها | (296، 80)، (472، 80)، (472، 388)، (296، 388) |
| دسته بندی | مد_خوب |
| اطمینان طبقهبندی | ۰.۹۴۹۲۱۸۷۵ |
| شیء ۳ | |
| مرزها | (۴۳۹، ۸۳)، (۶۱۵، ۸۳)، (۶۱۵، ۳۰۶)، (۴۳۹، ۳۰۶) |
| دسته بندی | مد_خوب |
| اطمینان طبقهبندی | ۰.۹۳۷۵ |
استفاده از یک مدل LiteRT سفارشی
طبقهبندیکنندهی پیشفرضِ کلی برای پنج دسته ساخته شده است و اطلاعات محدودی در مورد اشیاء شناساییشده ارائه میدهد. ممکن است به یک مدل طبقهبندیکنندهی تخصصیتر نیاز داشته باشید که دامنهی محدودتری از مفاهیم را با جزئیات بیشتری پوشش دهد؛ برای مثال، مدلی برای تمایز بین گونههای گل یا انواع غذا.
این API با پشتیبانی از مدلهای طبقهبندی تصویر سفارشی از طیف وسیعی از منابع، به شما امکان میدهد تا با یک مورد استفاده خاص، آن را سفارشیسازی کنید. برای کسب اطلاعات بیشتر به مدلهای سفارشی با کیت ML مراجعه کنید. مدلهای سفارشی را میتوان با برنامه شما همراه کرد یا به صورت پویا از فضای ذخیرهسازی ابری دانلود کرد.
پیشپردازش تصویر ورودی
در صورت نیاز، تشخیص و ردیابی شیء از مقیاسبندی و کشش تصویر دوخطی برای تنظیم اندازه تصویر ورودی و نسبت ابعاد آن استفاده میکند تا با الزامات مدل زیربنایی مطابقت داشته باشد.