ML Kit के उपयोगकर्ता के डिवाइस पर मौजूद ऑब्जेक्ट का पता लगाने की सुविधा और ट्रैकिंग एपीआई की मदद से, किसी इमेज या लाइव कैमरा फ़ीड में मौजूद ऑब्जेक्ट का पता लगाया जा सकता है और उन्हें ट्रैक किया जा सकता है.
पहचाने गए ऑब्जेक्ट को क्लासिफ़ाई किया जा सकता है. इसके लिए, एपीआई में पहले से मौजूद मोटे क्लासिफ़ायर का इस्तेमाल करें या इमेज को क्लासिफ़ाई करने वाले अपने कस्टम मॉडल का इस्तेमाल करें. ज़्यादा जानकारी के लिए, कस्टम LiteRT मॉडल का इस्तेमाल करना लेख पढ़ें.
ऑब्जेक्ट का पता लगाने की सुविधा और उसे ट्रैक करने की प्रोसेस डिवाइस पर होती है. इसलिए, यह इमेज या कैमरा से खोजना पाइपलाइन के फ़्रंटएंड के तौर पर अच्छी तरह से काम करता है. ऑब्जेक्ट का पता लगाने और उन्हें फ़िल्टर करने के बाद, आप उन्हें क्लाउड बैकएंड पर भेज सकते हैं, जैसे Cloud Vision प्रॉडक्ट सर्च.
मुख्य सुविधाएं
- ऑब्जेक्ट का पता लगाने और उसे ट्रैक करने की तेज़ सुविधा इमेज में मौजूद ऑब्जेक्ट का पता लगाएं और उनकी जगह की जानकारी पाएं. लगातार इमेज फ़्रेम में ऑब्जेक्ट ट्रैक करें.
- उपयोगकर्ता के डिवाइस पर ऑप्टिमाइज़ किया गया मॉडल ऑब्जेक्ट का पता लगाने की सुविधा और उसे ट्रैक करने वाले मॉडल को मोबाइल डिवाइसों के लिए ऑप्टिमाइज़ किया गया है. इसका इस्तेमाल रीयल-टाइम ऐप्लिकेशन में किया जा सकता है. यह कम कॉन्फ़िगरेशन वाले डिवाइसों पर भी काम करता है.
- मुख्य ऑब्जेक्ट का पता लगाने की सुविधा किसी इमेज में मौजूद मुख्य ऑब्जेक्ट का अपने-आप पता लगाना.
- सामान्य कैटगरी के हिसाब से क्लासिफ़िकेशन ऑब्जेक्ट को सामान्य कैटगरी में क्लासिफ़ाई करें. इनका इस्तेमाल करके, उन ऑब्जेक्ट को फ़िल्टर किया जा सकता है जिनमें आपकी दिलचस्पी नहीं है. ये कैटगरी काम करती हैं: घरेलू सामान, फ़ैशन से जुड़ा सामान, खाना, पौधे, और जगहें.
- कस्टम मॉडल की मदद से क्लासिफ़िकेशन करना किसी खास ऑब्जेक्ट कैटगरी की पहचान करने या उसे फ़िल्टर करने के लिए, इमेज क्लासिफ़िकेशन के अपने कस्टम मॉडल का इस्तेमाल करें. इमेज के बैकग्राउंड को हटाकर, अपने कस्टम मॉडल की परफ़ॉर्मेंस को बेहतर बनाएं.
परिणामों के उदाहरण
सभी इमेज में सबसे अहम ऑब्जेक्ट को ट्रैक करना
यहां दिए गए उदाहरण में, ML Kit की ओर से उपलब्ध कराए गए डिफ़ॉल्ट कोर्स क्लासिफ़ायर का इस्तेमाल करके, लगातार तीन फ़्रेम का ट्रैकिंग डेटा दिखाया गया है.
 |
|
||||||||
 |
|
||||||||
 |
|
फ़ोटो: क्रिश्चियन फ़ेरर [CC BY-SA 4.0]
किसी स्थिर इमेज में एक से ज़्यादा ऑब्जेक्ट
इस उदाहरण में, एमएल किट की ओर से उपलब्ध कराए गए डिफ़ॉल्ट कोर्स क्लासिफ़ायर की मदद से, इमेज में पता लगाए गए चार ऑब्जेक्ट का डेटा दिखाया गया है.
| ऑब्जेक्ट 0 | |
|---|---|
| परिबंध | (1, 97), (332, 97), (332, 332), (1, 332) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.95703125 |
| ऑब्जेक्ट 1 | |
| परिबंध | (186, 80), (337, 80), (337, 226), (186, 226) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.84375 |
| ऑब्जेक्ट 2 | |
| परिबंध | (296, 80), (472, 80), (472, 388), (296, 388) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.94921875 |
| ऑब्जेक्ट 3 | |
| परिबंध | (439, 83), (615, 83), (615, 306), (439, 306) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.9375 |
कस्टम LiteRT मॉडल का इस्तेमाल करना
डिफ़ॉल्ट रूप से काम करने वाला क्लासिफ़ायर, पांच कैटगरी के लिए बनाया गया है. इससे, पता लगाए गए ऑब्जेक्ट के बारे में सीमित जानकारी मिलती है. आपको ज़्यादा खास क्लासिफ़ायर मॉडल की ज़रूरत पड़ सकती है. यह मॉडल, किसी खास विषय के कॉन्सेप्ट को ज़्यादा बारीकी से समझता है. उदाहरण के लिए, फूलों की अलग-अलग प्रजातियों या खाने की अलग-अलग चीज़ों के बीच अंतर करने वाला मॉडल.
यह एपीआई, इस्तेमाल के किसी खास उदाहरण के हिसाब से बनाया जा सकता है. इसके लिए, यह अलग-अलग सोर्स से कस्टम इमेज क्लासिफ़िकेशन मॉडल इस्तेमाल करने की सुविधा देता है. ज़्यादा जानने के लिए, ML Kit के साथ कस्टम मॉडल देखें. कस्टम मॉडल को आपके ऐप्लिकेशन के साथ बंडल किया जा सकता है या Cloud Storage से डाइनैमिक तौर पर डाउनलोड किया जा सकता है.
इनपुट इमेज की प्रीप्रोसेसिंग
ज़रूरत पड़ने पर, ऑब्जेक्ट का पता लगाने की सुविधा और उसे ट्रैक करने के लिए, बाइलिनियर इमेज स्केलिंग और स्ट्रेचिंग का इस्तेमाल करके इनपुट इमेज के साइज़ और आसपेक्ट रेशियो (लंबाई-चौड़ाई का अनुपात) को अडजस्ट किया जाता है, ताकि वे अंडरलाइंग मॉडल की ज़रूरी शर्तों के मुताबिक हों.