एमएल किट के, डिवाइस पर मौजूद ऑब्जेक्ट की पहचान और ट्रैकिंग एपीआई की मदद से, किसी इमेज या लाइव कैमरा फ़ीड में मौजूद ऑब्जेक्ट का पता लगाकर, उन्हें ट्रैक किया जा सकता है.
इसके अलावा, पता लगाए गए ऑब्जेक्ट की कैटगरी तय करने के लिए, एपीआई में मौजूद अनुमानित क्लासिफ़ायर का इस्तेमाल किया जा सकता है. इसके अलावा, पसंद के मुताबिक इमेज क्लासिफ़िकेशन मॉडल का भी इस्तेमाल किया जा सकता है. ज़्यादा जानकारी के लिए, पसंद के मुताबिक बनाया गया TensorFlow Lite मॉडल देखें.
ऑब्जेक्ट का पता लगाने और उन्हें ट्रैक करने की प्रोसेस डिवाइस पर होती है. इसलिए, यह विज़ुअल सर्च पाइपलाइन के फ़्रंट एंड के साथ अच्छी तरह से काम करता है. ऑब्जेक्ट का पता लगाने और उन्हें फ़िल्टर करने के बाद, उन्हें क्लाउड बैकएंड पर भेजा जा सकता है, जैसे कि Cloud Vision Product Search.
मुख्य सुविधाएं
- ऑब्जेक्ट का तेज़ी से पता लगाना और उन्हें ट्रैक करना ऑब्जेक्ट का पता लगाएं और इमेज में उनकी जगह की जानकारी पाएं. क्रमिक इमेज फ़्रेम में ऑब्जेक्ट ट्रैक करें.
- डिवाइस पर ऑप्टिमाइज़ किया गया मॉडल ऑब्जेक्ट की पहचान और ट्रैकिंग मॉडल को मोबाइल डिवाइस के लिए ऑप्टिमाइज़ किया गया है. इसका इस्तेमाल रीयल-टाइम ऐप्लिकेशन में किया जा सकता है, यहां तक कि कम बेहतर डिवाइस पर भी.
- खास ऑब्जेक्ट की पहचान करने की सुविधा यह सुविधा, किसी इमेज में सबसे ज़्यादा प्रमुखता से दिखने वाली चीज़ को अपने-आप पहचान लेती है.
- अनुमानित कैटगरी ऑब्जेक्ट को बड़ी कैटगरी में बांटें. इनका इस्तेमाल करके, उन चीज़ों को फ़िल्टर किया जा सकता है जिनमें आपकी दिलचस्पी नहीं है. इन कैटगरी का इस्तेमाल किया जा सकता है: घर का सामान, फ़ैशन का सामान, खाना, पौधे, और जगहें.
- कस्टम मॉडल की मदद से कैटगरी तय करना ऑब्जेक्ट की किसी कैटगरी की पहचान करने या उसे फ़िल्टर करने के लिए, कस्टम इमेज क्लासिफ़िकेशन मॉडल का इस्तेमाल करें. इमेज के बैकग्राउंड को छोड़कर अपने कस्टम मॉडल को बेहतर बनाएं.
परिणामों के उदाहरण
सभी इमेज में सबसे ज़्यादा प्रमुखता से दिखाई देने वाली चीज़ को ट्रैक करना
नीचे दिए गए उदाहरण में, ML Kit की मदद से मिले डिफ़ॉल्ट अनुमानित क्लासिफ़ायर के साथ, लगातार तीन फ़्रेम का ट्रैकिंग डेटा दिखाया गया है.
 |
|
||||||||
 |
|
||||||||
 |
|
फ़ोटो: क्रिश्चियन फ़ेरर [CC BY-SA 4.0]
एक स्टैटिक इमेज में एक से ज़्यादा ऑब्जेक्ट
नीचे दिया गया उदाहरण, एमएल किट से मिले डिफ़ॉल्ट अनुमानित क्लासिफ़ायर के साथ इमेज में पहचानी गई चार ऑब्जेक्ट का डेटा दिखाता है.
| ऑब्जेक्ट 0 | |
|---|---|
| परिबंध | (1, 97), (332, 97), (332, 332), (1, 332) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.95703125 |
| ऑब्जेक्ट 1 | |
| परिबंध | (186, 80), (337, 80), (337, 226), (186, 226) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.84375 |
| ऑब्जेक्ट 2 | |
| परिबंध | (296, 80), (472, 80), (472, 388), (296, 388) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.94921875 |
| ऑब्जेक्ट 3 | |
| परिबंध | (439, 83), (615, 83), (615, 306), (439, 306) |
| कैटगरी | FASHION_GOOD |
| क्लासिफ़िकेशन कॉन्फ़िडेंस | 0.9375 |
पसंद के मुताबिक बनाया गया TensorFlow Lite मॉडल इस्तेमाल करना
डिफ़ॉल्ट 'अनुमानित डेटा' कैटगरी को पांच कैटगरी के लिए बनाया गया है, जिससे पता लगाए गए ऑब्जेक्ट के बारे में सीमित जानकारी मिलती है. आपको शायद ऐसे क्लासिफ़ायर मॉडल की ज़रूरत होगी जो ज़्यादा खास तरह का डेटा हो. इसमें, कॉन्सेप्ट के छोटे डोमेन के बारे में ज़्यादा जानकारी शामिल होनी चाहिए. उदाहरण के लिए, ऐसा मॉडल जो फूलों की प्रजातियों या खाने की तरह की चीज़ों के बीच अंतर कर सके.
यह एपीआई कई तरह के सोर्स से कस्टम इमेज क्लासिफ़िकेशन मॉडल की सुविधा देता है. इससे, इस्तेमाल के किसी खास उदाहरण के हिसाब से काम करने में मदद मिलती है. ज़्यादा जानने के लिए, कृपया एमएल किट वाले कस्टम मॉडल देखें. Firebase मशीन लर्निंग की मॉडल डिप्लॉयमेंट सेवा का इस्तेमाल करके, कस्टम मॉडल आपके ऐप्लिकेशन के साथ बंडल किए जा सकते हैं या क्लाउड से डाइनैमिक तौर पर डाउनलोड किए जा सकते हैं.
इनपुट इमेज की प्री-प्रोसेसिंग
ज़रूरत पड़ने पर, ऑब्जेक्ट की पहचान और ट्रैकिंग करने के लिए, बिलिनेयर इमेज स्केलिंग और स्ट्रेचिंग का इस्तेमाल किया जाता है. इससे इनपुट इमेज के साइज़ और आसपेक्ट रेशियो (लंबाई-चौड़ाई का अनुपात) को अडजस्ट किया जाता है, ताकि वे बुनियादी मॉडल की ज़रूरतों को पूरा कर सकें.