GenAI API ของ ML Kit ใช้ประโยชน์จากประสิทธิภาพของ Gemini Nano เพื่อช่วยให้แอปของคุณ ทำงานต่างๆ ได้ API เหล่านี้มอบคุณภาพที่พร้อมใช้งานสำหรับกรณีการใช้งานยอดนิยมผ่านอินเทอร์เฟซระดับสูง GenAI API ของ ML Kit สร้างขึ้นบน AICore ซึ่งเป็นบริการของระบบ Android ที่ช่วยให้สามารถเรียกใช้โมเดลพื้นฐานของ GenAI ในอุปกรณ์เพื่ออำนวยความสะดวกในการใช้ฟีเจอร์ต่างๆ เช่น ฟังก์ชันการทำงานของแอปที่ดียิ่งขึ้นและความเป็นส่วนตัวของผู้ใช้ที่ได้รับการปรับปรุงด้วยการประมวลผลข้อมูลในอุปกรณ์
ข้อกำหนดในการให้บริการเพิ่มเติมของ GenAI API ของ ML Kit มีผลบังคับใช้กับการใช้ GenAI API นักพัฒนาแอปมีหน้าที่รับผิดชอบแต่เพียงผู้เดียวต่อความปลอดภัยของไคลเอ็นต์ API และประสบการณ์ของผู้ใช้แอป
ฟีเจอร์หลัก
GenAI API ของ ML Kit รองรับฟีเจอร์ต่อไปนี้
- การสรุป: สรุปบทความหรือการสนทนาในแชทเป็นรายการแบบมีสัญลักษณ์แสดงหัวข้อย่อย
- การพิสูจน์อักษร: ปรับปรุงเนื้อหาสั้นๆ โดยการปรับไวยากรณ์และแก้ไขข้อผิดพลาดในการสะกด
- การเขียนใหม่: เขียนข้อความสั้นๆ ใหม่ให้มีโทนเสียงหรือสไตล์ที่แตกต่างกัน
- คำอธิบายรูปภาพ: สร้างคำอธิบายสั้นๆ ของรูปภาพที่กำหนด
- การจดจำคำพูด: ถอดเสียงเป็นข้อความ
- พรอมต์: สร้างเนื้อหาข้อความตาม พรอมต์แบบข้อความเท่านั้นหรือพรอมต์มัลติโมดัลที่กำหนดเอง
ประโยชน์ของ GenAI API
GenAI API ทำงานบนอุปกรณ์ทั้งหมดเช่นเดียวกับฟีเจอร์อื่นๆ ที่มีอยู่ของ ML Kit จึงมีประโยชน์ดังต่อไปนี้
- ระบบจะประมวลผลข้อมูลอินพุต การอนุมาน และเอาต์พุตในอุปกรณ์
- ฟังก์ชันการทำงานยังคงเหมือนเดิมแม้ไม่มีการเชื่อมต่ออินเทอร์เน็ตที่เสถียร
- ไม่มีค่าใช้จ่ายเซิร์ฟเวอร์เพิ่มเติมสำหรับการเรียก API แต่ละครั้ง
นอกจากนี้ เนื่องจาก GenAI API สร้างขึ้นบน AICore และขับเคลื่อนโดย Gemini Nano ทุกแอปจึงสามารถใช้โมเดล Gemini Nano ที่แชร์กันซึ่งอยู่ในอุปกรณ์ได้ ซึ่งจะช่วยหลีกเลี่ยงไม่ให้ต้องรอการดาวน์โหลดโมเดลหากมีโมเดลอยู่ในอุปกรณ์อยู่แล้ว และช่วยประหยัดพื้นที่เก็บข้อมูล ดูข้อมูลเพิ่มเติม เกี่ยวกับวิธีที่ AICore แยกคำขอเพื่อปกป้องความเป็นส่วนตัว
การสตรีมเทียบกับการไม่สตรีม
GenAI API ของ ML Kit มีตัวเลือกทั้งการสตรีมและการไม่สตรีมสำหรับการรับผลลัพธ์ API การสตรีมจะส่งการตอบกลับทีละส่วนเมื่อมีการสร้างการตอบกลับ ซึ่งจะช่วยให้ข้อมูลไหลเวียนอย่างต่อเนื่อง ในทางตรงกันข้าม API การไม่สตรีมจะรอจนกว่าการตอบกลับทั้งหมดจะเสร็จสมบูรณ์ก่อนที่จะส่งคืนการตอบกลับเป็นบล็อกเดียว
เลือก API การสตรีมสำหรับการตอบกลับที่ยาว เนื่องจาก API นี้ช่วยให้ได้รับความคิดเห็นเริ่มต้นได้เร็วขึ้น API การไม่สตรีมเหมาะสำหรับการตอบกลับสั้นๆ หรือเมื่อประมวลผลผลลัพธ์เป็นชุด
การรองรับอุปกรณ์
API เฉพาะฟีเจอร์ GenAI (การสรุป การพิสูจน์อักษร การเขียนใหม่ และคำอธิบายรูปภาพ) มีการรองรับอุปกรณ์ที่แตกต่างจาก Prompt API ตามที่อธิบายไว้ในส่วนต่อไปนี้
การรองรับอุปกรณ์ของ API เฉพาะฟีเจอร์
API การสรุป การพิสูจน์อักษร การเขียนใหม่ และ คำอธิบายรูปภาพพร้อมใช้งานในอุปกรณ์ต่อไปนี้ และเรามีแผน ที่จะขยายการรองรับไปยังอุปกรณ์เพิ่มเติม
- Google: Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, Pixel 11 Pro Fold, Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro, Magic V5
- iQOO: iQOO 13, iQOO 15
- Lenovo: Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8.8")
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13, OnePlus 13s
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro, POCO X8 Pro
- realme: realme GT 7 Pro, realme GT 7T
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Flip8, Galaxy Z Fold8, Galaxy Z Fold8 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5, vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra, Xiaomi Pad Mini
ความพร้อมใช้งานของการรองรับภาษาที่เฉพาะเจาะจงอาจแตกต่างกันไปตามการกำหนดค่าของอุปกรณ์แต่ละเครื่องและโมเดลที่ดาวน์โหลดลงในอุปกรณ์
การรองรับอุปกรณ์ของ Prompt API
Prompt API รองรับอุปกรณ์ต่อไปนี้
nano-v2 |
|
nano-v3 |
|
nano-v4 |
|
การรองรับอุปกรณ์ของ Speech Recognition API
Speech Recognition API รองรับอุปกรณ์ต่อไปนี้
| โหมดพื้นฐาน | ใช้โมเดลการจดจำคำพูดแบบเดิมในอุปกรณ์ ซึ่งพร้อมใช้งานใน อุปกรณ์ Android ส่วนใหญ่ที่มี API ระดับ 31 ขึ้นไป |
|---|---|
| โหมดขั้นสูง | ใช้ประโยชน์จากโมเดล GenAI เพื่อคุณภาพที่สูงขึ้นและการครอบคลุมภาษาที่กว้างขึ้น รองรับโดยอุปกรณ์ Pixel 10 และ Pixel 11 และเรากำลังพัฒนาการรองรับอุปกรณ์เพิ่มเติม |
ดึงข้อมูลเวอร์ชัน Gemini Nano
Gemini Nano เวอร์ชันต่างๆ ทำงานในอุปกรณ์ที่แตกต่างกัน หากต้องการแสดงเวอร์ชันของ Gemini Nano ในอุปกรณ์ ให้ใช้ getBaseModelName()
โควต้าต่อแอปพลิเคชัน
AICore บังคับใช้โควต้าการอนุมานต่อแอป การส่งคำขอ GenAI API มากเกินไปในช่วงเวลาสั้นๆ จะส่งผลให้เกิดการตอบกลับ ErrorCode.BUSY เมื่อได้รับข้อผิดพลาดดังกล่าว ให้พิจารณาใช้ Exponential Backoff เพื่อลองส่งคำขออีกครั้ง นอกจากนี้ ระบบยังอาจแสดง ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED หากแอปใช้โควต้าเกินระยะเวลานาน (เช่น โควต้าประจำวัน)
การใช้งานในเบื้องหลัง
การอนุมาน GenAI API จะได้รับอนุญาตก็ต่อเมื่อแอปเป็นแอปพลิเคชันที่ทำงานอยู่เบื้องหน้าสูงสุด การใช้ API เมื่อแอปไม่ได้ทำงานอยู่เบื้องหน้า รวมถึงการใช้บริการที่ทำงานอยู่เบื้องหน้า จะส่งผลให้เกิดการตอบกลับ ErrorCode.BACKGROUND_USE_BLOCKED
โค้ดตัวอย่าง
หากต้องการรับโค้ดนี้ โปรดดูตัวอย่างต่อไปนี้