تتضمّن حزمة تطوير البرامج (SDK) في Google Cloud Search مَعلمات ضبط مقدَّمة من Google لجميع الموصِّلات. يمكن أن يؤدي ضبط هذه الإعدادات إلى تبسيط عملية فهرسة البيانات. يسرد هذا الدليل مشاكل الفهرسة الشائعة والإعدادات اللازمة لحلّها.
معدّل نقل بيانات منخفض للفهرسة في `FullTraversalConnector`
يسرد الجدول التالي الإعدادات اللازمة لتحسين معدّل نقل البيانات في
FullTraversalConnector:
| الإعداد | الوصف | تلقائي | التغيير المقترَح |
|---|---|---|---|
traverse.partitionSize |
عدد عناصر ApiOperation() التي تتم معالجتها على شكل دفعات. تنتظر حزمة تطوير البرامج (SDK) اكتمال قسم قبل استرجاع المزيد. |
50 | يمكنك زيادة هذا العدد إلى 1000 أو أكثر إذا كانت لديك ذاكرة كافية. |
batch.batchSize |
عدد الطلبات التي يتم تجميعها في دفعة واحدة. | 10 | جرِّب تقليل حجم الدفعة. |
batch.maxActiveBatches |
الحد الأقصى لعدد الدفعات المتزامنة المسموح بها. | 20 | إذا قلّلت batchSize، يمكنك زيادة هذا العدد باستخدام: (partitionSize / batchSize) + 50. |
traverse.threadPoolSize |
عدد سلاسل المحادثات للمعالجة المتوازية. | 50 | يمكنك زيادة هذا العدد بمضاعفات 10. |
ننصحك باستخدام setRequestMode() للتبديل بين ASYNCHRONOUS و
SYNCHRONOUS وضعَي طلب واجهة برمجة التطبيقات.
معدّل نقل بيانات منخفض للفهرسة في `ListTraversalConnector`
يستخدم ListTraversalConnector أداة اجتياز واحدة تلقائيًا. لزيادة سرعة معالجة البيانات، يمكنك إنشاء أدوات اجتياز متعددة لحالات معيّنة للعناصر (مثل NEW_ITEM وMODIFIED).
| الإعداد | الوصف | تلقائي | التغيير |
|---|---|---|---|
repository.traversers | ينشئ أدوات اجتياز فردية
بأسماء فريدة (مثل t1, t2). | أداة اجتياز واحدة | يمكنك إضافة المزيد من أدوات الاجتياز. |
traversers.t1.hostload | عدد سلاسل المحادثات لفهرسة العناصر في وقت واحد. | 5 | جرِّب استخدام قيم 10 أو أكبر. |
schedule.pollQueueIntervalSecs | عدد الثواني التي يجب الانتظار قبل إعادة طلب بيانات من قائمة انتظار فارغة. | 10 | جرِّب تقليل هذا العدد إلى 1. |
traverser.t1.pollRequest.statuses | الحالات
التي يجب فهرستها (مثل NEW_ITEM) | الكل | استخدِم أدوات اجتياز مختلفة لحالات مختلفة. |
مهلات أو انقطاعات في حزمة تطوير البرامج (SDK)
إذا واجهت مهلات عند تحميل ملفات كبيرة، يمكنك زيادة المهلة
باستخدام traverser.timeout=seconds
(القيمة التلقائية هي 60 ثانية). يمكنك أيضًا زيادة مهلات طلبات واجهة برمجة التطبيقات:
| المَعلمة | الوصف | تلقائي |
|---|---|---|
indexingService.connectTimeoutSeconds |
مهلة الاتصال لطلبات واجهة برمجة التطبيقات | 120 ثانية |
indexingService.readTimeoutSeconds |
مهلة القراءة لطلبات واجهة برمجة التطبيقات | 120 ثانية |