قوائم انتظار فهرسة Google Cloud Search

تتيح حزمة تطوير الموصِّلات (SDK) وواجهة برمجة التطبيقات في Cloud Search إنشاء طوابير الفهرسة في Cloud Search. استخدِم هذه الطوابير من أجل:

  • الاحتفاظ بحالة المستند (الحالة، ورموز التجزئة، وما إلى ذلك) للحفاظ على مزامنة الفهرس
  • الاحتفاظ بقائمة بالعناصر المطلوب فهرستها، كما تم رصدها أثناء عملية الانتقال
  • تحديد أولويات العناصر استنادًا إلى حالتها
  • الاحتفاظ بمعلومات الحالة، مثل نقاط التحقّق ورموز التغيير

الطابور هو تصنيف يتم تعيينه لعنصر مفهرس (مثل "تلقائي").

الحالة والأولوية

تعتمد أولوية المستند على رمز ItemStatus الخاص به. في ما يلي الرموز المتاحة، بترتيب الأولوية (من الأعلى إلى الأدنى):

  • ERROR: واجه العنصر خطأ غير متزامن ويجب إعادة فهرسته.
  • MODIFIED: تمّت فهرسة العنصر سابقًا ولكن تمّ تغييره في المستودع.
  • NEW_ITEM: لم تتمّ فهرسة العنصر بعد.
  • ACCEPTED: تمّت فهرسة العنصر سابقًا ولم يتمّ تغييره.

بالنسبة إلى العناصر التي لها الحالة نفسها، تكون الأولوية الأعلى للعناصر التي بقيت في الطابور لأطول فترة.

فهرسة عنصر جديد أو تمّ تغييره

يوضّح الشكل 1 خطوات فهرسة عنصر جديد أو تمّ تغييره باستخدام طابور الفهرسة. تعكس هذه الخطوات طلبات واجهة برمجة تطبيقات REST. للاطّلاع على طلبات حزمة تطوير البرامج (SDK) المكافئة، يُرجى مراجعة عمليات الطابور (حزمة تطوير الموصِّلات (SDK)).

نظرة عامة على فهرسة Cloud Search
الشكل 1. خطوات الفهرسة لإضافة عنصر أو تعديله
  1. يستخدِم موصِّل المحتوى items.push لإضافة بيانات التعريف ورموز التجزئة إلى طابور.
    • إذا كان الموصِّل يتضمّن type أو contentHash، تحدِّد Cloud Search الحالة.
    • تتلقّى العناصر غير المعروفة الحالة NEW_ITEM.
    • تحتفظ العناصر الحالية التي تتطابق رموز التجزئة الخاصة بها بالحالة ACCEPTED.
    • تصبح العناصر الحالية التي تختلف رموز التجزئة الخاصة بها MODIFIED.
  2. يستخدِم الموصِّل items.poll لتحديد العناصر المطلوب فهرستها. تعرض Cloud Search العناصر بترتيب الأولوية.
  3. يستردّ الموصِّل العناصر من المستودع وينشئ طلبات واجهة برمجة التطبيقات للفهرسة.
  4. يستخدِم الموصِّل items.index لفهرسة العناصر. ينتقل العنصر إلى الحالة ACCEPTED بعد معالجته بنجاح.

حذف عنصر

تستخدِم استراتيجيةالانتقال الكامل طابورَين لفهرسة العناصر ورصد عمليات الحذف. يوضّح الشكل 2 عملية الانتقال الثانية في هذه الاستراتيجية.

نظرة عامة على فهرسة Cloud Search
الشكل 2. حذف العناصر
  1. أثناء عملية الانتقال الأولية، يضيف الموصِّل العناصر إلى "الطابور أ" على أنّها NEW_ITEM. يحصل كل عنصر على التصنيف "أ".
  2. يستطلِع الموصِّل الطابور أ ويفهرس العناصر.
  3. أثناء عملية الانتقال الكامل الثانية، يضيف الموصِّل العناصر إلى "الطابور ب".
    • تحصل العناصر غير المعروفة على التصنيف "ب" والحالة NEW_ITEM.
    • تغيِّر العناصر الحالية التي تتطابق رموز التجزئة الخاصة بها تصنيفها إلى "ب" وتبقى ACCEPTED.
    • تغيِّر العناصر الحالية التي تختلف رموز التجزئة الخاصة بها تصنيفها إلى "ب" وتصبح MODIFIED.
  4. يستطلِع الموصِّل الطابور ب ويفهرس العناصر.
  5. أخيرًا، يستدعي الموصِّل deleteQueueItems في الطابور أ. يؤدي ذلك إلى حذف جميع العناصر التي تمّت فهرستها سابقًا والتي لا يزال لديها التصنيف "أ".
  6. في عمليات الانتقال اللاحقة، يتم تبديل أدوار الطابورَين.

عمليات الطابور (حزمة تطوير الموصِّلات (SDK))

استخدِم أداة إنشاء pushItems لإضافة العناصر. تسحب حزمة تطوير البرامج (SDK) تلقائيًا العناصر من الطابور بترتيب الأولوية باستخدام طريقة الفئة Repository getDoc.

عمليات الطابور (واجهة برمجة تطبيقات REST)

يمكنك أيضًا استخدام Items.index لإضافة العناصر أثناء الفهرسة. تحصل هذه العناصر تلقائيًا على الحالة ACCEPTED.

Items.push

تضيف هذه الطريقة أرقام التعريف إلى الصفّ. يحدِّد type النتيجة. تؤدي إضافة رقم تعريف جديد إلى إضافة إدخال بالحالة NEW_ITEM. يتم عرض الحمولة الاختيارية أثناء الاستطلاع.

تكون العناصر التي تمّ استطلاعها محجوزة ولا يمكن عرضها من خلال طلبات استطلاع أخرى. يؤدي استخدام Items.push مع ضبط type على NOT_MODIFIED أو REPOSITORY_ERROR أو REQUEUE إلى إلغاء حجز الإدخالات.

Items.push مع رموز التجزئة

حدِّد بيانات التعريف أو رموز تجزئة المحتوى في طلب الإضافة. تقارِن Cloud Search هذه القيم بالقيم المخزّنة. إذا كانت غير متطابقة، يصبح الإدخال MODIFIED. تصبح أرقام التعريف غير المتطابقة التي لا تكون موجودة NEW_ITEM.

Items.poll

تستردّ هذه الطريقة الإدخالات ذات الأولوية العالية. يتم حجز كل إدخال يتم عرضه إلى أن تنتهي مهلته أو تتم إعادة فهرستها أو يتم إلغاء حجزها باستخدام Items.push.