Menyesuaikan setelan konektor

Google Cloud Search SDK berisi beberapa parameter konfigurasi yang disediakan Google yang digunakan oleh semua konektor. Mengetahui cara menyesuaikan pengaturan ini dapat sangat menyederhanakan pengindeksan data. Panduan ini mencantumkan beberapa masalah yang dapat muncul selama pengindeksan dan setelan yang digunakan untuk menyelesaikannya.

Throughput pengindeksan untuk FullTraversalConnector

Tabel berikut mencantumkan setelan konfigurasi untuk meningkatkan throughput untuk FullTraversalConnector:

Setelan Deskripsi Default Perubahan konfigurasi untuk dicoba
traverse.partitionSize Jumlah ApiOperation() yang akan diproses dalam batch sebelum mengambil APIOperation() tambahan. SDK menunggu partisi saat ini diproses sebelum mengambil item tambahan. Setelan ini bergantung pada jumlah memori yang tersedia. Ukuran partisi yang lebih kecil, seperti 50 atau 100, memerlukan lebih sedikit memori, tetapi lebih banyak menunggu atas nama SDK. 50 Jika Anda memiliki banyak memori yang tersedia, coba tingkatkan partitionSize menjadi 1.000 atau lebih.
batch.batchSize Jumlah permintaan yang dikelompokkan bersama. Di akhir partisi, SDK akan menunggu semua permintaan batch untuk diproses dari partisi. Batch yang lebih besar memerlukan waktu tunggu yang lebih lama. 10 Coba turunkan ukuran tumpukan.
batch.maxActiveBatches Jumlah batch yang diizinkan secara serentak. 20 Jika menurunkan batchSize, Anda harus menambahkan maxActiveBatches sesuai dengan formula ini:

maxActiveBatches = (partitionSize / batchSize) + 50. Misalnya, jika partititionSize Anda adalah 1.000 dan batchSize Anda 5, maxActiveBatches Anda harus 250. Tambahan 50 adalah buffer untuk permintaan percobaan ulang. Peningkatan ini memungkinkan konektor untuk mengelompokkan semua permintaan tanpa pemblokiran.
traverse.threadPoolSize Jumlah thread yang dibuat konektor untuk memungkinkan pemrosesan paralel. Satu iterator mengambil operasi (biasanya objek RepositoryDoc) secara serial, tetapi proses panggilan API secara paralel menggunakan jumlah thread threadPoolSize. Setiap thread memproses item satu per satu. Default 50 akan memproses maksimal 50 item secara bersamaan dan dibutuhkan waktu sekitar 4 detik untuk memproses setiap item (termasuk permintaan pengindeksan). 50 Coba tingkatkan threadPoolSize dengan kelipatan 10.

Terakhir, pertimbangkan untuk menggunakan metode setRequestMode() untuk mengubah mode permintaan API (ASYNCHRONOUS atau SYNCHRONOUS).

Untuk informasi tambahan tentang parameter file konfigurasi, lihat Parameter konfigurasi yang disediakan Google.

Throughput pengindeksan untuk ListTraversalConnector

Secara default, konektor yang mengimplementasikan ListTraversalConnnector menggunakan traverser tunggal untuk mengindeks item Anda. Untuk meningkatkan throughput pengindeksan, Anda dapat membuat beberapa traverser, masing-masing dengan konfigurasinya sendiri yang berfokus pada status item (NEW_ITEM, MODIFIED, dan seterusnya). Tabel berikut mencantumkan setelan konfigurasi untuk meningkatkan throughput:

.
SetelanDeskripsiDefaultPerubahan konfigurasi untuk dicoba
repository.traversers = t1, t2, t3, ...Membuat satu atau beberapa traverser individual dengan t1, t2, t3, ... adalah nama unik masing-masing traverser. Setiap traverser yang bernama memiliki kumpulan setelannya sendiri yang diidentifikasi menggunakan nama unik traverser, seperti traversers.t1.hostload dan traversers.t2.hostloadSatu traverserGunakan setelan ini untuk menambahkan traverser tambahan
traversers.t1.hostload = nMengidentifikasi jumlah thread, n, yang akan digunakan untuk mengindeks item secara bersamaan.5Lakukan eksperimen dengan menyesuaikan n berdasarkan seberapa banyak beban yang ingin dimasukkan ke repositori. Mulailah dengan nilai 10 atau yang lebih tinggi.
schedule.pollQueueIntervalSecs = sMengidentifikasi jumlah detik, s, untuk menunggu sebelum polling ulang . Konektor konten akan terus melakukan polling pada item selama API menampilkan item dalam respons polling. Jika respons polling kosong, konektor menunggu s detik sebelum mencoba lagi. Setelan ini hanya digunakan oleh ListingConnector10Coba turunkan ke 1.
traverser.t1.pollRequest.statuses = status1, status2, …Menentukan status, status1, status2, , dari item yang akan diindeks. Misalnya, menetapkan status1 ke NEW_ITEM dan status2 ke MODIFIED akan menginstruksikan traverser t1 untuk mengindeks item dengan status tersebut saja.Satu traverser memeriksa untuk semua statusBereksperimen dengan memiliki polling berbagai traverser untuk berbagai status.

Untuk informasi tambahan tentang parameter file konfigurasi, lihat Parameter konfigurasi yang disediakan Google.

SDK kehabisan waktu atau mengganggu saat mengupload file berukuran besar

Jika Anda mengalami waktu tunggu SDK atau mengganggu saat mengupload file berukuran besar, menentukan waktu tunggu yang lebih besar dengan menggunakan traverser.timeout=s (dengan s = jumlah detik). Nilai ini mengidentifikasi berapa lama pekerja thread harus memproses item. Waktu tunggu default di SDK adalah 60 detik untuk thread traverser. Selain itu, jika Anda mengalami permintaan API individual waktu tunggu habis, gunakan metode berikut untuk meningkatkan nilai waktu tunggu permintaan:

Parameter waktu tunggu permintaan Deskripsi Default
indexingService.connectTimeoutSeconds Waktu tunggu koneksi habis untuk permintaan API pengindeksan. 120 detik.
indexingService.readTimeoutSeconds Waktu tunggu baca untuk permintaan API pengindeksan. 120 detik.