Halaman tutorial Cloud Search ini menunjukkan cara menyiapkan sumber data dan konektor konten untuk mengindeks data. Untuk memulai dari awal tutorial ini, lihat Tutorial memulai Cloud Search
Membuat konektor
Ubah direktori kerja Anda ke direktori cloud-search-samples/end-to-end/connector
dan jalankan perintah ini:
mvn package -DskipTests
Perintah ini mendownload dependensi yang diperlukan untuk membuat konektor konten dan mengompilasi kode.
Membuat kredensial akun layanan
Konektor ini memerlukan kredensial akun layanan untuk memanggil Cloud Search API. Untuk membuat kredensial:
- Kembali ke Konsol Google Cloud.
- Di navigasi sebelah kiri, klik Credentials. Halaman "Credential" akan muncul.
- Klik menu drop-down + CREATE CREDENTIALS, lalu pilih Service account. Halaman "Buat akun layanan" akan muncul.
- Di kolom Nama akun layanan, masukkan "tutorial".
- Catat nilai ID Akun layanan (tepat setelah nama Akun layanan). Nilai ini digunakan nanti.
- Klik CREATE. Dialog "Izin akun layanan (opsional)" akan muncul.
- Klik LANJUTKAN. Dialog "Beri pengguna akses ke akun layanan ini (opsional)" akan muncul.
- Klik SELESAI. Layar "Credentials" akan muncul.
- Di bagian Akun Layanan, klik email akun layanan. Halaman "detail akun layanan".
- Di bagian Keys, klik menu drop-down ADD KEY, lalu pilih Create new key. Dialog "Buat kunci pribadi" akan muncul.
- Klik CREATE.
- (opsional) Jika dialog "Do you want to allow downloads on console.cloud.google.com?" muncul, klik Allow.
- File kunci pribadi disimpan ke komputer Anda. Catat lokasi file yang didownload. File ini digunakan untuk mengonfigurasi konektor konten sehingga dapat mengautentikasi dirinya sendiri saat memanggil API Google Cloud Search.
Melakukan inisialisasi dukungan pihak ketiga
Sebelum dapat memanggil API Cloud Search lainnya, Anda harus melakukan inisialisasi dukungan pihak ketiga untuk Google Cloud Search.
Untuk melakukan inisialisasi dukungan pihak ketiga untuk Cloud Search:
Project platform Cloud Search Anda berisi kredensial akun layanan. Namun, untuk menginisialisasi dukungan pihak ketiga, Anda harus membuat kredensial aplikasi web. Untuk mengetahui petunjuk cara membuat kredensial aplikasi web, baca Membuat kredensial. Setelah menyelesaikan langkah ini, Anda akan memiliki file client ID dan file rahasia klien.
Gunakan Playground OAuth 2 Google untuk mendapatkan token akses:
- Klik setelan, lalu centang User your own auth credentials.
- Masukkan client ID dan rahasia klien dari langkah 1.
- Klik Close.
- Di kolom cakupan, ketik
https://www.googleapis.com/auth/cloud_search.settings
, lalu klik Authorize. Playground OAuth 2 menampilkan kode otorisasi. - Klik Exchange otorisasi kode untuk token. Token ditampilkan.
Guna menginisialisasi dukungan pihak ketiga untuk Cloud Search, gunakan perintah curl berikut. Pastikan untuk mengganti
[YOUR_ACCESS_TOKEN]
dengan token yang diperoleh pada langkah 2.curl --request POST \ 'https://cloudsearch.googleapis.com/v1:initializeCustomer' \ --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \ --header 'Accept: application/json' \ --header 'Content-Type: application/json' \ --data '{}' \ --compressed
Jika berhasil, isi respons akan memuat instance
operation
. Contoh:{ name: "operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY" }
Jika tidak berhasil, hubungi dukungan Cloud Search.
Gunakan operations.get untuk memverifikasi bahwa dukungan pihak ketiga telah diinisialisasi:
curl \ 'https://cloudsearch.googleapis.com/v1/operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY?key= [YOUR_API_KEY]' \ --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \ --header 'Accept: application/json' \ --compressed
Saat inisialisasi pihak ketiga selesai, inisialisasi tersebut akan berisi kolom
done
yang ditetapkan ketrue
. Contoh:{ name: "operations/customers/01b3fqdm/lro/AOIL6eBv7fEfiZ_hUSpm8KQDt1Mnd6dj5Ru3MXf-jri4xK6Pyb2-Lwfn8vQKg74pgxlxjrY" done: true }
Membuat sumber data
Selanjutnya, buat sumber data di konsol admin. Sumber data menyediakan namespace untuk mengindeks konten menggunakan konektor.
- Buka konsol Google Admin.
- Klik ikon Apps. Halaman "Administrasi aplikasi" akan muncul.
- Klik Google Workspace. Halaman "Administrasi aplikasi Google Workspace" akan muncul.
- Scroll ke bawah dan klik Cloud Search. Halaman "Setelan untuk Google Workspace" akan muncul.
- Klik Sumber data pihak ketiga. Halaman "Sumber Data" akan muncul.
- Klik tanda bulat + berwarna kuning. Dialog "Tambahkan sumber data baru" akan muncul.
- Di kolom Nama tampilan, ketik "tutorial".
- Di kolom Alamat email akun layanan, masukkan alamat email akun layanan yang Anda buat di bagian sebelumnya. Jika Anda tidak tahu alamat email akun layanan, cari nilai di halaman akun layanan.
- Klik TAMBAHKAN. Dialog "Berhasil membuat sumber data" akan muncul.
- Klik *OK. Perhatikan ID Sumber untuk sumber data yang baru dibuat. ID Sumber digunakan untuk mengonfigurasi konektor konten.
Membuat token akses pribadi untuk GitHub API
Konektor memerlukan akses yang diautentikasi ke GitHub API agar memiliki kuota yang cukup. Untuk mempermudah, konektor memanfaatkan token akses pribadi, bukan OAuth. Token pribadi memungkinkan autentikasi sebagai pengguna dengan serangkaian izin terbatas yang mirip dengan OAuth.
- Login ke GitHub.
- Di pojok kanan atas, klik foto profil Anda. Menu {i>drop-down <i}akan muncul.
- Klik Setelan.
- Klik Setelan developer.
- Klik Token akses pribadi.
- Klik Buat token akses pribadi.
- Di kolom Catatan, masukkan "Tutorial Cloud Search".
- Periksa cakupan public_repo.
- Klik Generate Token.
- Catat token yang dibuat. API ini digunakan oleh konektor untuk memanggil GitHub API dan memberikan kuota API untuk melakukan pengindeksan.
Mengonfigurasi konektor
Setelah membuat kredensial dan sumber data, perbarui konfigurasi konektor untuk menyertakan nilai berikut:
- Dari command line, ubah direktori ke
cloud-search-samples/end-to-end/connector/
. - Buka file
sample-config.properties
dengan editor teks. - Tetapkan parameter
api.serviceAccountPrivateKeyFile
ke jalur file kredensial layanan yang Anda download sebelumnya. - Tetapkan parameter
api.sourceId
ke ID sumber data yang Anda buat sebelumnya. - Setel parameter
github.user
ke nama pengguna GitHub Anda. - Tetapkan parameter
github.token
ke token akses yang Anda buat sebelumnya. - Simpan file.
Memperbarui skema
Konektor mengindeks konten terstruktur dan tidak terstruktur. Sebelum mengindeks data, Anda harus memperbarui skema untuk sumber data. Jalankan perintah berikut untuk memperbarui skema:
mvn exec:java -Dexec.mainClass=com.google.cloudsearch.tutorial.SchemaTool \
-Dexec.args="-Dconfig=sample-config.properties"
Menjalankan konektor
Untuk menjalankan konektor dan mulai mengindeks, jalankan perintah:
mvn exec:java -Dexec.mainClass=com.google.cloudsearch.tutorial.GithubConnector \
-Dexec.args="-Dconfig=sample-config.properties"
Konfigurasi default untuk konektor adalah mengindeks satu repositori dalam organisasi googleworkspace
. Mengindeks repositori memerlukan waktu sekitar 1 menit.
Setelah pengindeksan awal, konektor terus memeriksa perubahan pada repositori yang perlu tercermin dalam indeks Cloud Search.
Meninjau kode
Bagian lainnya memeriksa cara konektor dibuat.
Memulai aplikasi
Titik entri ke konektor adalah class GithubConnector
. Metode
main
membuat instance IndexingApplication
SDK dan memulainya.
ListingConnector
yang disediakan oleh SDK menerapkan strategi traversal
yang memanfaatkan antrean Cloud Search
untuk melacak status item dalam indeks. Library ini didelegasikan ke GithubRepository
, yang diimplementasikan oleh konektor contoh, untuk mengakses konten dari GitHub.
Menelusuri repositori GitHub
Selama traversal penuh, metode getIds()
dipanggil untuk mendorong item yang mungkin perlu diindeks ke dalam antrean.
Konektor dapat mengindeks beberapa repositori atau organisasi. Untuk memitigasi
dampak kegagalan, satu repositori GitHub dilalui pada satu waktu. Checkpoint ditampilkan dengan hasil traversal yang berisi daftar repositori yang akan diindeks dalam panggilan berikutnya ke getIds()
. Jika terjadi error, pengindeksan akan dilanjutkan di repositori saat ini, bukan memulai dari awal.
Metode collectRepositoryItems()
menangani traversal satu repo GitHub. Metode ini menampilkan kumpulan ApiOperations
yang mewakili item yang akan didorong ke antrean. Item dikirim sebagai
nama resource dan nilai hash yang mewakili status item saat ini.
Nilai hash digunakan dalam traversal repositori GitHub berikutnya. Nilai ini memberikan pemeriksaan ringan untuk menentukan apakah konten telah berubah tanpa harus mengupload konten tambahan. Konektor secara membabi buta mengantrekan semua item. Jika item baru atau nilai hash telah berubah, item akan tersedia untuk polling dalam antrean. Jika tidak, item dianggap tidak dimodifikasi.
Memproses antrean
Setelah traversal penuh selesai, konektor mulai melakukan polling pada antrean untuk item yang perlu diindeks. Metode getDoc()
dipanggil untuk setiap item yang diambil dari antrean. Metode ini membaca
item dari GitHub dan mengonversinya menjadi representasi yang tepat
untuk pengindeksan.
Karena konektor dijalankan pada data live yang dapat diubah kapan saja, getDoc()
juga memverifikasi bahwa item dalam antrean masih valid dan menghapus item apa pun yang sudah tidak ada dari indeks.
Untuk setiap objek GitHub yang diindeks oleh konektor, metode indexItem()
yang sesuai menangani pembuatan representasi item untuk Cloud Search. Misalnya, untuk membangun representasi item konten:
Selanjutnya, deploy antarmuka penelusuran.