Hướng dẫn chuyên sâu về cách thức hoạt động của Google Tìm kiếm

Google Tìm kiếm là một công cụ tìm kiếm hoàn toàn tự động, sử dụng những phần mềm được gọi là trình thu thập dữ liệu web có chức năng khám phá Internet thường xuyên nhằm tìm các trang để thêm vào chỉ mục của chúng tôi. Trên thực tế, rất ít trang xuất hiện trong các kết quả tìm kiếm của chúng tôi được gửi theo cách thủ công. Phần lớn các trang được tự động tìm thấy và thêm vào kết quả khi trình thu thập dữ liệu web của chúng tôi khám phá các trang web. Tài liệu này giải thích các giai đoạn trong cách thức hoạt động của Tìm kiếm cho bối cảnh trang web của bạn. Khi nắm được kiến thức cơ sở này, bạn có thể khắc phục các vấn đề về quá trình thu thập dữ liệu, lập chỉ mục các trang và tìm hiểu cách tối ưu hoá trang web trên Google Tìm kiếm.

Một vài lưu ý trước khi bắt đầu

Trước khi đi sâu vào cách thức hoạt động của Tìm kiếm, bạn cần lưu ý rằng Google không nhận tiền để thu thập dữ liệu thường xuyên hơn hay tăng thứ hạng cao hơn cho một trang web. Nếu bạn nghe ai đó nói khác thì đó là thông tin không đúng sự thật.

Google không đảm bảo sẽ thu thập dữ liệu, lập chỉ mục hoặc phân phát trang của bạn, ngay cả khi trang của bạn tuân thủ Nguyên tắc cơ bản của Google Tìm kiếm.

Google Tìm kiếm hoạt động theo ba giai đoạn và không phải tất cả các trang đều vượt qua được hết từng giai đoạn:

  1. Thu thập dữ liệu: Google dùng các chương trình tự động gọi là trình thu thập dữ liệu để tải văn bản, hình ảnh và video trên các trang mà chúng tôi tìm thấy trên Internet.
  2. Lập chỉ mục: Google phân tích các tệp văn bản, hình ảnh và video trên trang rồi lưu trữ thông tin trong một cơ sở dữ liệu lớn, gọi là Chỉ mục của Google.
  3. Phân phát kết quả tìm kiếm: Khi người dùng tìm kiếm trên Google, Google sẽ trả về thông tin liên quan đến cụm từ mà người dùng tìm kiếm.

Thu thập dữ liệu

Giai đoạn đầu tiên là tìm hiểu những trang đang có trên Internet. Do không tồn tại một danh mục trung tâm tập hợp mọi trang web, Google phải liên tục tìm những trang mới và mới cập nhật, rồi thêm những trang đó vào danh sách các trang đã biết. Quá trình này gọi là "Phát hiện URL". Một số trang được Google biết đến vì chúng tôi từng truy cập những trang đó. Google phát hiện các trang khác khi đi theo đường liên kết từ một trang đã biết đến một trang mới, ví dụ: một trang trung tâm (chẳng hạn như trang danh mục) liên kết đến một bài đăng mới trên blog. Ngoài ra, chúng tôi cũng phát hiện một số trang khác khi bạn gửi danh sách các trang (tức là một sơ đồ trang web) để Google thu thập dữ liệu.

Khi phát hiện ra URL của một trang, Google có thể truy cập (hoặc "thu thập dữ liệu") trang đó để tìm hiểu nội dung trên trang. Chúng tôi sử dụng một số lượng máy tính rất lớn để thu thập dữ liệu của hàng tỷ trang trên Internet. Chương trình thực hiện việc tìm nạp của chúng tôi được gọi là Googlebot (còn gọi là trình thu thập thông tin, bot, robot hay trình thu thập dữ liệu). Googlebot sử dụng một quy trình theo thuật toán để xác định những trang web cần thu thập dữ liệu, tần suất thu thập và số trang cần tìm nạp trên từng trang web. Trình thu thập dữ liệu của Google cũng được lập trình để cố gắng không thu thập dữ liệu quá nhanh trên trang web để tránh làm quá tải trang web. Cơ chế này dựa trên phản hồi của trang web (ví dụ: lỗi HTTP 500 có nghĩa là "chậm lại").

Tuy nhiên, Googlebot không thu thập dữ liệu tất cả các trang mà Googlebot phát hiện được. Một số trang có thể không được chủ sở hữu trang web cho phép thu thập dữ liệu, một số trang khác có thể không truy cập được nếu không đăng nhập vào trang web.

Trong quá trình thu thập dữ liệu, Google kết xuất trang và chạy mọi JavaScript tìm được bằng cách sử dụng một phiên bản Chrome mới, tương tự như cách trình duyệt của bạn kết xuất các trang mà bạn truy cập. Kết xuất là một bước quan trọng vì các trang web thường dựa vào JavaScript để đưa nội dung vào trang. Nếu không thực hiện quy trình kết xuất thì có thể Google sẽ không thấy nội dung đó.

Khả năng thu thập dữ liệu phụ thuộc vào việc trình thu thập dữ liệu của Google có truy cập được trang web hay không. Một số vấn đề thường gặp khi Googlebot truy cập các trang web bao gồm:

Lập chỉ mục

Sau khi thu thập dữ liệu trên một trang, Google sẽ tìm cách hiểu được nội dung của trang đó. Giai đoạn này gọi là lập chỉ mục và bao gồm cả hoạt động xử lý và phân tích nội dung văn bản cũng như thẻ và thuộc tính chính của nội dung, chẳng hạn như phần tử <title> và thuộc tính alt, hình ảnh, video, v.v.

Trong quá trình lập chỉ mục, Google xác định xem một trang có phải là bản sao của một trang khác trên Internet hay trang chính tắc không. Trang chính tắc là trang có thể xuất hiện trong kết quả tìm kiếm. Để chọn trang chính tắc, trước tiên, chúng tôi sẽ nhóm các trang có nội dung tương tự với nhau (còn gọi là hoạt động phân cụm) mà chúng tôi tìm thấy trên Internet. Sau đó, chúng tôi sẽ chọn trang tiêu biểu nhất trong nhóm đó. Các trang khác trong nhóm là các phiên bản thay thế có thể được phân phát trong các trường hợp khác nhau, như khi người dùng đang tìm kiếm trên thiết bị di động hoặc đang tìm một trang rất cụ thể trong nhóm đó.

Google cũng thu thập các tín hiệu về trang chính tắc và nội dung của trang đó (có thể dùng trong giai đoạn tiếp theo) để phân phát trang trong kết quả tìm kiếm. Một số tín hiệu bao gồm ngôn ngữ của trang, quốc gia bản địa của nội dung và khả năng hữu dụng của trang này.

Thông tin được thu thập về trang chính tắc và cụm của trang đó có thể được lưu trữ trong chỉ mục của Google, một cơ sở dữ liệu lớn được lưu trữ trên hàng nghìn máy tính. Google không đảm bảo hoạt động lập chỉ mục; không phải mọi trang mà Google xử lý đều sẽ được lập chỉ mục.

Hoạt động lập chỉ mục cũng phụ thuộc vào nội dung và siêu dữ liệu của trang. Một số vấn đề thường gặp khi lập chỉ mục có thể bao gồm:

Phân phát kết quả tìm kiếm

Khi người dùng nhập một cụm từ tìm kiếm, công cụ tìm kiếm của chúng tôi sẽ tìm kiếm các trang thích hợp trong chỉ mục và trả về kết quả mà chúng tôi cho là có chất lượng cao nhất và liên quan nhất với cụm từ tìm kiếm của họ. Mức độ liên quan được xác định dựa trên hàng trăm yếu tố, có thể bao gồm cả thông tin về vị trí, ngôn ngữ và thiết bị của người dùng (máy tính hoặc điện thoại). Ví dụ: khi tìm kiếm cùng cụm từ "cửa hàng sửa xe đạp", người dùng ở Paris và người dùng ở Hong Kong sẽ nhận được những kết quả khác nhau.

Dựa trên cụm từ tìm kiếm của người dùng, các tính năng của kết quả tìm kiếm xuất hiện trên trang kết quả tìm kiếm cũng thay đổi. Ví dụ: khi tìm kiếm "cửa hàng sửa xe đạp", có thể người dùng sẽ thấy kết quả địa phương và không có kết quả hình ảnh nào; trong khi đó, khi tìm kiếm "xe đạp hiện đại", nhiều khả năng người dùng sẽ thấy kết quả hình ảnh thay vì kết quả tại địa phương. Bạn có thể khám phá các thành phần phổ biến nhất trên giao diện người dùng Google Tìm kiếm cho web trong Thư viện Phần tử trực quan của chúng tôi.

Có thể Search Console cho bạn biết rằng một trang đã được lập chỉ mục nhưng bạn lại không thấy trang đó trên kết quả tìm kiếm. Nguyên nhân có thể là do:

Hướng dẫn này giải thích cách thức hoạt động của Tìm kiếm. Tuy nhiên, chúng tôi vẫn luôn không ngừng nỗ lực cải thiện thuật toán của mình. Bạn có thể nắm bắt những thay đổi này bằng cách theo dõi blog của Trung tâm Google Tìm kiếm.