Optimiser votre budget d'exploration

Ce guide explique comment optimiser l'exploration par Google des sites très volumineux et fréquemment mis à jour.

Si votre site ne comporte pas un grand nombre de pages qui changent rapidement ou si vos pages semblent être explorées le jour de leur publication, vous n'avez pas besoin de lire ce guide. Pour la recherche Google en particulier, il suffit de mettre à jour votre sitemap et de consulter régulièrement le rapport sur l'indexation des pages.

À qui s'adresse ce guide ?

Bien que les recommandations de ce guide constituent de bonnes pratiques de manière générale, il s'agit d'un guide avancé destiné principalement aux types de sites suivants :

Sites très volumineux (plus d'un million de pages uniques) dont le contenu change assez souvent (une fois par semaine)
Sites de taille moyenne ou grande (plus de 10 000 pages uniques) dont le contenu change très rapidement (quotidiennement)
Sites dont une proportion importante d'URL est classifiée comme Détectée, actuellement non indexée par la Search Console

Théorie générale de l'exploration

Le Web est tellement vaste qu'il ne permet pas à Google d'explorer toutes les URL accessibles au public. C'est pourquoi Google ne peut pas consacrer un temps et des ressources infinis à l'exploration de chaque site. L'allocation de ces ressources est généralement appelée budget d'exploration d'un site. Dans ce contexte, l'infrastructure d'exploration de Google définit un site comme un nom d'hôte unique. Par exemple, https://www.example.com/ et https://code.example.com/ sont traités comme des sites distincts et ont des budgets d'exploration distincts. Le budget d'exploration d'un site est déterminé par deux éléments clés : la limite de la capacité d'exploration et le besoin d'exploration.

Limite de la capacité d'exploration

L'objectif de Google est d'explorer votre site sans surcharger vos serveurs. Pour cela, les robots d'exploration Google calculent une limite de la capacité d'exploration (également appelée charge de l'hôte). Cela limite la durée totale pendant laquelle votre serveur maintient les connexions ouvertes pour Google, en tenant compte à la fois du nombre de connexions parallèles et de leur durée. Cela permet à Google de couvrir l'ensemble de votre contenu important sans surcharger vos serveurs.

Chaque site commence avec la même limite prudente de capacité d'exploration par défaut. Si la demande d'exploration augmente et que le site reste opérationnel, les systèmes de Google ajustent automatiquement cette limite au fil du temps.

La limite de la capacité d'exploration peut augmenter ou diminuer en fonction de différents facteurs :

État de l'exploration : si le site répond de manière cohérente et que ses temps de réponse (y compris la latence et le Time to First Byte) restent stables ou s'améliorent, la limite augmente et davantage de connexions peuvent être utilisées pour l'exploration. Si le site ralentit (la latence augmente ou les temps de réponse s'allongent), ou répond par des erreurs de serveur (codes d'état 5xx HTTP) ou des signaux de limitation du débit (tels que HTTP 429), la limite diminue et Google réduit son exploration.
Limites d'exploration de Google : bien que les ressources de Google soient vastes, elles ne sont pas infinies. Aussi nous devons gérer l'allocation des ressources sur le Web.

Besoin d'exploration

Chaque robot d'exploration a ses propres "besoins" en matière d'exploration du Web, déterminés par des facteurs qui lui sont propres. Par exemple, les besoins d'AdsBot sont est généralement plus élevés lorsqu'un site diffuse des cibles d'annonces dynamiques, et ceux de Google Shopping sont plus élevés pour les produits que vous avez dans vos flux de marchand.

Pour Googlebot, les besoins varient en fonction de la taille du site, de la fréquence de mise à jour, de la qualité des pages et de sa pertinence par rapport aux autres sites. Les principaux facteurs sur lesquels vous pouvez agir sont les suivants :

Inventaire perçu : sans consigne de votre part, Google tente d'explorer la totalité ou la plupart des URL de votre site dont il a connaissance. Si un grand nombre d'entre elles constituent des doublons ou si leur exploration n'est pas indispensable pour une autre raison (page supprimée, contenu sans importance, etc.), une grande partie du temps passé par Google sur votre site est gaspillé. Ce facteur fait partie de ceux que vous pouvez contrôler le plus facilement.
Popularité : les URL les plus populaires sur Internet ont tendance à être explorées plus souvent pour être le plus à jour possible dans nos systèmes.
Obsolescence : l'objectif de nos systèmes est d'explorer fréquemment les documents afin d'identifier toute modification.

En outre, les événements sur l'ensemble du site comme les déplacements peuvent déclencher une augmentation du besoin d'exploration afin de traiter à nouveau le contenu sur les nouvelles URL.

Résumé

En associant la capacité d'exploration au besoin d'exploration, Google définit le budget d'exploration d'un site comme l'ensemble des URL que Google peut et veut explorer. Même si la limite de la capacité d'exploration n'est pas atteinte, si le besoin d'exploration est faible, Google explore moins votre site.

Bonnes pratiques

Pour optimiser l'efficacité de l'exploration, suivez ces bonnes pratiques :

Gérez votre inventaire d'URL : utilisez les outils appropriés pour indiquer à Google les pages à explorer ou à ne pas explorer. Si Google passe trop de temps à explorer des URL qu'il ne devrait pas, ses robots d'exploration peuvent décider de ne pas explorer le reste de votre site ou de ne pas augmenter votre budget d'exploration.
- Consolidez le contenu en double. Éliminez le contenu en double afin de concentrer l'exploration sur le contenu qui est unique plutôt que sur les URL uniques.
- Bloquez l'exploration des URL à l'aide du fichier robots.txt. Il est possible que certaines pages soient importantes pour les utilisateurs, mais que vous ne souhaitiez pas forcément qu'elles apparaissent sur les surfaces Google ou qu'elles soient traitées de nouveau par les systèmes Google (pages à défilement infini qui dupliquent des informations sur des pages liées ou versions triées différemment de la même page, par exemple). Si vous ne pouvez pas les consolider comme décrit au premier point, bloquez ces pages sans importance à l'aide du fichier robots.txt. En bloquant les URL avec robots.txt, vous empêchez Google de les explorer et vous réduisez considérablement le risque qu'elles soient traitées par d'autres systèmes Google (par exemple, qu'elles soient indexées par la recherche Google).
  N'utilisez pas la balise noindex, car Google enverra tout de même une demande d'exploration, avant d'abandonner la page une fois la balise ou l'en-tête meta noindex détectée dans la réponse HTTP, ce qui consomme inutilement des ressources d'exploration. N'utilisez pas le fichier robots.txt pour allouer temporairement une partie du budget d'exploration à d'autres pages, mais pour bloquer les pages ou les ressources dont vous ne souhaitez pas qu'elles soient explorées par Google. Google ne redistribue pas à d'autres pages le budget d'exploration devenu disponible, sauf si la limite de diffusion de votre site est sur le point d'être atteinte.
- Renvoyez un code d'état 404 ou 410 pour les pages supprimées définitivement. Google n'oublie pas les URL dont il a connaissance, mais un code d'état 404 lui permet de comprendre qu'il n'est plus utile d'explorer à nouveau l'URL correspondante. En revanche, les URL bloquées restent dans la file d'attente d'exploration beaucoup plus longtemps et sont réexplorées une fois que le blocage est supprimé.
- Éliminez les erreurs soft 404. Les pages soft 404 continuent à être explorées et consomment donc inutilement une partie de votre budget. Recherchez les erreurs soft 404 dans le rapport sur l'indexation des pages.
- Mettez régulièrement à jour vos sitemaps. Google consulte régulièrement votre sitemap. Veillez donc à y inclure tout le contenu à explorer. Si votre site comprend du contenu mis à jour, nous vous recommandons d'inclure la balise <lastmod>.
- Évitez les longues chaînes de redirection, qui ont un effet négatif sur l'exploration.
Optimisez le chargement de vos pages. Si Google peut charger et afficher vos pages plus rapidement, nous pourrions être en mesure de lire davantage de contenu sur votre site.
- Améliorez la vitesse de chargement : optimisez les temps de réponse de votre serveur et vos ressources pour accélérer le chargement des pages.
- Utiliser la mise en cache HTTP : accepter les codes d'état HTTP 304 (Not Modified). Si une page n'a pas changé depuis la dernière exploration de Google, renvoyer un code 304 indique à Google de réutiliser la version mise en cache, ce qui permet d'économiser la bande passante et les ressources de votre serveur.
Déboguez les problèmes liés au budget d'exploration. Vérifiez si votre site a rencontré des problèmes de disponibilité lors de l'exploration et cherchez des moyens d'améliorer l'efficacité de l'exploration.

Comment augmenter mon budget d'exploration ?

Il existe deux façons d'augmenter le budget d'exploration :

Ajoutez des ressources de serveur : si votre site ne peut pas être exploré en raison de la capacité du serveur de votre côté (par exemple, si vous recevez le message Charge de l'hôte dépassée dans l'outil d'inspection d'URL), ajoutez des ressources de serveur si cela a du sens pour votre entreprise.
Optimisez la qualité de votre contenu pour le produit Google que vous ciblez : Google détermine les ressources d'exploration allouées à chaque site en tenant compte des éléments pertinents pour le produit Google spécifique. Par exemple, pour la recherche Google, cela inclut des éléments tels que la popularité, la valeur globale pour l'utilisateur, l'originalité du contenu et la capacité de diffusion.