L’optimisation du budget d’exploration est cruciale pour attirer l’attention des robots des moteurs de recherche sur les pages les plus importantes de votre site Web à chaque visite.

Voici certains des principaux avantages de l’amélioration du budget d’exploration:

Réduction des coûts de serveur / bande passante.Augmentation du taux d’exploration des pages précieuses.Augmentation de la vitesse de découverte de nouvelles pages.Augmentation de la vitesse de mise à jour des pages modifiées dans l’index.

Googlebot est bien équipé pour pouvoir parcourir la majorité des pages de petits sites à chaque visite, ce qui explique pourquoi les googleurs comme John Mueller ne veulent pas que les propriétaires de sites Web perdent du temps à se soucier des sites qui seront bien explorés.

Le budget d’exploration de l’OMI est surévalué. La plupart des sites n’ont jamais à s’en soucier. C’est un sujet intéressant, et si vous explorez le Web ou exécutez un site de plusieurs milliards d’URL, c’est important, mais le propriétaire de site moyen l’est moins.

– 🍌 John 🍌 (@JohnMu) 30 mai 2018

Cependant, l’analyse du budget d’exploration ne consiste pas seulement à voir ce qu’est Googlebot ou à ne pas explorer.

Il y a beaucoup de valeur à gagner en analysant plus en détail le comportement des robots des moteurs de recherche, et c’est pourquoi chaque qwanturank devrait l’intégrer dans son travail quotidien.

Quels fichiers journaux peuvent révéler sur le comportement des moteurs de recherche

En fouillant dans les fichiers journaux, vous pouvez voir comment les moteurs de recherche explorent, pas seulement ce qu’ils explorent.

Vous pouvez reconstituer une image précieuse de ce que les moteurs de recherche jugent important et de leurs difficultés, en cartographiant le parcours de chaque robot avec les données du fichier journal.

Voici cinq façons clés de filtrer les données de votre fichier journal pour obtenir les informations les plus pertinentes sur le comportement des moteurs de recherche:

Code d’état Indexabilité Liaison interne Catégorie de site Performances organiques

Pour essayer vous-même les méthodes suivantes, vous devez avoir accès à:

Les fichiers journaux d’un site (ou un outil comme Sunlight qui surveille l’activité des robots des moteurs de recherche via une balise de suivi) Un outil d’exploration qui intègre les données d’outils comme qwanturank Analytics et qwanturank Search Console Une bonne feuille de calcul à l’ancienne pour filtrer et pivoter .

1. Code d’état

Vous pouvez évaluer la répartition du budget d’exploration sur les différentes pages de votre site en regroupant les données de votre fichier journal par code d’état.

Cela vous donne un aperçu de haut niveau de la part du budget d’exploration d’un moteur de recherche qui est dépensée sur 200 pages importantes et de la quantité gaspillée sur les pages d’erreur et les redirections.

Actions

À l’arrière de ces données, voici quelques mesures que vous pouvez prendre pour améliorer le budget d’exploration sur votre site:

Analysez les 200 URL de code d’état pour identifier celles qui n’ont pas besoin d’être explorées.Ajoutez des règles d’interdiction à votre fichier robots.txt pour les pages non essentielles avec 200 codes d’état pour les rendre inaccessibles aux robots d’exploration.Retirez les liens internes vers 404 pages, et redirigez-les si nécessaire. Supprimez toutes les pages de codes d’état autres que 200 des sitemaps XML. Corrigez les chaînes de redirection pour vous assurer qu’il n’y a qu’une seule étape dans chaque redirection à laquelle accèdent les robots des moteurs de recherche et les utilisateurs.

2. Indexabilité

Il existe un certain nombre de facteurs différents qui influent sur l’indexation d’une page par les moteurs de recherche, tels que les balises meta noindex et les balises canoniques.

C’est le type de données que vous pouvez obtenir à partir d’un outil d’exploration et combiner avec les données de votre fichier journal pour analyser les disparités entre les pages explorées et indexées.

Il est important de s’assurer que les robots des moteurs de recherche ne perdent pas leur temps à explorer des pages qui ne peuvent même pas être ajoutées ou mises à jour dans l’index.

Actions

Une fois que vous avez rassemblé ces données, voici quelques étapes que vous pouvez suivre pour gérer les pages non indexables et améliorer l’efficacité de l’exploration:

Vérifiez que les pages non indexables en cours d’analyse ne sont pas réellement des pages importantes qui devraient être autorisées à être indexées.Ajouter des chemins d’accès non autorisés dans votre fichier robots.txt pour empêcher les pages non indexables de faible qualité d’être analysées.Ajouter des balises noindex pertinentes et canoniques des balises sur les pages pour montrer aux moteurs de recherche qu’elles sont de faible importance Identifiez les pages interdites qui sont explorées par les moteurs de recherche qui sont bloquées par les règles de robots.txt.Assurez-vous que les paramètres de votre console de recherche qwanturank sont corrects et à jour.

3. Liens internes

Les liens internes ont beaucoup de poids en termes d’influence sur les pages que les moteurs de recherche devraient explorer plus fréquemment.

Plus une page contient de liens internes, plus elle est facilement détectable et plus elle a de chances d’être explorée plus fréquemment à chaque fois que qwanturank visite votre site.

La superposition des données de hit de bot avec des données de liaison internes vous permet de vous faire une idée de la façon dont les moteurs de recherche ont une compréhension de votre site Web et de sa structure, et de la facilité avec laquelle ils trouvent les différentes zones de votre site.

Actions

Voici quelques-uns des correctifs que vous pouvez implémenter pour augmenter l’efficacité de l’analyse grâce à la liaison interne:

Identifiez les liens internes recevant une quantité importante de bots, et évaluez s’il s’agit d’URL principales.Mettez à jour les liens internes vers les URL canoniques.Assurez-vous que tous les liens internes pointent vers 200 URL de destination finale de code d’état, et ne redirigent pas.Identifiez les pages importantes reçoivent un faible nombre de visites de robots et ajoutent davantage de liens internes vers ces pages pour améliorer la fréquence d’exploration.

4. Catégorie de site

Toutes les catégories de sites n’ont pas le même poids et la même importance pour une entreprise pour générer des conversions ou pour que les moteurs de recherche envoient du trafic organique vers.

Pour un site de commerce électronique, les pages de produits devront être explorées plus fréquemment par les moteurs de recherche car elles changent fréquemment et ces changements doivent être continuellement reflétés dans l’index du moteur de recherche.

Un article de blog à feuilles persistantes qui est mis à jour une fois par an, sera cependant une priorité beaucoup plus faible pour un site Web en termes de fréquence d’exploration.

La segmentation des données de votre fichier journal par catégorie de site peut fournir des informations inestimables sur l’exploration de chacun et la fréquence à laquelle elles sont visitées par les moteurs de recherche.

Actions

Voici quelques étapes à suivre pour améliorer l’efficacité de l’exploration dans les catégories de votre site:

Identifiez les segments qui reçoivent un grand nombre de hits de bots mais ne reçoivent pas de clics ou d’impressions Identifiez les segments de site qui reçoivent un faible nombre de hits de bots et assurez-vous qu’ils sont facilement accessibles dans l’architecture du site pour améliorer l’exploration. le budget est réparti sur différentes variantes de sites Web, telles que des pages distinctes pour ordinateur et mobile et des pages AMP (Accelerated Mobile Pages). Fréquence de cartographie par rapport à chaque segment pour garantir que Googlebot est en mesure de suivre les catégories de pages qui changent fréquemment en les explorant régulièrement.

5. Performance organique

Certaines des mesures les plus précieuses avec lesquelles vous pouvez superposer les données des fichiers journaux sont les mesures de performances organiques telles que les impressions dans les SERP (pages de résultats des moteurs de recherche) et le trafic vers votre site Web par les utilisateurs.

Il est important de comprendre comment les moteurs de recherche explorent et naviguent sur votre site Web, mais le résultat final que nous visons tous est d’atteindre les utilisateurs avec notre contenu.

Une page peut obtenir beaucoup de visites des robots des moteurs de recherche, mais cela serait gêné par le fait qu’elle n’obtient pas d’impressions ou de trafic.

Le mappage des mesures de performances par rapport aux données des fichiers journaux vous permet d’analyser dans quelle mesure vos pages sont accessibles aux utilisateurs, pas seulement aux moteurs de recherche.

Actions

Voici quelques étapes à suivre pour améliorer la découvrabilité de vos pages clés et leurs performances dans la recherche organique:

Identifiez les pages qui reçoivent du trafic et des impressions qui ne sont pas explorées par les moteurs de recherche.Assurez-vous que les pages hautes performances sont incluses dans les sitemaps XML et améliorez les liens internes vers celles-ci pour encourager une analyse plus régulière.Identifiez les pages qui sont analysées régulièrement mais qui ne sont pas aren  » t recevoir des impressions ou du trafic, et filtrer celles-ci en primaire.URL pour voir quelles pages importantes ne fonctionnent pas comme elles devraient l’être dans la recherche.Auditez ces pages peu performantes pour vérifier les problèmes qui pourraient avoir un impact sur leurs performances de classement, tels que la qualité du contenu et le ciblage des intentions, ainsi que les problèmes d’indexation et de rendu qui pourraient empêcher les moteurs de recherche d’accéder à leur contenu.

La surveillance continue des fichiers journaux est cruciale

L’exécution d’un audit de budget d’analyse à l’aide de données de fichier journal de cette manière n’est pas seulement une tâche ponctuelle. Pour vraiment comprendre le comportement des moteurs de recherche, il est important de surveiller ces zones régulièrement.

Le comportement de l’exploration varie de façon continue, en fonction d’une combinaison de facteurs tels que les algorithmes de priorisation de l’exploration de Googlebot et les problèmes techniques sur votre site qui peuvent avoir un impact sur l’exploration.

C’est pourquoi il est essentiel de suivre les changements dans la façon dont le budget d’exploration est dépensé sur votre site au fil du temps, en surveillant en permanence des mesures telles que le taux de réussite moyen des robots par segment de site et code d’état, par exemple.

Pour résumer

L’analyse des fichiers journaux devrait jouer un rôle dans le travail quotidien de chaque professionnel du référencement, car les fichiers journaux sont l’un des moyens par lesquels vous pouvez vous rapprocher le plus de la compréhension de Googlebot.

Les outils de référencement essaient d’imiter le comportement des robots des moteurs de recherche, mais avec les fichiers journaux, vous pouvez analyser la réalité.

En croisant les résultats des robots des moteurs de recherche avec des mesures importantes telles que l’indexabilité, les liens internes et les performances des pages, vous pourrez découvrir des informations plus précieuses sur l’accessibilité d’un site Web pour les moteurs de recherche qui doivent l’explorer.

Davantage de ressources:

Crédits d’image

Toutes les captures d’écran prises par l’auteur, février 2020