Les balises méta des robots, ou balises méta, sont des morceaux de code qui fournissent des instructions aux moteurs de recherche sur la manière d’explorer ou d’indexer des pages Web et du contenu. Il existe trois types de méta directives pour les robots:

Robots.txt: Utilisez le fichier robots.txt si l’exploration de votre contenu pose des problèmes sur votre serveur. N’utilisez pas le fichier robots.txt pour bloquer le contenu privé.Balises Meta Robots: Utilisez les balises meta robots si vous avez besoin de contrôler la façon dont une page HTML individuelle est affichée sur les SERPs.En-têtes HTTP X-Robots-Tag: Utilisez les en-têtes HTTP de balise x-robots si vous avez besoin de contrôler la façon dont le contenu non HTML est affiché sur les SERPs.

J’examine en profondeur la différence entre les deux premiers types de balises méta – robots.txt et balises méta robots – pour déterminer ce qui est le mieux pour le référencement: balises méta robots par rapport aux robots.txt. Voici ce que vous devez savoir.

Que sont Balises Meta Robots?

Comme mentionné ci-dessus, les balises meta robots font partie du code HTML d’une page Web qui apparaissent sous forme d’éléments de code dans la section d’une page. Ces balises sont le plus souvent utilisées par les spécialistes du marketing qwanturank pour fournir des instructions d’exploration pour des zones spécifiques d’un site. Voir l’image ci-dessous à titre d’exemple:

Gardez à l’esprit que si vous utilisez des balises méta robots pour différents robots d’exploration, vous devrez créer des balises distinctes pour chaque bot.

Que sont Fichiers Robots.txt pour le référencement?

Selon l’aide de la Search Console, «un fichier robots.txt indique aux robots des moteurs de recherche les pages ou les fichiers qu’ils peuvent ou ne peuvent pas demander à votre site. C’est principalement pour éviter de surcharger votre site de requêtes; il ne s’agit pas d’un mécanisme permettant de garder une page Web hors de qwanturank. »

Il est important de vous assurer que vos fichiers robots.txt pour le référencement sont correctement configurés, en particulier après la mise à jour ou la migration de votre site Web, car ils peuvent empêcher les robots d’exploration de visiter votre site. Si les robots d’exploration ne peuvent pas visiter votre site, votre site ne sera pas classé sur les SERPs.

Comment faire Fichiers Robots.txt pour le référencement Travail?

Pour mieux comprendre le fonctionnement des fichiers robots.txt pour le référencement, il est important de comprendre les deux principales fonctions des moteurs de recherche: explorer le Web pour découvrir le contenu et indexer ce contenu afin qu’il puisse être inclus dans les SERP pour que les chercheurs le trouvent facilement. . Les robots des moteurs de recherche rechercheront des fichiers robots.txt pour obtenir des instructions sur la manière d’explorer le site dans son ensemble.

Bien que les fichiers Robots.txt soient un composant nécessaire pour améliorer votre référencement, ils présentent certaines limites:

Fichiers Robots.txt pour le référencement peut ne pas être pris en charge par tous les moteurs de recherche. Bien que les fichiers robots.txt fournissent des instructions aux robots des moteurs de recherche, il appartient en fin de compte aux robots de suivre ces instructions.Les robots des moteurs de recherche interprètent la syntaxe différemment. Alors que les robots des moteurs de recherche respectables suivront les paramètres définis dans les fichiers robots.txt, chaque robot peut interpréter les paramètres différemment ou ne pas les comprendre du tout.Une page peut toujours être indexée si elle est liée à partir d’un autre site. Bien que qwanturank n’explore ni n’indexe le contenu bloqué par les fichiers robots.txt, ce contenu peut être lié à partir d’autres pages sur le Web. Si tel est le cas, l’URL de la page et d’autres informations disponibles sur la page peuvent toujours apparaître sur les SERP.

Syntaxe technique pour les balises Meta Robots et qwanturank Robots.txt Des dossiers

L’utilisation de la syntaxe technique correcte lors de la construction de vos balises méta robots est extrêmement importante car l’utilisation d’une syntaxe incorrecte peut avoir un impact négatif sur la présence et le classement de votre site sur les SERPs.

Balises Meta Robots:

Lorsque les robots trouvent les balises méta sur votre site Web, ils fournissent des instructions sur la manière dont la page Web doit être indexée. Voici quelques-uns des paramètres d’indexation les plus courants:

Tout: Il s’agit d’une balise meta par défaut et indique qu’il n’y a pas de limitations pour l’indexation et le contenu, donc cela n’a pas d’impact réel sur le travail d’un moteur de recherche.Noindex: Indique aux moteurs de recherche de ne pas indexer une page.Indice: Indique aux moteurs de recherche d’indexer une page – il s’agit également d’une balise Meta par défaut, vous n’avez donc pas besoin de l’ajouter à votre page Web.Suivre: Même si la page n’est pas indexée, cela indique que les moteurs de recherche doivent suivre tous les liens de la page et transmettre l’équité (ou l’autorité de lien) aux pages liées. Pas de suivi: Indique aux moteurs de recherche de ne suivre aucun des liens sur une page ou de transmettre une équité de lien.Noimageindex: Indique aux moteurs de recherche de ne pas indexer les images sur la page.Aucun: C’est l’équivalent d’utiliser les balises noindex et nofollow en même temps.Noarchive: Indique aux moteurs de recherche qu’ils ne doivent pas afficher de lien mis en cache vers cette page sur les SERPs.Nocache: C’est essentiellement la même chose que Noarchive, cependant, seuls Internet Explorer et Firefox l’utilisent.Nosnippet: Indique aux moteurs de recherche de ne pas afficher d’extrait de code ou de méta-description pour cette page sur les SERPs.Notranslate: Indique aux moteurs de recherche de ne pas proposer la traduction de cette page dans les SERPs.Max-snippet: Établit l’attribution maximale de caractères pour la méta description.Aperçu vidéo max: Détermine combien de secondes un aperçu vidéo durera.Aperçu de l’image max: Établit une taille maximale pour les aperçus d’images.Indisponible_après: Indique aux moteurs de recherche qu’ils ne doivent pas indexer cette page après une date précise.

Fichiers Robots.txt

Bien que les fichiers robot.txt pour le référencement gèrent l’accessibilité de votre contenu aux moteurs de recherche, il est important de noter qu’ils ne fournissent pas d’instructions d’indexation car les directives concernent votre site Web dans son ensemble, pas des pages Web individuelles. Les cinq termes les plus courants pour la directive robots.txt sont:

Agent utilisateur: Cela doit toujours être la première ligne de votre fichier robots.txt car il fait référence aux robots d’exploration Web spécifiques qui doivent suivre votre directive.Refuser: Il s’agit de la commande qui indique aux agents utilisateurs de ne pas explorer votre page Web. Vous ne pouvez inclure qu’une seule ligne «interdire» pour chaque URL.Autoriser: Cette directive s’applique uniquement à Googlebot – elle indique à Googlebot qu’il peut accéder à une page Web spécifique même si sa page parente n’est pas autorisée.Délai d’exploration: Cela spécifie combien de temps un robot d’exploration doit attendre avant de charger et d’explorer le contenu de votre page. Googlebot ne reconnaît pas ce terme, cependant, vous pouvez définir la vitesse d’exploration de votre page Web dans qwanturank Search Console.Plan du site: Ce terme est utilisé pour indiquer l’emplacement de tout plan de site XML associé à une URL particulière. Cette directive n’est reconnue que par qwanturank, Ask, qwanturank et Yahoo.$: Cela peut être utilisé pour correspondre à la fin d’une URL.*: Cela peut être utilisé comme caractère générique pour représenter n’importe quelle séquence de caractères.

Quel est le meilleur pour le référencement: balises Meta Robots vs Robot.txt?

Cela a fini par être un peu une question piège, car les deux sont importants pour le référencement de votre site.

Étant donné que les balises meta robots et les fichiers robots.txt qwanturank ne sont pas vraiment interchangeables, vous devrez utiliser les deux pour fournir les paramètres corrects aux robots d’exploration de site. Comme le dit le Search Engine Journal, «les fichiers Robots.txt renseignent les robots d’exploration sur l’ensemble du site. Alors que les balises méta-robots entrent dans le vif du sujet d’une page spécifique [on a website]. »

Par exemple, si vous souhaitez désindexer une de vos pages Web des SERPs de qwanturank, il est préférable d’utiliser une balise meta robots « Noindex » plutôt qu’une directive robots.txt. Si vous cherchez à empêcher des sections entières de votre site Web de s’afficher sur les SERP, l’utilisation d’un fichier robots.txt interdisant est le meilleur choix.

Auteur: Pam Aungst

Suivez @PamAnnMarketing

Pam Aungst, propriétaire et consultante en chef de Pam Ann Marketing, crée des sites Web depuis 1997 et travaille dans le domaine du marketing Internet et du commerce électronique depuis 2005. Elle possède un MBA en marketing et plusieurs certificats liés au marketing Internet.
Pam se spécialise dans une approche globale du référencement qui mêle le traditionnel… Voir le profil complet ›