Combien de fois avez-vous cité une métrique extraite de Google Analytics sans vraiment savoir ce que cela signifiait? Ne crains pas, tu n’es pas seul.

Depuis trop longtemps, les spécialistes du marketing ont eu des idées fausses sur la façon de définir une métrique particulière – le taux de rebond, ce qui la confondait avec le taux de sortie ou en ajoutant des critères inexistants. Nous avons donc mis au point un guide rapide pour vous aider à devenir un passionné de taux de rebond.

Comment le taux de rebond est-il calculé dans Google Analytics?

Le Google Analytics guide d'aide est un bon premier arrêt lorsque vous essayez d'aller au fond des choses. Et avec cela, il vous suffit de vous rappeler deux choses essentielles:

1. Un rebond dans Google Analytics est une session d'une page sur un site web

2. Le taux de rebond d'une page est basé uniquement sur les sessions commençant par cette page.

Qu'est-ce que cela signifie en pratique?

Voici un exemple avec trois sessions:

Imaginez qu'il y ait eu trois sessions d'utilisateurs sur votre site Web. Au cours de ces sessions, les pages suivantes ont été visionnées dans cet ordre:

• Première session: page A> page B> page C> exit
• Deuxième session: page B> page A> page C> exit
• Session trois: page A> sortie

Taux de rebond de la page A = 50%
Taux de rebond de la page B =0%
Taux de rebond de la page C = 0%

Pourquoi? Vous avez peut-être tendance à penser que le taux de rebond de la page A est de 33% car la page a été visionnée trois fois et que l'utilisateur n'est sorti du site Web qu'après avoir consulté la page A. C'est une idée fausse commune, mais cette logique est en réalité la définition du «taux de sortie».

De même, vous pourriez être tenté de penser que le taux de rebond de la page C est de 100%, car toutes les sessions qui ont inclus la page C dans leur parcours ont été immédiatement suivies d’une sortie. Toutefois, seules les pages commençant une session sont incluses dans ces calculs.

Voici un exemple avec cinq sessions:

• Page B> page A> page C> sortie
• Page B> sortie
• Page A> Page C> Page B> sortie
• Page C> sortie
• Page B> page C> page A> sortie

Le taux de rebond de la page C est de 100%. Il a été visité quatre fois, cependant, une seule session a commencé avec. Il est donc le seul à compter de Google Analytics dans ses calculs de taux de rebond.

Qu'est-ce qu'une sortie dans Google Analytics?

En termes simples, une sortie est lorsqu'un utilisateur quitte le site Web d'une manière ou d'une autre.

Cela signifie que si l'un des objectifs de votre site Web est d'inciter les utilisateurs à cliquer sur un détaillant tiers après avoir consulté une page de produit, les utilisateurs devront quitter le site Web pour pouvoir être comptabilisés comme une conversion.

Dans ce cas particulier, vous pourriez théoriquement avoir des pages présentant simultanément un taux de rebond de 100% et un taux de conversion de 100%. Mais réduire le nombre de sessions d'une seule page sur votre site Web est-il vraiment votre objectif?

Sinon, vous voudrez peut-être envisager un indicateur de performance clé différent pour votre entreprise. Pour SEO marketing, c’est souvent le KPI incontournable pour rendre compte des performances, mais d’autres – telles que le taux de sortie – peuvent être plus adaptées aux objectifs de votre site Web.

Comment devrions-nous utiliser le taux de rebond et le taux de sortie pour un reporting efficace?

1. Taux de rebond au niveau du site Web

Au niveau du site Web (le chiffre généralement présent dans le tableau de bord Google Analytics), le taux de rebond ne représente que le pourcentage de sessions d'une seule page par rapport à l'ensemble des sessions.

En raison de ses paramètres par défaut, Google Analytics peut induire en erreur car il indique une flèche décroissante avec une flèche verte, ce qui suggère qu'il est «bon», tandis que toute reprise est marquée en rouge et perçue comme «mauvaise». Cependant, avoir un taux de rebond plus élevé peut être une bonne chose – l’utilisateur n’a peut-être besoin que de visiter une page pour trouver les informations dont il a besoin. Cela dépend entièrement du type de site Web sur lequel vous faites rapport et du contenu qu’il sert (commerce électronique, blogs, informationnel, et les autres).

Les modifications du taux de rebond au niveau du site Web ne doivent pas être utilisées pour évaluer les performances d'un site Web, mais plutôt pour notifier un changement nécessitant une enquête plus approfondie.

2. Taux de rebond au niveau de la page

Si cela augmente pour une page particulière, il est important d'évaluer le type de page pour savoir si le changement est positif ou négatif:

Une liste non exhaustive d'exemples

• Page d'accueil: une augmentation du taux de rebond est généralement négative et signifie que moins d'utilisateurs sont disposés à visiter un site Web au-delà de sa page d'accueil.
• Contenu / article: une augmentation du taux de rebond pourrait signifier que les utilisateurs ont trouvé les informations dont ils ont besoin. Dans ce cas, le taux de rebond seul ne peut pas être utilisé pour déterminer un changement positif ou négatif.
• Page produit: une augmentation du taux de rebond sur les pages contenant des fonctionnalités de commerce électronique doit être analysée en même temps que les modifications apportées récemment aux modèles de site Web afin de garantir que l'expérience utilisateur n'affecte pas négativement l'expérience d'achat.

3. Taux de sortie au niveau du site Web

Au niveau d'un site Web, le taux de sortie ne fournit pas de données très significatives car les utilisateurs devront toujours quitter un site Web à partir de l'une de ses pages à un moment donné.

Google Analytics fournit toujours ce type de données sous l'onglet Comportement, mais il n'est pas recommandé d'utiliser ces informations pour générer des rapports sur les performances Web.

Le taux de sortie au niveau du site Web ne peut être autre que 100%. Toutefois, sachez que Google Analytics utilise une moyenne des taux de sortie pour toutes les pages du site Web afin d’obtenir une «moyenne de site Web».

4. Taux de sortie au niveau de la page (ou ensemble de pages)

C'est là que le taux de sortie brille vraiment. Si vous avez un parcours d'utilisateur idéal pour votre site Web, le taux de sortie peut vous aider à identifier les changements de comportement des utilisateurs. À partir de là, vous pouvez modifier les modèles de pages Web pour amener les utilisateurs d'un point à un autre – en utilisant plusieurs pages et en surveillant le point de sortie des utilisateurs – et ainsi terminer leur parcours.

Maintenant que vous maîtrisez la différence entre taux de rebond et taux de sortie et comment les utiliser efficacement dans vos rapports, il est temps de mettre vos connaissances en pratique. Connectez-vous à Google Analytics et commencez à comprendre ce que ces statistiques signifient réellement pour le site Web.

Lecture connexe

Jim Yu, de BrightEdge, décrit les cinq niveaux de redimensionnement du référencement, du référencement manuel au référencement en temps réel et aux optimisations automatisées.

Hubspot a constaté que 82% d'un sondage auprès des consommateurs laisserait un site Web non sécurisé. Quatre étapes pour commencer à utiliser la sécurité et pourquoi cela aidera votre référencement.

Quiconque s’appuyant sur rel = nofollow pour tenter d’empêcher l’indexation d’une page doit envisager d’utiliser d’autres méthodes pour empêcher l’exploration ou l’indexation des pages.

Faits saillants de l'événement Transformation of Search Summit, comprenant des citations, des statistiques et d'autres informations intéressantes, notamment sur Twitter.

Aujourd’hui, nous sommes ravis d’annoncer la sortie de Project Delight Phase 3!

Comme dans La phase 1 et Phase 2 de Project Delight, nous avons continué à apporter d’autres améliorations pour vous aider à développer votre entreprise. Notre objectif est que chaque fois que vous utilisez MonsterInsights, toute l'expérience soit un plaisir.

Dans la dernière version, vous trouverez des modifications apportées au suivi des téléchargements de fichiers, des paramètres d’autorisations améliorés, une nouvelle exclusion du suivi des éditeurs, et bien plus encore.

Examinons chaque mise à jour plus en détail…

Suivi amélioré du téléchargement de fichiers

Le suivi des téléchargements de fichiers de MonsterInsights est l’une de nos fonctionnalités les plus populaires car il suit automatiquement les téléchargements, aucun code n’est nécessaire et fournit des informations sur le type de contenu le plus populaire sur votre site.

Mais nous avons réalisé que nous pouvions le rendre encore plus utile pour vous en changer les types de fichiers par défaut que nous suivons.

Nous avons constaté que peu d’utilisateurs utilisaient le suivi de téléchargement de fichiers pour les fichiers .exe, .js et .tgz.

Donc, en fonction de vos commentaires, nous avons supprimé ceux-ci du suivi par défaut. MonsterInsights assure également le suivi par défaut des types de fichiers .docx, .pptx et .xlsx pour offrir une expérience plus agréable.

Alors que MonsterInsights suivra ces types de fichiers par défaut, vous pouvez toujours personnaliser vos paramètres pour suivre d'autres types de fichiers.

Amélioration des workflows de configuration de MonsterInsights pour les agences

Parfois, les agences pré-installent MonsterInsights afin que leurs clients puissent facilement se connecter, configurer MonsterInsightset que Google Analytics soit prêt à fonctionner.

Auparavant, si ces rôles étaient attribués à des clients non administrateurs, ils ne pourraient pas modifier les paramètres MonsterInsights. C’est parce que le paramètre permettant de modifier les rôles WordPress pouvant modifier les paramètres MonsterInsights a été désactivé jusqu’à ce que Google Analytics soit connecté.

Désormais, ce paramètre peut maintenant être modifié à tout moment, ce qui facilite le flux de travail. Vous pouvez voir notre doc sur Comment autoriser les rôles d'utilisateur à accéder aux rapports et paramètres MonsterInsights pour plus d'informations.

Exclusion des éditeurs du suivi pour la précision des données

Dans notre version précédente, MonsterInsights excluait le suivi des utilisateurs administrateurs (et sur les installations multisites, super administrateur) afin d'empêcher les propriétaires de sites de fausser les données de leur site Web, notamment les rapports démographiques.

Avec cette dernière version, nous avons également exclu les éditeurs du suivi afin de rendre vos données plus précises que jamais.

Si vous souhaitez ajouter ou supprimer des rôles du suivi, vous pouvez utiliser notre exclure les rôles d'utilisateur réglage en naviguant vers le Avancée languette. Puis supprimez les rôles de Exclure ces rôles d'utilisateur du suivi sous Les permissions.

Amélioration continue de Project Delight

Nous avons également apporté un certain nombre d'améliorations mineures tout au long du plugin, notamment des liens de documentation plus utiles, la résolution de quelques bugs mineurs et l'amélioration du temps de chargement de l'élément de la barre de menu Insights.

Dans le cadre de Project Delight, vous remarquerez que notre mascotte Charlie fournit désormais des informations utiles et des liens directement à partir de votre tableau de bord!

Charlie est également prêt à vous aider lorsque vous consultez vos rapports de tableau de bord MonsterInsights, avec des liens rapides vers le support et la documentation utiles.

Avec cette dernière version, nous avons également mis à jour nos versions recommandées de PHP à 5.6.20 (configuration minimale requise de WordPress) et WordPress à 5.0 ou plus récent.

C’est tout pour cette version!

Tous les changements sont maintenant en direct sur MonsterInsights, alors qu'attendez-vous? Cliquez ici pour commencer à utiliser MonsterInsights aujourd'hui!

De nombreuses fonctionnalités et versions intéressantes sont à votre disposition, alors restez à l'affût des annonces à venir. N'oubliez pas de nous suivre sur Facebook et Twitter pour les dernières mises à jour.

Vous avez une idée pour une future version de Project Delight et souhaitez la partager avec nous? Soumettez-le sur notre Formulaire de commentaires!

Et avant de partir, l’équipe MonsterInsights aimerait vous remercier pour votre soutien continu et pour aider MonsterInsights à être le meilleur plugin Google Analytics WordPress.

Restez au courant de l'épisode de cette semaine de Marketing O’Clock, qui fait partie du réseau de moteurs de recherche Search Podcast Network.

Greg Finn et Christine «Shep» Zirnheld couvrent l’actualité du marketing numérique dont vous avez parlé toute la semaine et les informations que vous avez peut-être manquées.

Positionnement YouTube pour les annonces d'achat

Joie au monde! Un nouvel emplacement publicitaire a été offert aux annonceurs juste à temps pour la saison des vacances.

Shep vous explique comment faire en sorte que vos annonces puissent être diffusées dans les flux de recherche et les flux d'accueil de YouTube.

Bing annonce de nouvelles sanctions pour spam

Greg nous dit quels types de sites seront affectés par les changements, en les décomposant en termes simples (ou artistes) afin que vous puissiez être préparé.

La FTC publie des directives sur la divulgation d'informations sur les influenceurs

Shep couvre ce que la FTC considère comme un endossement d'influence et des recommandations sur la manière de les divulguer sur les réseaux sociaux.

Greg a lui-même une recommandation sur le choix du nouveau porte-parole de la FTC.

Présentation du rapport de vitesse de la console de recherche Google

Greg nous dit tout ce que nous devons savoir sur ce nouvel outil qui aidera les professionnels du référencement et les webmasters en général.

Dans notre article de la semaine, James Webster s'interroge sur les capacités de Google en matière de correspondance des requêtes pour les campagnes d'achat. Nous ne sommes pas sûrs que l’intention concorde avec l’intention, mais nous adorons les gros bouledogues français.

La qualité des requêtes de recherche a-t-elle toujours été aussi mauvaise depuis les campagnes d'achat ou s'aggrave-t-elle?

Celles-ci et beaucoup d’autres sont venues d’une campagne d’APA sur des lits de chiens…

"Gros bouledogue français"
"Comment empêcher les chats de faire caca sur ma pelouse"#ppcchat

– James Webster (@PPC_Webster) 4 novembre 2019

De plus, Uber Eats semble se préparer à vendre des annonces sur sa plate-forme, mais nous avons une autre recommandation non sollicitée sur la façon dont ils peuvent gagner plus d'argent.

Greg nous présente également de nouvelles fonctionnalités pratiques sur Twitter. Si seulement nous pouvions activer «me retirer de cette conversation» dans le monde réel!

Pour plus d'informations sur les histoires de cette semaine, n'oubliez pas de visiter Le temps du marketing site pour lire les notes complètes du spectacle. Assurez-vous de vous abonner où que vous écoutiez des podcasts!

Crédits d'image

Image sélectionnée: Cypress North

Votre fichier robots.txt est un outil puissant lorsque vous travaillez sur le référencement d'un site Web, mais il doit être manipulé avec précaution. Il vous permet de refuser aux moteurs de recherche l’accès à différents fichiers et dossiers, mais c’est souvent le cas. ne pas le meilleur moyen d'optimiser votre site. Nous expliquerons ici comment, selon nous, les webmasters devraient utiliser leur fichier robots.txt et proposerons une approche de "meilleure pratique" adaptée à la plupart des sites Web.

Vous trouverez un exemple de fichier robots.txt qui fonctionne pour la grande majorité des sites Web WordPress plus bas sur cette page. Si vous voulez en savoir plus sur le fonctionnement de votre fichier robots.txt, vous pouvez lire notre guide ultime de robots.txt.

À quoi ressemble la «meilleure pratique»?

Les moteurs de recherche améliorent continuellement la manière dont ils explorent le Web et indexent le contenu. Cela signifie que ce qui était autrefois la meilleure pratique il ya quelques années ne fonctionne plus et peut même nuire à votre site.

Aujourd'hui, les meilleures pratiques consistent à utiliser le moins possible votre fichier robots.txt. En fait, il est vraiment nécessaire de bloquer les URL dans votre fichier robots.txt lorsque vous rencontrez des problèmes techniques complexes (par exemple, un site Web de commerce électronique de grande taille avec une navigation par facettes) ou lorsqu'il n'y a pas d'autre option.

Bloquer des URL via robots.txt est une approche «brutale» qui peut entraîner plus de problèmes qu’elle ne résout.

Pour la plupart des sites WordPress, l'exemple suivant constitue la meilleure pratique:

# Cet espace est laissé intentionnellement vide
# Si vous voulez savoir pourquoi notre fichier robots.txt ressemble à ceci, lisez ce message: https://yoa.st/robots-txt
Agent utilisateur: *

Nous utilisons même cette approche dans notre propre fichier robots.txt.

Que fait ce code?

• le Agent utilisateur: * instruction indique que les instructions suivantes s’appliquent à tous les robots.
• Comme nous ne fournissons aucune autre instruction, nous disons «tous les robots peuvent librement explorer ce site, sans restriction».
• Nous fournissons également des informations aux utilisateurs qui consultent le fichier (vers cette page), afin qu’ils comprennent pourquoi le fichier est «vide».

Si vous devez interdire les URL

Si vous souhaitez empêcher les moteurs de recherche d’analyser ou d’indexer certaines parties de votre site WordPress, il est presque toujours préférable de le faire en ajoutant balises meta robots ou robots en-têtes HTTP.

Notre guide ultime pour les balises meta robots explique comment vous pouvez gérer l’exploration et l’indexation de la bonne manière, et notre plug-in Yoast SEO fournit les outils nécessaires pour vous aider à mettre en oeuvre ces balises sur vos pages.

Si votre site présente des problèmes d’exploration ou d’indexation qui ne peuvent pas être résolus via balises meta robots ou En-têtes HTTP, ou si vous devez empêcher l’accès au robot pour d’autres raisons, vous devriez lire notre guide ultime sur robots.txt.

Notez que WordPress et Yoast SEO empêchent déjà automatiquement l’indexation de certains fichiers et URL sensibles, comme votre zone d’administration WordPress (via un En-tête HTTP x-robots).

Pourquoi cette pratique du «minimalisme»?

Robots.txt crée des impasses

Avant de pouvoir rivaliser sur les résultats de recherche, les moteurs de recherche doivent découvrir, analyser et indexer vos pages. Si vous avez bloqué certaines URL via le fichier robots.txt, les moteurs de recherche ne peuvent plus analyser par ces pages pour découvrir d'autres. Cela peut signifier que les pages clés ne sont pas découvertes.

Robots.txt nie les liens de leur valeur

L'une des règles de base du référencement est que les liens d'autres pages peuvent influer sur vos performances. Si une URL est bloquée, non seulement les moteurs de recherche ne l'exploreront pas, mais ils pourraient également ne pas distribuer de "valeur de lien" pointant vers cette URL, ou par cette URL vers d'autres pages du site.

Google rend entièrement votre site

Auparavant, les utilisateurs bloquaient l'accès aux fichiers CSS et JavaScript pour que les moteurs de recherche restent concentrés sur ces pages de contenu très importantes.

De nos jours, Google récupère tous vos styles et JavaScript et rend vos pages complètement. Comprendre la mise en page et la présentation de votre page est un élément clé de la façon dont elle évalue la qualité. Donc, Google n'aime pas ça du tout lorsque vous lui refusez l'accès à vos fichiers CSS ou JavaScript.

Meilleure pratique de blocage de l'accès à votre wp-comprend répertoire et votre répertoire de plugins via robots.txt n'est plus valide, c'est pourquoi nous avons collaboré avec WordPress pour supprimer les paramètres par défaut. refuser règle pour wp-comprend dans la version 4.0.

De nombreux thèmes WordPress utilisent également des requêtes JavaScript asynchrones – appelées AJAX – pour ajouter du contenu à des pages Web. WordPress bloquait Google par défaut, mais nous avons corrigé cela dans WordPress 4.4.

Vous n'avez généralement pas besoin de créer un lien vers votre sitemap

Le standard robots.txt prend en charge l’ajout d’un lien vers votre ou vos sitemap XML au fichier. Cela aide les moteurs de recherche à découvrir l'emplacement et le contenu de votre site.

Nous avons toujours pensé que c'était redondant. vous devriez déjà en ajoutant votre sitemap à votre Google Search Console et Bing Webmaster Tools comptes afin d'accéder aux données d'analyse et de performance. Si vous avez fait cela, vous n’avez pas besoin de la référence dans votre fichier robots.txt.

Lire la suite: Empêcher l'indexation de votre site: la bonne manière »

Comment suivre les classements des packs de cartes

L’une des premières étapes de toute campagne de référencement local consiste à évaluer où vous en êtes.

Plus précisément, vous voulez savoir où vous vous situez dans The Map Pack. Et suivez vos classements Map Pack au fil du temps.

Presque tous les suivis de rang sur la planète ont un suivi de Map Pack.

Le problème, c’est que, avec le référencement local, vous cherchez énormément. En fait, les résultats du pack de cartes peuvent être complètement différents d'un kilomètre à l'autre.

Par exemple, supposons que quelqu'un cherche un «café» sur les 72 e et 2e avenues de New York.

Ces résultats seront extrêmement adaptés à la situation de cette personne.

En fait, cette même recherche effectuée à quelques pâtés de maisons peut faire apparaître un site complètement différent des résultats de Map Pack (ou les mêmes résultats dans un ordre différent).

Si vous suivez uniquement les classements locaux à partir d’un seul endroit (comme «New York»), vous ne voyez qu’un petit échantillon de votre classement dans le monde réel.

C'est pourquoi tu veux obtenir super granulaire avec vos classements locaux. De cette façon, vous pouvez voir où vous vous situez dans toute votre ville ou votre région.

Je recommande un outil appelé Faucon local pour ce genre de suivi détaillé de la carte.

Mais il y en a d'autres, comme Viking local, qui font à peu près la même chose.

En tous cas…

La première étape consiste à choisir le nom de votre entreprise (Remarque: ce flux provient directement de Google Maps. Pour utiliser cet outil, vous avez besoin d’un profil Google My Business déjà configuré).

Ensuite, choisissez un mot clé pour lequel vous souhaitez vérifier votre classement.

Enfin, choisissez le degré de spécificité ou le type de suivi de votre classement.

Par exemple, voici un rayon de suivi de 5 miles (8 km).

Elle est configurée avec une grille 7 x 7, ce qui vous donne une bonne idée de la position de votre entreprise dans cette zone.

(Cette grille peut aller jusqu'à 15 x 15 si vous voulez vraiment voir les limites de votre classement).

Ensuite, il est temps de vérifier le classement.

Une fois que l'outil a fait son travail, vous obtenez une interface visuelle qui affiche votre classement pour chaque position géographique:

Comme vous pouvez le constater, vous obtenez une belle carte interactive qui indique votre classement dans de nombreux endroits de la ville.

Comme vous pouvez le constater, les classements sont meilleurs à la périphérie de la ville… et empirent progressivement au fur et à mesure que vous vous rendez au centre-ville.

Ce n’est pas nécessairement un problème. Il se peut qu’un concurrent ait un emplacement plus central que votre hôtel. Donc, pour quelqu'un qui cherche à partir de cet endroit, Google considère que le concurrent est un meilleur choix.

Cela dit, vous devriez utiliser cet outil pour trouver des endroits où vous devriez «bien» vous classer… mais ne le faites pas.

Par exemple, vous pouvez constater que cette entreprise de pavage locale occupe le premier rang dans l'extrême nord de la ville… à un point près.

Donc, dans ce cas, vous voudriez cliquer sur le résultat pour voir qui vous devance:

Dans ce cas, un concurrent occupe le premier rang.

Mais si vous n'êtes pas satisfait du poste n ° 2, vérifiez l'adresse du concurrent dans sa liste. De cette façon, vous pouvez vérifier leur emplacement physique sur cette carte.

Et lorsque vous indiquez la position du compétiteur sur la carte du classement, vous pouvez comprendre pourquoi vous rencontrez des difficultés pour décrocher la place n ° 1.

L'explication simple est que cet emplacement de recherche est BEAUCOUP plus proche du concurrent. Il est donc parfaitement logique que Google veuille faire de ce concurrent le premier résultat.

Robots.txt est l’un des fichiers les plus simples sur un site Web, mais c’est aussi l’un des plus faciles à gâcher. Un seul personnage hors de propos peut faire des ravages sur votre SEO et empêchez les moteurs de recherche d’accéder à du contenu important sur votre site.

C’est pourquoi les erreurs de configuration de robots.txt sont extrêmement courantes, même parmi les utilisateurs expérimentés. SEO professionnels.

Dans ce guide, vous apprendrez:

Qu'est-ce qu'un fichier robots.txt?

Un fichier robots.txt indique aux moteurs de recherche où ils peuvent et ne peuvent pas aller sur votre site.

En premier lieu, il répertorie tout le contenu que vous souhaitez verrouiller en dehors des moteurs de recherche tels que Google. Vous pouvez également dire à certains moteurs de recherche (pas Google) Comment ils peuvent explorer le contenu autorisé.

À quoi ressemble un fichier robots.txt?

Voici le format de base d’un fichier robots.txt:

Plan du site: [URL location of sitemap]

Agent utilisateur: [bot identifier]
[directive 1]
[directive 2]
[directive ...]



Agent utilisateur: [another bot identifier]
[directive 1]
[directive 2]
[directive ...]

Si vous n’avez jamais vu l’un de ces fichiers auparavant, cela peut sembler décourageant. Cependant, la syntaxe est assez simple. En bref, vous attribuez des règles aux robots en indiquant leur agent utilisateur suivi par les directives.

Explorons ces deux composants plus en détail.

User-agents

Chaque moteur de recherche s'identifie avec un agent utilisateur différent. Vous pouvez définir des instructions personnalisées pour chacune d’elles dans votre fichier robots.txt. Il y a des centaines d'agents utilisateurs, mais en voici quelques unes utiles pour SEO:

• Google: Googlebot
• Google images: Googlebot-Image
• Bing: Bingbot
• Yahoo: Slurp
• Baidu: Baiduspider
• DuckDuckGo: DuckDuckBot

Vous pouvez également utiliser le caractère générique étoile (*) pour attribuer des directives à tous les agents utilisateurs.

Par exemple, supposons que vous vouliez empêcher tous les robots, à l'exception de Googlebot, d'explorer votre site. Voici comment vous le feriez:

Agent utilisateur: *
Interdit: /

Agent utilisateur: Googlebot
Autoriser: /

Sachez que votre fichier robots.txt peut inclure des directives pour autant d’agents d’utilisateur que vous le souhaitez. Cela dit, chaque fois que vous déclarez un nouvel agent utilisateur, cela agit comme une table rase. En d’autres termes, si vous ajoutez des directives pour plusieurs agents d’utilisateur, les directives déclarées pour le premier agent d’utilisateur ne s’appliquent pas aux deuxième, troisième, quatrième, etc.

L'exception à cette règle est lorsque vous déclarez le même agent d'utilisateur plus d'une fois. Dans ce cas, toutes les directives pertinentes sont combinées et suivies.

Les directives

Les directives sont des règles que vous souhaitez que les agents utilisateurs déclarés respectent.

Directives supportées

Voici les directives actuellement prises en charge par Google, ainsi que leurs utilisations.

Refuser

Utilisez cette directive pour indiquer aux moteurs de recherche de ne pas accéder aux fichiers et aux pages qui se trouvent sous un chemin spécifique. Par exemple, si vous souhaitez empêcher tous les moteurs de recherche d'accéder à votre blog et à ses publications, votre fichier robots.txt peut ressembler à ceci:

Agent utilisateur: *
Interdire: / blog

Autoriser

Utilisez cette directive pour permettre aux moteurs de recherche d'analyser un sous-répertoire ou une page, même dans un répertoire autrement non autorisé. Par exemple, si vous souhaitez empêcher les moteurs de recherche d'accéder à toutes les publications de votre blog, à l'exception d'une seule, votre fichier robots.txt peut alors ressembler à ceci:

Agent utilisateur: *
Interdire: / blog
Autoriser: / blog / allowed-post

Dans cet exemple, les moteurs de recherche peuvent accéder à / blog / allowed-post. Mais ils ne peuvent pas accéder à:

/ blog / autre-post
/ blog / yet-another-post
/blog/download-me.pdf

Google et Bing prennent en charge cette directive.

Agent utilisateur: *
Interdit: / blog /
Autoriser: / blog

Plan du site

Utilisez cette directive pour spécifier l'emplacement de votre plan Sitemap sur les moteurs de recherche. Si vous ne connaissez pas bien les sitemaps, ils incluent généralement les pages que vous souhaitez que les moteurs de recherche explorent et indexent.

Voici un exemple de fichier robots.txt utilisant la directive sitemap:

Plan du site: https://www.domain.com/sitemap.xml

Agent utilisateur: *
Interdit: / blog /
Autoriser: / blog / post-title /

Quelle est l’importance d’inclure votre ou vos sitemap (s) dans votre fichier robots.txt? Si vous avez déjà envoyé votre candidature via la console de recherche, il est quelque peu redondant pour Google. Cependant, il indique aux autres moteurs de recherche tels que Bing où trouver votre sitemap, donc c’est toujours une bonne pratique.

Notez qu'il n'est pas nécessaire de répéter la directive sitemap plusieurs fois pour chaque agent utilisateur. Cela ne s'applique pas à un seul. Il est donc préférable d’inclure les directives de sitemap au début ou à la fin de votre fichier robots.txt. Par exemple:

Plan du site: https://www.domain.com/sitemap.xml

Agent utilisateur: Googlebot
Interdit: / blog /
Autoriser: / blog / post-title /

Agent utilisateur: Bingbot
Interdit: / services /

Google les soutiens la directive sitemap, tout comme Ask, Bing et Yahoo.

Directives non supportées

Voici les directives qui sont n'est plus supporté par Google– dont certains, techniquement, ne l'ont jamais été.

Délai d'attente

Auparavant, vous pouviez utiliser cette directive pour spécifier un délai d'analyse en secondes. Par exemple, si vous souhaitez que Googlebot attend 5 secondes après chaque analyse, définissez le délai d'analyse sur 5 comme suit:

Agent utilisateur: Googlebot
Délai d'attente: 5

Google ne prend plus en charge cette directive, mais Bing et Yandex faire.

Cela dit, soyez prudent lorsque vous définissez cette directive, surtout si vous avez un grand site. Si vous définissez un délai d’exploration de 5 secondes, vous empêchez les robots d’exploiter 17 280 URL par jour au maximum. Ce n'est pas très utile si vous avez des millions de pages, mais cela pourrait économiser de la bande passante si vous avez un petit site Web.

Noindex

Cette directive n'a jamais été officiellement prise en charge par Google. Cependant, jusqu'à récemment, Google pensait qu'il existait un «code qui gère les règles non prises en charge et non publiées (telles que noindex)». Ainsi, si vous souhaitez empêcher Google d'indexer tous les articles de votre blog, vous pouvez utiliser la directive suivante:

Agent utilisateur: Googlebot
Noindex: / blog /

Cependant, le 1er septembre 2019, Google a précisé que cette directive n'est pas supportée. Si vous souhaitez exclure une page ou un fichier des moteurs de recherche, utilisez la balise meta robots ou x-robots. HTTP en-tête à la place.

Pas de suivi

Il s'agit d'une autre directive que Google n'a jamais officiellement prise en charge. Elle permettait aux moteurs de recherche de ne pas suivre les liens sur les pages et les fichiers par un chemin spécifique. Par exemple, si vous souhaitez empêcher Google de suivre tous les liens de votre blog, vous pouvez utiliser la directive suivante:

Agent utilisateur: Googlebot
Nofollow: / blog /

Google a annoncé que cette directive n'était pas officiellement prise en charge le 1er septembre 2019. Si vous souhaitez maintenant ne plus suivre tous les liens d'une page, vous devez utiliser la balise méta des robots ou l'en-tête x-robots. Si vous souhaitez empêcher Google de suivre des liens spécifiques sur une page, utilisez l'attribut rel = “nofollow”.

Avez-vous besoin d'un fichier robots.txt?

Avoir un fichier robots.txt n’est pas crucial pour beaucoup de sites Web, surtout les plus petits.

Cela dit, il n’ya aucune bonne raison de ne pas en avoir un. Il vous donne plus de contrôle sur les endroits où les moteurs de recherche peuvent et ne peuvent pas aller sur votre site Web, ce qui peut vous aider dans les domaines suivants:

• Prévenir l'exploration de dupliquer le contenu;
• Garder les sections d'un site Web privées (par exemple, votre site intermédiaire);
• Empêcher l'exploration des pages de résultats de recherche internes;
• Prévenir la surcharge du serveur;
• Empêcher le gaspillage de Google “budget d'analyse. "
• Prévenir images, vidéosEt des fichiers de ressources apparaissant dans les résultats de recherche Google.

Notez que bien que Google n’indexe généralement pas les pages Web bloquées dans le fichier robots.txt, Il n’existe aucun moyen de garantir l’exclusion des résultats de la recherche à l’aide du fichier robots.txt..

Comme Google ditSi le contenu est lié à d’autres endroits sur le Web, il peut toujours apparaître dans les résultats de recherche Google.

Comment trouver votre fichier robots.txt

Si vous avez déjà un fichier robots.txt sur votre site Web, il sera accessible à l'adresse suivante: domaine.com/robots.txt. Accédez au URL dans votre navigateur. Si vous voyez quelque chose comme ceci, alors vous avez un fichier robots.txt:

Comment créer un fichier robots.txt

Si vous ne possédez pas déjà un fichier robots.txt, il est facile de le créer. Ouvrez simplement un document .txt vierge et commencez à taper des directives. Par exemple, si vous souhaitez interdire à tous les moteurs de recherche d’analyser votre / admin / répertoire, cela ressemblerait à quelque chose comme ça:

Agent utilisateur: *
Interdit: / admin /

Continuez à élaborer les directives jusqu’à ce que vous soyez satisfait de ce que vous avez. Enregistrez votre fichier sous le nom «robots.txt».

Alternativement, vous pouvez également utiliser un générateur robots.txt comme celui-là.

L'avantage d'utiliser un outil comme celui-ci est qu'il minimise les erreurs de syntaxe. C’est bien parce qu’une erreur peut entraîner une SEO catastrophe pour votre site – il est donc utile de pécher par excès de prudence.

L’inconvénient est qu’ils sont quelque peu limités en termes de personnalisation.

Où placer votre fichier robots.txt

Placez votre fichier robots.txt dans le répertoire racine du sous-domaine auquel il s’applique. Par exemple, pour contrôler le comportement d’exploration sur domain.com, le fichier robots.txt doit être accessible à l’adresse suivante: domaine.com/robots.txt.

Si vous souhaitez contrôler l’exploration sur un sous-domaine tel que blog.domain.com, le fichier robots.txt doit être accessible à l’adresse suivante: blog.domain.com/robots.txt.

Meilleures pratiques du fichier Robots.txt

Gardez cela à l'esprit pour éviter les erreurs courantes.

Utilisez une nouvelle ligne pour chaque directive

Chaque directive doit être placée sur une nouvelle ligne. Sinon, les moteurs de recherche seront confondus.

Mauvais:

Agent utilisateur: * Interdit: / répertoire / Interdit: / autre-répertoire /

Bien:

Agent utilisateur: *
Interdit: / répertoire /
Interdit: / autre-répertoire /

Utiliser des caractères génériques pour simplifier les instructions

Vous pouvez non seulement utiliser des caractères génériques (*) pour appliquer des directives à tous les agents utilisateur, mais également URL modèles lors de la déclaration de directives. Par exemple, si vous souhaitez empêcher les moteurs de recherche d'accéder aux URL de catégorie de produit paramétrées sur votre site, vous pouvez les répertorier comme suit:

Agent utilisateur: *
Interdit: / produits / t-shirts?
Interdit: / produits / hoodies?
Interdit: / produits / vestes?
…

Mais ce n’est pas très efficace. Il serait préférable de simplifier les choses avec un caractère générique comme celui-ci:

Agent utilisateur: *
Interdit: / produits / *?

Cet exemple empêche les moteurs de recherche d'analyser toutes les URL du sous-dossier / product / qui contiennent un point d'interrogation. En d'autres termes, toute URL de catégorie de produit paramétrée.

Utilisez “$” pour spécifier la fin d'un URL

Inclure le symbole «$» pour marquer la fin d’un URL. Par exemple, si vous souhaitez empêcher les moteurs de recherche d'accéder à tous les fichiers .pdf de votre site, votre fichier robots.txt peut ressembler à ceci:

Agent utilisateur: *
Interdit: /*.pdf

Dans cet exemple, les moteurs de recherche ne peuvent accéder aux URL se terminant par .pdf. Cela signifie qu’ils ne peuvent pas accéder à /file.pdf, mais à /file.pdf?id=68937586 car cela ne se termine pas par “.pdf”.

Utilisez chaque utilisateur-agent une seule fois

Si vous spécifiez le même agent utilisateur à plusieurs reprises, cela ne dérange pas Google. Il combinera simplement toutes les règles des différentes déclarations en une et les suivra toutes. Par exemple, si vous aviez les directives et agents utilisateur suivants dans votre fichier robots.txt…

Agent utilisateur: Googlebot
Interdit: / a /

Agent utilisateur: Googlebot
Interdit: / b /

… Googlebot ne serait pas analyser l'un ou l'autre de ces sous-dossiers.

Cela dit, il est judicieux de déclarer chaque agent utilisateur une seule fois, car cela crée moins de confusion. En d’autres termes, vous êtes moins susceptible de faire des erreurs critiques en gardant les choses ordonnées et simples.

Utilisez la spécificité pour éviter les erreurs non intentionnelles

L'omission de fournir des instructions spécifiques lors de la définition des directives peut entraîner des erreurs facilement omises pouvant avoir un impact catastrophique sur votre système. SEO. Par exemple, supposons que vous avez un site multilingue et que vous travaillez sur une version allemande qui sera disponible dans le sous-répertoire / de /.

Parce que ce n’est pas tout à fait prêt, vous voulez empêcher les moteurs de recherche d’y accéder.

Le fichier robots.txt ci-dessous empêchera les moteurs de recherche d'accéder à ce sous-dossier et à tout ce qu'il contient:

Agent utilisateur: *
Interdit: / de

Mais cela empêchera également les moteurs de recherche d’analyser les pages ou les fichiers commençant par / de.

Par exemple:

/ robes de créateurs /
/delivery-information.html
/ depeche-mode / t-shirts /
/definitely-not-for-public-viewing.pdf

Dans ce cas, la solution est simple: ajoutez une barre oblique finale.

Agent utilisateur: *
Interdit: / de /

Utilisez des commentaires pour expliquer votre fichier robots.txt aux humains

Les commentaires aident à expliquer votre fichier robots.txt aux développeurs, voire même à votre avenir. Pour inclure un commentaire, commencez la ligne par un dièse (#).

# Ceci indique à Bing de ne pas explorer notre site.
Agent utilisateur: Bingbot
Interdit: /

Les robots ignorent tout sur les lignes commençant par un hachage.

Utilisez un fichier robots.txt distinct pour chaque sous-domaine.

Robots.txt contrôle uniquement le comportement d’exploration sur le sous-domaine où il est hébergé. Si vous souhaitez contrôler l’exploration dans un sous-domaine différent, vous aurez besoin d’un fichier robots.txt distinct.

Par exemple, si votre site principal est installé sur domain.com et votre blog est assis sur blog.domain.com, vous auriez alors besoin de deux fichiers robots.txt. L'un doit aller dans le répertoire racine du domaine principal et l'autre dans le répertoire racine du blog.

Exemple de fichiers robots.txt

Vous trouverez ci-dessous quelques exemples de fichiers robots.txt. Celles-ci sont principalement d’inspiration, mais si l’on en trouve une qui correspond à vos exigences, copiez-le dans un document texte, enregistrez-le sous le nom “robots.txt” et chargez-le dans le répertoire approprié.

All-Access pour tous les robots

Agent utilisateur: *
Refuser:

Pas d'accès pour tous les robots

Agent utilisateur: *
Interdit: /

Bloquer un sous-répertoire pour tous les robots

Agent utilisateur: *
Interdit: / dossier /

Bloquer un sous-répertoire pour tous les robots (avec un seul fichier autorisé)

Agent utilisateur: *
Interdit: / dossier /
Autoriser: / répertoire / page.html

Bloquer un fichier pour tous les robots

Agent utilisateur: *
Interdit: /this-is-a-file.pdf

Bloquer un type de fichier (PDF) pour tous les robots

Agent utilisateur: *
Interdit: /*.pdf

Bloquer toutes les URL paramétrées pour Googlebot uniquement

Agent utilisateur: Googlebot
Interdit: / *?

Comment vérifier votre fichier robots.txt pour les erreurs

Les erreurs de Robots.txt peuvent facilement glisser à travers le filet, il est donc utile de garder un œil ouvert sur les problèmes.

Pour ce faire, recherchez régulièrement les problèmes liés à robots.txt dans le rapport «Couverture» de Console de recherche. Vous trouverez ci-dessous certaines des erreurs que vous pouvez voir, ce qu’elles signifient et comment les corriger.

Soumis URL bloqué par robots.txt

Cela signifie qu'au moins une des URL des plans de votre site soumis est bloquée par le fichier robots.txt.

Si vous créé votre sitemap correctement et exclu canonisé, noindexed, et redirigé pages, puis aucune page soumise ne doit être bloquée par robots.txt. Si tel est le cas, recherchez quelles pages sont affectées, puis ajustez votre fichier robots.txt en conséquence pour supprimer le bloc de cette page.

Vous pouvez utiliser Le test de robots.txt de Google pour voir quelle directive bloque le contenu. Faites attention en faisant ceci. Il est facile de faire des erreurs qui affectent d’autres pages et fichiers.

Bloqué par robots.txt

Cela signifie que votre fichier est bloqué par le fichier robots.txt qui n'est pas encore indexé dans Google.

Si ce contenu est important et doit être indexé, supprimez le bloc d'analyse dans le fichier robots.txt. (Cela vaut également la peine de s’assurer que le contenu n’est pas non indexé). Si vous avez bloqué le contenu du fichier robots.txt dans l’intention de l’exclure de l’index de Google, supprimez le bloc d’exploration et utilisez plutôt une balise méta ou un en-tête x-robots. C’est le seul moyen de garantir l’exclusion du contenu de l’index de Google.

Indexé, bien que bloqué par robots.txt

Cela signifie qu'une partie du contenu bloqué par robots.txt est toujours indexée dans Google.

Encore une fois, si vous essayez d’exclure ce contenu des résultats de recherche de Google, le fichier robots.txt n’est pas la bonne solution. Supprimez le bloc d’exploration et utilisez plutôt un balise meta robots ou balise x ‑ robots HTTP entête pour empêcher l'indexation.

Si vous avez bloqué ce contenu par accident et que vous souhaitez le conserver dans l'index de Google, supprimez le bloc d'analyse dans le fichier robots.txt. Cela peut aider à améliorer la visibilité du contenu dans la recherche Google.

FAQ

Voici quelques questions fréquemment posées qui ne rentrent pas naturellement dans notre guide. Faites-nous savoir dans les commentaires si quelque chose manque, et nous mettrons à jour la section en conséquence.

Quelle est la taille maximale d’un fichier robots.txt?

500 kilo-octets (grossièrement).

Où est le fichier robots.txt dans WordPress?

Même endroit: domaine.com/robots.txt.

Comment modifier le fichier robots.txt dans WordPress?

Soit manuellement, soit en utilisant l’un des les nombreux WordPress SEO plugins comme Yoast qui vous permet de modifier le fichier robots.txt à partir du backend de WordPress.

Que se passe-t-il si j'autorise l'accès au contenu non indexé dans le fichier robots.txt?

Google ne verra jamais la directive noindex car il ne peut pas explorer la page.

DYK bloquer une page à la fois avec un fichier robots.txt interdit Et un noindex dans la page n'a pas beaucoup de sens car Googlebot ne peut pas "voir" le noindex? pic.twitter.com/N4639rCCWt– Gary “理” Illyes (@methode) 10 février 2017

Dernières pensées

Robots.txt est un fichier simple mais puissant. Utilisez-le judicieusement, et cela peut avoir un impact positif sur SEO. Utilisez-le au hasard et, eh bien, vous vivrez à le regretter.

Vous avez plus de questions? Laisser un commentaire ou ping moi sur Twitter.