Il existe de nombreuses façons de supprimer des URL de Google, mais il n’y a pas d’approche unique. Tout dépend de votre situation.

C’est un point important à comprendre. Non seulement l’utilisation d’une mauvaise méthode peut parfois entraîner la suppression de pages de l’index, mais cela peut également avoir un effet négatif sur SEO.

Pour vous aider à décider rapidement de la méthode de suppression qui vous convient le mieux, nous avons créé un organigramme afin que vous puissiez passer à la section appropriée de l’article.

Dans cet article, vous apprendrez:

Ce que je vois généralement les SEO pour vérifier si le contenu est indexé est d’utiliser un site: recherchez dans Google (par exemple, site: https: //ahrefs.com). Alors que site: les recherches peuvent être utiles pour identifier les pages ou les sections d’un site Web qui peuvent être problématiques si elles apparaissent dans les résultats de recherche, vous devez être prudent car ce ne sont pas des requêtes normales et ne vous diront pas réellement si une page est indexé. Ils peuvent afficher des pages connues de Google, mais cela ne signifie pas qu’ils peuvent s’afficher dans les résultats de recherche normaux sans l’opérateur site :.

Par exemple, site: les recherches peuvent toujours afficher des pages qui redirigent ou sont canonisées vers une autre page. Lorsque vous demandez un site spécifique, Google peut afficher une page de ce domaine avec le contenu, le titre et la description d’un autre domaine. Prenons par exemple moz.com qui était autrefois seomoz.org. Toutes les requêtes des utilisateurs réguliers qui mènent à des pages sur moz.com afficheront moz.com dans les SERPs, tandis que le site: seomoz.org affichera seomoz.org dans les résultats de recherche comme indiqué ci-dessous.

La raison pour laquelle il s’agit d’une distinction importante est qu’elle peut conduire les SEO à faire des erreurs telles que le blocage actif ou la suppression d’URL de l’index de l’ancien domaine, ce qui empêche la consolidation de signaux comme PageRank. J’ai vu de nombreux cas de migrations de domaine où les gens pensent qu’ils ont fait une erreur pendant la migration, car ces pages affichent toujours pour le site: old-domain.com recherche et finit par nuire activement à leur site Web tout en essayant de «résoudre» le problème.

La meilleure méthode pour vérifier l’indexation est d’utiliser le Rapport de couverture d’index dans Google Search Console, ou URL Outil d’inspection pour un particulier URL. Ces outils vous indiquent si une page est indexée et fournissent des informations supplémentaires sur la façon dont Google traite la page. Si vous n’y avez pas accès, recherchez simplement dans Google URL de votre page.

Dans Ahrefs, si vous trouvez la page dans notre rapport « Top pages » ou le classement des mots clés organiques, cela signifie généralement que nous l’avons vue se classer pour les requêtes de recherche normales et est une bonne indication que la page a été indexée. Notez que les pages ont été indexées lorsque nous les avons vues, mais cela a peut-être changé. Vérifiez la date à laquelle nous avons vu la page pour la dernière fois pour une requête.

S’il y a un problème avec un URL et il doit être supprimé de l’index, suivez l’organigramme au début de l’article pour trouver l’option de suppression appropriée, puis passez à la section appropriée ci-dessous.

Si vous supprimez la page et diffusez un code d’état 404 (introuvable) ou 410 (disparu), la page sera supprimée de l’index peu de temps après la nouvelle exploration de la page. Jusqu’à ce qu’elle soit supprimée, la page peut toujours s’afficher dans les résultats de recherche. Et même si la page elle-même n’est plus disponible, une version en cache de la page peut être temporairement disponible.

Lorsque vous pourriez avoir besoin d’une autre option:

• J’ai besoin d’un retrait plus immédiat. Voir le URL section de l’outil de suppression.
• J’ai besoin de consolider des signaux comme des liens. Voir la section canonisation.
• J’ai besoin de la page disponible pour les utilisateurs. Vérifiez si le noindex ou les sections d’accès restreint correspondent à votre situation.

Option de suppression 2: Noindex

Une balise méta robots noindex ou une réponse d’en-tête x ‑ robots indiquera aux moteurs de recherche de supprimer une page de l’index. La balise meta robots fonctionne pour les pages où la réponse x ‑ robots fonctionne pour les pages et les types de fichiers supplémentaires comme les PDF. Pour que ces balises soient visibles, un moteur de recherche doit pouvoir explorer les pages. Assurez-vous donc qu’elles ne sont pas bloquées dans robots.txt. Notez également que la suppression de pages de l’index peut empêcher la consolidation du lien et d’autres signaux.

Exemple de noindex de méta robots:

Exemple de balise noindex x ‑ robots dans la réponse d’en-tête:

HTTP/1.1 200 OK
X-Robots-Tag: noindex

Lorsque vous pourriez avoir besoin d’une autre option:

• Je ne souhaite pas que les utilisateurs accèdent à ces pages. Voir la section restreindre l’accès.
• J’ai besoin de consolider des signaux comme des liens. Voir la section canonisation.

Option de suppression 3: restreindre l’accès

Si vous voulez que la page soit accessible à certains utilisateurs mais pas aux moteurs de recherche, alors ce que vous voulez probablement est l’une de ces trois options:

• une sorte de système de connexion;
• HTTP Authentification (lorsqu’un mot de passe est requis pour l’accès);
• IP Liste blanche (qui ne permet que des IP adresses pour accéder aux pages)

Ce type de configuration est préférable pour des choses comme les réseaux internes, le contenu réservé aux membres ou pour les sites de test, de test ou de développement. Il permet à un groupe d’utilisateurs d’accéder à la page, mais les moteurs de recherche ne pourront pas y accéder et n’indexeront pas les pages.

Lorsque vous pourriez avoir besoin d’une autre option:

• J’ai besoin d’un retrait plus immédiat. Voir le URL section de l’outil de suppression. Dans ce cas particulier, vous souhaiterez peut-être une suppression plus immédiate si le contenu que vous essayez de masquer a été mis en cache et vous devez empêcher les utilisateurs de voir ce contenu.

Option de suppression 4: URL Outil de suppression

Le nom de cet outil de Google est légèrement trompeur car son fonctionnement est qu’il masquera temporairement le contenu. Google continuera de voir et d’explorer ce contenu, mais les pages n’apparaîtront pas pour les utilisateurs. Cet effet temporaire dure six mois dans Google, tandis que Bing dispose d’un outil similaire qui dure trois mois. Ces outils doivent être utilisés dans les cas les plus extrêmes pour des choses comme les problèmes de sécurité, les fuites de données, les informations personnellement identifiables (PII), etc. Pour Google, utilisez le Outil de suppression et pour Bing, voir comment bloquer les URL.

Vous devez toujours appliquer une autre méthode en plus d’utiliser l’outil de suppression afin de supprimer les pages pour une période plus longue (noindex ou supprimer) ou empêcher les utilisateurs d’accéder au contenu s’ils ont toujours les liens (supprimer ou restreindre l’accès). Cela vous donne simplement un moyen plus rapide de masquer les pages pendant que la suppression a le temps de se dérouler. Le traitement de la demande peut prendre jusqu’à une journée.

Option de suppression 5: canonisation

Lorsque vous avez plusieurs versions d’une page et que vous souhaitez consolider des signaux tels que des liens vers une seule version, ce que vous voulez faire est une forme de canonisation. Il s’agit principalement d’empêcher le contenu en double tout en consolidant plusieurs versions d’une page en un seul indexé URL.

Vous avez plusieurs options de canonisation:

• Étiquette canonique. Cela spécifie un autre URL comme la version canonique ou la version que vous souhaitez afficher. Si les pages sont en double ou très similaires, cela devrait convenir. Lorsque les pages sont trop différentes, le canonique peut être ignoré car il s’agit d’un indice et non d’une directive.
• Redirige. Une redirection prend un utilisateur et un robot de recherche d’une page à l’autre. 301 est la redirection la plus couramment utilisée par les référenceurs, et elle indique aux moteurs de recherche que vous voulez la finale URL être celui affiché dans les résultats de recherche et où les signaux sont consolidés. Une redirection 302 ou temporaire indique aux moteurs de recherche que vous voulez l’original URL être celui qui reste dans l’indice et y consolide les signaux.
• URL gestion des paramètres. Un paramètre est ajouté à la fin de la URL et inclut généralement un point d’interrogation, comme ahrefs.com?this=parameter. Cet outil de Google vous permet de leur expliquer comment traiter les URL avec des paramètres spécifiques. Par exemple, vous pouvez spécifier si le paramètre modifie le contenu de la page ou s’il est uniquement destiné à suivre l’utilisation.

Si vous avez plusieurs pages à supprimer de l’index de Google, elles doivent être hiérarchisées en conséquence.

Priorité la plus élevée: Ces pages sont généralement liées à la sécurité ou à des données confidentielles. Cela inclut le contenu qui contient des données personnelles (PII), des données client ou des informations propriétaires.

Priorité moyenne: Cela implique généralement du contenu destiné à un groupe spécifique d’utilisateurs. Intranets d’entreprise ou portails d’employés, contenu destiné aux membres uniquement et environnements de test, de test ou de développement.

Priorité basse: Ces pages impliquent généralement un contenu en double d’une sorte ou d’une autre. Quelques exemples de cela incluraient des pages servies à partir de plusieurs URL, des URL avec des paramètres, et encore une fois pourraient inclure des environnements de test, de test ou de développement.

Je voudrais aborder quelques-unes des façons dont je vois généralement les suppressions de façon incorrecte et ce qui se passe dans chaque scénario pour aider les gens à comprendre pourquoi ils ne fonctionnent pas.

Noindex dans robots.txt

Alors que Google soutenait officieusement noindex dans le fichier robots.txt, ce n’était jamais une norme officielle et ils l’ont maintenant officiellement support supprimé. Beaucoup de sites qui faisaient cela le faisaient mal et se faisaient du mal.

Blocage de l’exploration dans robots.txt

L’analyse n’est pas la même chose que l’indexation. Même si Google n’est pas autorisé à explorer les pages, s’il existe des liens internes ou externes vers une page, ils peuvent toujours l’indexer. Google ne saura pas ce qu’il y a sur la page, car il ne l’explorera pas, mais il sait qu’une page existe et écrit même un titre à afficher dans les résultats de recherche en fonction de signaux tels que le texte d’ancrage des liens vers la page.

Pas de suivi

Cela devient souvent confus pour noindex, et certaines personnes l’utiliseront au niveau de la page en s’attendant à ce que la page ne soit pas indexée. Nofollow est un indice, et bien qu’il ait initialement empêché les liens sur la page et les liens individuels avec l’attribut nofollow d’être analysés, ce n’est plus le cas. Google peut désormais explorer ces liens s’il le souhaite. Nofollow a également été utilisé sur des liens individuels pour essayer d’empêcher Google de parcourir des pages spécifiques et de sculpter le PageRank. Encore une fois, cela ne fonctionne plus, car nofollow est un indice. Dans le passé, si la page avait un autre lien vers celle-ci, Google pourrait toujours découvrir à partir de ce chemin d’exploration alternatif.

Notez que vous pouvez trouver des pages non suivies en bloc à l’aide de ce filtre dans l’Explorateur de pages dans Ahrefs ‘Site Audit.

Comme il est rarement judicieux de ne pas suivre tous les liens d’une page, le nombre de résultats doit être nul ou proche de zéro. S’il y a des résultats correspondants, je vous demande instamment de vérifier si la directive nofollow a été accidentellement ajoutée à la place de noindex et de choisir une méthode de suppression plus appropriée si nécessaire.

Vous pouvez également trouver des liens individuels marqués nofollow en utilisant ce filtre dans l’explorateur de liens.

Noindex et canonique à l’autre URL

Ces signaux sont contradictoires. Noindex dit de supprimer la page de l’index, et canonique dit qu’une autre page est la version qui doit être indexée. Cela peut en fait fonctionner pour la consolidation, car Google choisit généralement d’ignorer le noindex et d’utiliser le canonical comme signal principal. Cependant, ce n’est pas un comportement absolu. Il y a un algorithme impliqué et il y a un risque que la balise noindex soit le signal compté. Si tel est le cas, les pages ne se consolideront pas correctement.

Notez que vous pouvez trouver des pages non indexées avec des canoniques non auto-référentiels en utilisant cet ensemble de filtres dans l’explorateur de pages dans Site Audit:

Noindex, attendez que Google explore, puis bloquez l’exploration

Cela se produit généralement de deux manières:

1. Les pages sont déjà bloquées mais sont indexées, les gens ajoutent noindex et débloquent pour que Google puisse explorer et voir le noindex, puis bloquer les pages de l’exploration à nouveau.
2. Les utilisateurs ajoutent des balises noindex pour les pages à supprimer et une fois que Google a exploré et traité la balise noindex, ils bloquent l’exploration des pages.

Dans les deux cas, l’état final est bloqué de l’exploration. Si vous vous souvenez, plus tôt, nous avons expliqué que l’exploration n’était pas la même chose que l’indexation. Même si ces pages sont bloquées, elles peuvent toujours se retrouver dans l’index.

Si vous êtes propriétaire du contenu utilisé sur un autre site Web, vous pourrez peut-être déposer une réclamation en vertu de la loi Digital Millennium Copyright Act (DMCA). Vous pouvez utiliser Outil de suppression des droits d’auteur de Google pour faire ce qu’on appelle un DMCA takedown, qui demande la suppression de tout matériel protégé par le droit d’auteur.

Et si c’est du contenu vous concernant mais pas sur un site que vous possédez?

Si vous êtes dans le UE, vous pouvez faire supprimer le contenu qui contient des informations vous concernant grâce à une ordonnance du tribunal pour le droit à l’oubli. Vous pouvez demander la suppression des informations personnelles à l’aide du UE Formulaire de suppression de confidentialité.

Pour supprimer des images de Google, la méthode la plus simple consiste à utiliser robots.txt. Bien que la prise en charge non officielle de la suppression des pages ait été supprimée du fichier robots.txt comme nous l’avons mentionné précédemment, le simple refus de l’exploration des images est la bonne façon de supprimer les images.

Pour une seule image:

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg 

Pour toutes les images:

User-agent: Googlebot-Image
Disallow: /

Dernières pensées

La façon dont vous supprimez les URL est assez situationnelle. Nous avons parlé de plusieurs options, mais si vous ne savez toujours pas ce qui vous convient, reportez-vous au diagramme au début.

Vous pouvez également parcourir le dépanneur juridique fourni par Google pour la suppression de contenu.

Avoir des questions? Faites le moi savoir Twitter.