Par Julia Bazzi
Bonjour et bienvenue dans le monde mystérieux du robots.txt ! Ce petit fichier, selon un protocole d’exclusion des robots bien défini, joue un rôle crucial dans votre SEO. Le fichier Robots.txt, c’est comme le videur d’une boîte de nuit : il décide qui rentre et qui reste dehors !
Et pour Google, mieux vaut être bien vu par le videur… Il permet de dire aux moteurs de recherche, et de protéger votre site contre certains robots malveillants, ce qu’ils peuvent explorer et ce qu’ils doivent bloquer.
Vous avez envie que Googlebot se promène librement sur votre domaine et indexe vos pages les plus importantes ? Ou au contraire, vous souhaitez interdire l’indexation de certaines parties de votre site web ? Le robots.txt est là pour ça !
Dans cet article, nous allons voir comment créer et optimiser ce fichier en réglant finement ses paramètres robots.txt pour éviter les erreurs qui pourraient nuire à votre référencement. Prêts ? C’est parti !
Robots.txt : C’est quoi et pourquoi l’utiliser ?
Définition et rôle du fichier robots.txt
Le robots.txt est un fichier texte situé à la racine de votre site web. Son objectif est simple : donner des instructions aux robots des moteurs de recherche sur les pages qu’ils peuvent explorer ou non. Il agit comme un garde-barrière, indiquant à Googlebot et aux autres robots quelles pages sont accessibles et lesquelles doivent être ignorées.
Ce fichier fait partie des premiers éléments que les moteurs de recherche consultent lorsqu’ils visitent un site. Il leur permet de savoir où aller et où ne pas aller, évitant ainsi d’indexer des pages inutiles ou confidentielles.
Le robots.txt est utilisé principalement pour :
- Gérer l’exploration du site en guidant les robots vers les parties essentielles.
- Restreindre l’accès à certaines sections du site, comme l’interface d’administration ou les fichiers sensibles.
- Éviter la surcharge du serveur en limitant le crawl sur certaines pages peu utiles.
- Optimiser le budget de crawl, notamment pour les sites volumineux avec un grand nombre d’URL.
En revanche, il est important de noter que le robots.txt ne protège pas une page web d’un accès direct. Une URL interdite dans ce fichier peut toujours être consultée manuellement si elle est connue. Pour protéger des données sensibles, il est préférable d’utiliser d’autres méthodes comme l’authentification ou l’interdiction via le fichier .htaccess.
Pourquoi est-il important pour le SEO ?
Un robots.txt bien optimisé joue un rôle clé dans le SEO en facilitant l’exploration et l’indexation des pages importantes par les moteurs de recherche. Voici les principaux bénéfices :
- Optimiser l’exploration du site : Les moteurs de recherche disposent d’un budget de crawl limité, ce qui signifie qu’ils ne peuvent pas explorer un site en illimité. Un robots.txt bien configuré empêche les robots de perdre du temps sur des pages sans intérêt SEO.
- Bloquer l’indexation des fichiers inutiles : Certaines pages ne doivent pas apparaître dans les résultats de recherche, comme les pages d’administration (/admin/), les pages de connexion (/login/) ou les pages de résultats internes (/search/). Pour ces cas, les instructions meta robots noindex peuvent être une alternative complémentaire au fichier robots.txt. En empêchant leur indexation, on évite que Google ne considère ces contenus comme du contenu dupliqué.
- Guider les moteurs vers les contenus stratégiques : En associant le robots.txt avec un sitemap XML, vous aidez les moteurs de recherche à comprendre la structure du site et à prioriser les pages importantes.
- Éviter le cloaking involontaire : Certains fichiers CSS et JavaScript sont nécessaires pour afficher correctement une page web. Si ces fichiers sont bloqués dans le robots.txt, Google peut mal interpréter le contenu et pénaliser le site.
En résumé, un robots.txt bien conçu améliore l’efficacité du crawl, protège certaines sections sensibles et aide à réduire la confusion entre exploration et indexation, garantissant un référencement plus clair et précis des pages clés du site web. Cependant, il doit être utilisé avec précaution pour éviter de bloquer accidentellement des pages qui devraient être explorées par Googlebot.
Structure et syntaxe d’un fichier robots.txt
Où se trouve le fichier robots.txt ?
Le fichier robots.txt doit être placé à la racine du site, c’est-à-dire dans le dossier principal où sont stockés les fichiers du site web. Il doit être accessible directement via une URL publique. En général, il se trouve à l’adresse suivante :
https://www.exemple.com/robots.txt
Si vous souhaitez voir le vôtre, tapez simplement cette URL dans votre navigateur. Si la page s’affiche avec du texte brut contenant des directives, cela signifie que votre fichier robots.txt est bien configuré et accessible.
Pourquoi est-ce important ?
- Googlebot et les autres moteurs de recherche vérifient automatiquement ce fichier avant de commencer à explorer le site.
- Si le fichier n’existe pas, le robot tentera de crawler toutes les pages sans restriction.
- Si le fichier est mal configuré, il peut empêcher accidentellement Google d’indexer des contenus importants.
Certains CMS comme WordPress permettent de modifier ce fichier directement via des extensions comme Yoast SEO, sans avoir à accéder aux fichiers du serveur.
Les règles de base d’un fichier robots.txt
Le fichier robots.txt fonctionne avec des directives très simples, qui permettent de donner des instructions aux robots des moteurs de recherche (à chaque ligne son instruction). Voici les principales règles utilisées pour créer votre fichier :
User-agent
La directive User-agent sert à définir à quel robot s’appliquent les règles qui suivent. On peut s’adresser :
- À tous les robots avec *.
- À un robot spécifique comme Googlebot (Google), Bingbot (Bing) ou DuckDuckBot (DuckDuckGo).
Exemple 1 : Appliquer les règles à tous les robots
User-agent: *
Disallow: /private/
Ici, tous les robots sont concernés et juste avec une ligne, ils ne peuvent pas explorer le répertoire /private/.
Exemple 2 : Appliquer des règles uniquement à Googlebot
User-agent: Googlebot
Disallow: /admin/
Seul Googlebot est affecté par cette règle et il ne pourra pas explorer /admin/, tandis que les autres moteurs de recherche pourront.
Disallow
La directive Disallow permet d’interdire l’exploration de certaines pages ou répertoires. Vous pouvez même utiliser des wildcards dans robots.txt pour gérer plus facilement l’ensemble des URL.
Si vous souhaitez éviter l’indexation de certaines parties du site (comme une section privée ou une page de connexion), c’est cette directive qu’il faut utiliser.
Exemple 1 : Bloquer un répertoire entier
User-agent: *
Disallow: /admin/
Tous les robots ne pourront pas explorer le dossier /admin/.
Exemple 2 : Bloquer plusieurs pages spécifiques (article, panier, recherche…)
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Les moteurs de recherche ne pourront pas explorer les pages cart, checkout et search.
Exemple 3 : Bloquer l’ensemble du site (dangereux !)
User-agent: *
Disallow: /
Attention : cette règle empêche tous les robots d’explorer tout le site, ce qui bloquera l’indexation et la visibilité sur Google.
Allow
La directive Allow est utilisée pour autoriser l’exploration de certaines pages dans un répertoire bloqué et donc aux robots d’y accéder..
Exemple 1 : Autoriser l’exploration d’une page spécifique dans un répertoire interdit
User-agent: *
Disallow: /blog/
Allow: /blog/article-important.html
Ici, tout le répertoire /blog/ est bloqué, sauf la page /blog/article-important.html, qui laisse cette page article accessible aux moteurs de recherche.
Exemple 2 : Autoriser l’exploration d’un fichier CSS ou JS
User-agent: *
Disallow: /wp-content/
Allow: /wp-content/themes/style.css
Tous les fichiers de /wp-content/ sont bloqués sauf le fichier style.css, qui est essentiel au bon affichage du site.
Sitemap
La directive Sitemap permet d’indiquer aux moteurs de recherche l’emplacement du fichier sitemap.xml. Ce fichier est crucial pour aider les moteurs de recherche à mieux comprendre la structure du site et accélérer l’indexation des pages.
Exemple 1 : Indiquer un sitemap XML
Sitemap: https://www.exemple.com/sitemap.xml
Cette directive permet à Google et aux autres moteurs de trouver le sitemap et de suivre ses indications pour mieux explorer et indexer les pages du site.
Exemple 2 : Ajouter plusieurs sitemaps (utile pour les gros sites) tout en évitant le hotlinking des ressources qui pourrait impacter la bande passante.
Sitemap: https://www.exemple.com/sitemap-index.xml
Sitemap: https://www.exemple.com/sitemap-blog.xml
Sitemap: https://www.exemple.com/sitemap-produits.xml
Chaque sitemap liste une catégorie différente de pages (blog, produits, index général).
Exemple complet d’un fichier robots.txt optimisé
Voici un fichier robots.txt bien structuré qui bloque certaines parties inutiles du site tout en permettant l’indexation des contenus stratégiques :
User-agent: *
Disallow: /admin/ # Bloque l’accès à l’administration
Disallow: /cart/ # Bloque l’accès au panier
Disallow: /checkout/ # Bloque la page de paiement
Disallow: /search/ # Bloque les résultats de recherche interne
Allow: /blog/ # Autorise le blog
Allow: /images/ # Autorise l’accès aux images ainsi qu’aux fichiers image et PDF essentiels pour le bon affichage et la documentation du site.
Sitemap: https://www.exemple.com/sitemap.xml # Indique l’emplacement du fichier
Les bonnes pratiques pour optimiser robots.txt
Exclure les pages inutiles pour le SEO
Vous ne voulez pas que Google indexe votre panneau d’administration ou vos pages de panier ? Ajoutez ces lignes dans votre robots.txt :
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /search/
Ajouter l’URL du sitemap
Pensez à indiquer l’emplacement de votre sitemap XML pour améliorer l’indexation :
https://www.exemple.com/sitemap.xml
Tester votre fichier
Utilisez Google Search Console, un outil prisé par les webmasters, pour tester votre Robot.txt et éviter les erreurs d’exploration.
Erreurs courantes à éviter
Interdire l’accès à tout le site par erreur
On l’a déjà dit, mais on préfère le répéter car une mauvaise directive ou une ligne mal codée peut empêcher Googlebot d’accéder à l’ensemble du domaine du site ! Voici THE erreur à éviter :
User-agent: *
Disallow: /
Bloquer les fichiers CSS et JS
Certains fichiers CSS et JS sont essentiels pour le rendu du site. Ne les bloquez pas !
Allow: /wp-includes/js/
Comment tester et soumettre robots.txt à Google ?
Vérifier son fichier avec Google Search Console (GSC pour les intimes)
Rendez-vous dans la GSC pour utiliser l’outil de test robots.txt et détecter d’éventuelles erreurs.
Modifier son fichier en fonction des recommandations
Si Googlebot rencontre des blocages, ajustez votre fichier robots.txt en conséquence et testez-le à nouveau.
Cas spécifiques d’utilisation
Robots.txt pour WordPress
Si vous utilisez WordPress, vous pouvez créer et gérer votre robots.txt avec des plugins comme Yoast SEO.
Robots.txt pour un site e-commerce
Un site e-commerce doit éviter d’indexer les pages de tri et de panier :
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Étude de cas : Impact d’un fichier Robots.txt bien configuré
Un site e-commerce avec plusieurs milliers de pages produits, des filtres de navigation et de nombreuses URL dynamiques a décidé d’optimiser son fichier robots.txt afin d’améliorer son indexation et de réduire la charge inutile sur son budget de crawl. Avant l’optimisation, le site rencontrait plusieurs problèmes :
- Trop de pages inutiles explorées par Googlebot, ce qui ralentissait l’indexation des nouvelles fiches produits.
- Présence de nombreuses erreurs d’exploration dans GSC, notamment des pages en double indexées inutilement.
- Une saturation du budget de crawl, car Google explorait des pages sans valeur ajoutée pour le référencement (pages de tri, de filtres, panier, compte client, etc.).
Optimisation du fichier robots.txt
Après un audit technique approfondi, les actions suivantes ont été mises en place :
- Blocage des pages inutiles à l’indexation, comme le panier, les comptes clients et les résultats de recherche interne :
User-agent: * - Disallow: /cart/
- Disallow: /checkout/
- Disallow: /search/
- Disallow: /account/
- Autorisation des pages stratégiques, notamment les pages produits et catégories :
Allow: /produits/ - Allow: /categories/
- Ajout du sitemap XML pour faciliter l’exploration des pages essentielles :
Sitemap: https://www.exemple.com/sitemap.xml - Vérification du fichier dans GSC pour s’assurer qu’aucune page importante n’était bloquée par erreur.
Résultats observés après 3 mois
Grâce à ces optimisations, le site a constaté des améliorations significatives :
- +30 % d’exploration par Googlebot : le fichier robots.txt a permis d’éliminer le crawl inutile, permettant à Google de se concentrer sur les pages importantes.
- Meilleure indexation des pages produits : les fiches produits ont été indexées plus rapidement, augmentant la visibilité organique du site et générant plus de trafic.
- Diminution des erreurs d’exploration de 40 % : moins de pages en double ou sans valeur ont été explorées, réduisant les erreurs dans Google Search Console.
- Amélioration du temps de chargement global : en réduisant le crawl des pages inutiles, la charge sur le serveur a diminué, ce qui a également amélioré les performances du site.
Leçons tirées de cette optimisation du robot.txt
- Un fichier robots.txt bien configuré aide Googlebot à prioriser les pages les plus importantes.
- Bloquer les pages inutiles permet d’économiser le budget de crawl, particulièrement pour les sites e-commerce avec beaucoup de pages dynamiques.
- Associer un robots.txt optimisé avec un sitemap bien structuré améliore la vitesse d’indexation des nouvelles pages.
- Tester et surveiller les résultats avec GSC est indispensable pour éviter toute erreur de blocage involontaire.
Grâce à ces bonnes pratiques, le site e-commerce a non seulement optimisé son référencement naturel, mais a également facilité la gestion de son contenu par les moteurs de recherche, améliorant ainsi son classement et sa performance globale.
Outils pour analyser et optimiser robots.txt
- Google Search Console (GSC) : Vérification et test du fichier robots.txt.
- Screaming Frog SEO Spider : Audit des pages bloquées.
- Yoast SEO : Modification simple du fichier sur WordPress.
Bien optimiser son robots.txt pour bien indexer
Le fichier robots.txt est un outil puissant pour contrôler l’exploration de votre site par les moteurs de recherche. Bien configuré, il peut améliorer l’indexation et optimiser votre SEO.
Pensez à tester régulièrement votre robots.txt et à l’adapter en fonction de vos besoins. Un fichier bien réglé, c’est un SEO au top !
