Outil 2 sur 8
Générateur de robots.txt
Le fichier robots.txt dit aux robots d'exploration quelles zones de votre site éviter. Composez-le règle par règle, vérifiez les avertissements, puis téléchargez-le pour le publier à la racine de votre domaine.
Rédigé par Jimenez Julien, éditeur de Kbizam. Mise à jour le .
Fichier robots.txt
Une consigne, pas une protection. robots.txt demande aux robots de ne pas explorer ; il n'empêche ni l'accès à une adresse ni toujours son apparition dans les résultats, et il est lisible par tous. Pour exclure une page des résultats, utilisez noindex ; pour protéger un contenu, utilisez une authentification.
Bien utiliser cet outil
Le fichier robots.txt se place à la racine du domaine, par exemple à l'adresse /robots.txt. Les robots d'exploration le lisent avant de parcourir le site pour savoir ce qu'ils doivent éviter. Chaque groupe commence par une ligne User-agent suivie de règles Disallow, pour les chemins à éviter, et Allow, pour les exceptions. Une valeur Disallow vide signifie que tout est autorisé pour ce robot.
Pour une boutique, les candidats habituels sont les pages sans intérêt pour un moteur : panier, tunnel de commande, espace client, résultats de la recherche interne, combinaisons de filtres sans fin. Évitez de bloquer les dossiers qui contiennent vos feuilles de style, vos scripts et vos images : un robot qui ne peut pas les charger comprend mal la mise en page de vos pages.
Retenez surtout ceci : robots.txt est une consigne d'exploration, pas une protection. Les robots respectueux s'y conforment, d'autres l'ignorent, et le fichier est public, donc y lister un dossier confidentiel revient à le signaler. Une adresse bloquée peut aussi rester connue des moteurs si d'autres pages pointent vers elle. Pour retirer une page des résultats, utilisez une balise noindex sur une page explorable ; pour protéger un contenu, utilisez une authentification.
Ajoutez enfin une ligne Sitemap avec l'adresse absolue de votre plan de site XML : elle aide les robots à découvrir vos pages. Après publication, ouvrez le fichier dans un navigateur pour vérifier qu'il s'affiche en texte brut, et testez-le avec l'outil de contrôle proposé par votre moteur de recherche.
Questions fréquentes
Où dois-je placer le fichier ?
À la racine du domaine, sous le nom robots.txt, en texte brut encodé en UTF-8. Un fichier placé dans un sous-dossier n'est pas lu, et chaque sous-domaine a son propre fichier.
Disallow empêche-t-il l'indexation ?
Non. Il demande de ne pas explorer la zone. Une adresse peut rester connue d'un moteur sans que son contenu soit lu. Pour exclure une page des résultats, préférez la balise noindex sur une page accessible.
Puis-je cacher des pages privées avec ce fichier ?
Non, c'est même contre-productif puisque le fichier est public. Protégez les contenus privés par un mot de passe ou un accès restreint côté serveur.
Calculateurs liés
Pour approfondir
Guide et niche liés
Le guide d'achat Bijoux et accessoires montre comment un acheteur lit une fiche et une boutique, ce qui aide à soigner titres, images et adresses. La niche Bijoux et accessoires permet d'observer des boutiques réelles.