Aller au contenu principal
Bethemesh
Web & SEO

Générateur de robots.txt

Configurez les règles Allow et Disallow, les sitemaps, l’hôte et le délai d’exploration, puis copiez un fichier robots.txt prêt à publier.

  • Presse-papiers

Intégrer ce widget

Personnalisez le rendu, vérifiez l’aperçu puis copiez le code.

Aperçu

Type de code d’intégration

Code à copier

Responsive et redimensionné automatiquement par Bethemesh.

Modèle

Utilisez * pour appliquer les règles à tous les robots.

Un chemin par ligne, par exemple /public/.

Un chemin par ligne, par exemple /admin/.

Une URL absolue par ligne.

Option facultative, en secondes. Tous les moteurs ne la prennent pas en charge.

Option principalement reconnue par certains moteurs.

Fichier généré

Cet outil vous a-t-il été utile ?

Comment fonctionne cet outil ?

Ce générateur écrit un fichier robots.txt à partir de quelques champs : robot ciblé, chemins autorisés et interdits, délai d’exploration, sitemaps et hôte préféré. Il propose des modèles prêts à l’emploi, normalise les chemins et avertit avant de produire une règle qui bloquerait tout le site.

Le fichier commence par User-agent, suivi des lignes Allow puis Disallow. Un chemin saisi sans barre oblique initiale en reçoit une (admin/ devient /admin/) et les doublons sont supprimés.

Le délai d’exploration n’est écrit que s’il s’agit d’un nombre positif ou nul ; les URL de sitemap doivent être absolues en http ou https, sinon un avertissement s’affiche.

L’hôte préféré est réduit à son nom de domaine (https://www.example.com/ devient www.example.com) et ajouté dans une ligne Host.

Les modèles remplissent les champs : Autoriser tout le site (Allow: /), Bloquer tout le site (Disallow: /) ou Bloquer les zones privées (/admin/, /account/, /api/private/).

Comment utiliser cet outil ?

  1. Choisissez un modèle

    Ou partez de Personnalisé pour tout saisir vous-même.

  2. Indiquez le robot ciblé

    * pour tous les robots, ou un nom comme Googlebot ou GPTBot.

  3. Listez les chemins

    Un chemin par ligne dans Chemins autorisés et Chemins interdits, puis ajoutez les URL des sitemaps.

  4. Générez et publiez

    Copiez le fichier généré et placez-le à la racine du domaine : https://example.com/robots.txt.

Cas d'utilisation

Lancer un nouveau site

Publier un robots.txt minimal qui déclare le sitemap et laisse tout explorer.

Écarter les zones sans intérêt

Éviter que les robots passent du temps sur l’administration, le compte client ou les résultats de recherche interne.

Gérer les robots d’IA

Préparer un bloc dédié à un robot précis, par exemple pour refuser l’exploration par un robot d’entraînement d’IA.

Exemples

Zones privées bloquées avec une exception

Allow rouvre la documentation de l’API à l’intérieur d’un répertoire interdit : la règle la plus précise l’emporte chez Google. Le sitemap est déclaré en fin de fichier.

Entrée

Modèle : Bloquer les zones privées
Robot ciblé : *
Chemins autorisés : /api/private/docs/
Chemins interdits : /admin/, /account/, /api/private/
URL des sitemaps : https://example.com/sitemap.xml

Résultat

Fichier généré :
User-agent: *
Allow: /api/private/docs/
Disallow: /admin/
Disallow: /account/
Disallow: /api/private/

Sitemap: https://example.com/sitemap.xml

Bloquer un robot d’IA

Seul GPTBot reçoit Disallow: / ; l’outil avertit que ce robot ne parcourra aucune page. Les autres robots ne sont pas concernés par ce bloc.

Entrée

Robot ciblé : GPTBot
Chemins interdits : /

Résultat

Attention : Disallow: / demande aux robots concernés de ne parcourir aucune page.
User-agent: GPTBot
Disallow: /

Conseils et bonnes pratiques

  • robots.txt bloque l’exploration, pas l’indexation : une page interdite peut apparaître dans Google si elle reçoit des liens. Pour l’exclure, utilisez noindex et laissez-la explorable.
  • Le fichier n’est pas une protection : il est public et seuls les robots respectueux le suivent. Protégez les zones sensibles par authentification.
  • Google ignore Crawl-delay ; Bing et d’autres moteurs le prennent en compte. Host n’est plus utilisé par les principaux moteurs.
  • Ne bloquez pas les fichiers CSS et JavaScript : Google en a besoin pour afficher la page comme un utilisateur.

Sources et références

Questions fréquentes

Où placer le fichier robots.txt ?

À la racine de l’hôte, exactement à l’adresse /robots.txt. Chaque sous-domaine et chaque protocole a le sien : blog.example.com/robots.txt ne s’applique pas à example.com.

Que se passe-t-il si Allow et Disallow se contredisent ?

Selon la norme RFC 9309 appliquée par Google, la règle dont le chemin est le plus long l’emporte ; à égalité, Allow gagne. C’est ce qui permet d’ouvrir un sous-dossier dans un répertoire interdit.

Comment cibler plusieurs robots ?

L’outil génère un bloc pour un robot à la fois. Générez un bloc par robot et assemblez-les dans le même fichier, séparés par une ligne vide.

Les caractères * et $ sont-ils acceptés dans les chemins ?

Oui, l’outil les recopie tels quels. Google les comprend : /*.pdf$ bloque toutes les URL qui se terminent par .pdf. Vérifiez cependant que les autres moteurs visés les gèrent.

Le fichier est-il envoyé à un serveur ?

Non. Il est généré dans votre navigateur ; c’est à vous de le déposer sur votre site.

Outils associés

Continuez avec ces outils

Des outils similaires ou complémentaires à celui-ci.

Outils similaires

Comparateur de sitemaps XML

Comparez deux sitemaps ou listes d’URL et repérez les URL ajoutées et supprimées.

Web & SEOUtiliser l’outil

À lire aussi

GuideBonnes pratiquesDébutant

Checklist SEO technique avant de publier une page Web

Passez en revue URL, indexation, title, meta description, canonical, robots, données structurées, images, maillage interne et responsive avant de mettre une page en ligne.

29 août 20266 min