Aller au contenu principal
Bethemesh
Web & SEO

Générateur de robots.txt

Configurez les règles Allow et Disallow, les sitemaps, l’hôte et le délai d’exploration, puis copiez un fichier robots.txt prêt à publier.

Intégrer ce widget

Personnalisez le rendu, vérifiez l’aperçu puis copiez le code.

Aperçu

Type de code d’intégration

Code à copier

Responsive et redimensionné automatiquement par Bethemesh.

  • 100 % local
  • Instantané
  • Gratuit
  • Sans inscription
  • Hors ligne
  • Presse-papiers

Modèle

Utilisez * pour appliquer les règles à tous les robots.

Un chemin par ligne, par exemple /public/.

Un chemin par ligne, par exemple /admin/.

Une URL absolue par ligne.

Option facultative, en secondes. Tous les moteurs ne la prennent pas en charge.

Option principalement reconnue par certains moteurs.

Fichier généré

Pourquoi utiliser cet outil ?

Préparez un fichier robots.txt lisible pour indiquer aux robots d’exploration quelles zones ils peuvent parcourir. L’outil génère le texte localement sans envoyer la configuration à un serveur.

100 % local et sécurisé

Vos données restent sur votre appareil et ne sont jamais envoyées vers nos serveurs.

Traitement intelligent

Créez et vérifiez vos contenus web avec des réglages pensés pour un résultat exploitable.

Formats pris en charge

Formats web, métadonnées et contenus structurés selon les fonctions disponibles.

Gain de temps

Obtenez un résultat propre et prêt à l’emploi en quelques secondes, sans installation ni configuration complexe.

Guide

Comment utiliser cet outil ?

  1. 1

    Choisissez un modèle

    Partez d’une configuration courante ou créez vos propres règles.

  2. 2

    Ajoutez les chemins

    Renseignez les zones autorisées, interdites et les URL de sitemap.

  3. 3

    Vérifiez puis copiez

    Lisez les avertissements et copiez le fichier généré à la racine du site.

Conseils et bonnes pratiques

  • robots.txt contrôle l’exploration, pas l’indexation garantie d’une URL déjà connue.
  • Ne placez jamais de secrets dans un chemin en pensant que robots.txt le rend privé.
  • Utilisez des URL absolues pour les directives Sitemap.

Questions fréquentes

Où placer robots.txt ?

Le fichier doit être accessible à la racine du domaine, par exemple https://example.com/robots.txt.

Disallow empêche-t-il une page d’apparaître dans Google ?

Pas toujours. Une URL peut encore être indexée si elle est découverte ailleurs. Utilisez les mécanismes d’indexation adaptés et protégez réellement les contenus privés.

Le délai d’exploration fonctionne-t-il partout ?

Non. La directive Crawl-delay n’est pas prise en charge de manière uniforme par tous les moteurs.

Cet outil vous a-t-il été utile ?

À lire aussi

Workflow recommandé

Continuez votre traitement

Découvrez les outils qui interviennent naturellement avant, après ou en complément de celui-ci.

Outils complémentaires

Web & SEO

Générateur d’URL UTM

Ajoutez des paramètres UTM à une URL de campagne.

100 % localNouveau
Utiliser l’outil