Générateur de robots.txt

Créez un fichier robots.txt clair pour guider les robots d’exploration.

Modèle

Robot ciblé

Utilisez * pour appliquer les règles à tous les robots.

Chemins autorisés

Un chemin par ligne, par exemple /public/.

Chemins interdits

Un chemin par ligne, par exemple /admin/.

URL des sitemaps

Une URL absolue par ligne.

Délai d’exploration

Option facultative, en secondes. Tous les moteurs ne la prennent pas en charge.

Hôte préféré

Option principalement reconnue par certains moteurs.