Generador de robots.txt

Crea un archivo robots.txt claro para orientar a los rastreadores.

Plantilla

Rastreador objetivo

Usa * para aplicar las reglas a todos los rastreadores.

Rutas permitidas

Una ruta por línea, por ejemplo /public/.

Rutas bloqueadas

Una ruta por línea, por ejemplo /admin/.

URL de sitemaps

Una URL absoluta por línea.

Retraso de rastreo

Opcional, en segundos. No todos los buscadores lo admiten.

Host preferido

Directiva opcional reconocida principalmente por algunos buscadores.