Ir al contenido principal
Bethemesh
Web y SEO

Generador de robots.txt

Configura reglas Allow y Disallow, sitemaps, host y retraso de rastreo, y copia un archivo robots.txt listo para publicar.

  • Portapapeles

Integrar este widget

Personaliza el aspecto, comprueba la vista previa y copia el código.

Vista previa

Tipo de código de integración

Código para copiar

Se adapta a tu página y Bethemesh ajusta su tamaño automáticamente.

Plantilla

Usa * para aplicar las reglas a todos los rastreadores.

Una ruta por línea, por ejemplo /public/.

Una ruta por línea, por ejemplo /admin/.

Una URL absoluta por línea.

Opcional, en segundos. No todos los buscadores lo admiten.

Directiva opcional reconocida principalmente por algunos buscadores.

Archivo generado

¿Te ha resultado útil esta herramienta?

¿Cómo funciona esta herramienta?

Este generador escribe un archivo robots.txt a partir de unos pocos campos: rastreador objetivo, rutas permitidas y bloqueadas, retraso de rastreo, sitemaps y host preferido. Ofrece plantillas listas para usar, normaliza las rutas y avisa antes de generar una regla que bloquearía todo el sitio.

El archivo empieza por User-agent, seguido de las líneas Allow y después las Disallow. Una ruta escrita sin barra inicial la recibe (admin/ pasa a /admin/) y se eliminan los duplicados.

El retraso de rastreo solo se escribe si es cero o un número positivo; las URL de sitemap deben ser absolutas en http o https; si no, aparece un aviso.

El host preferido se reduce a su nombre de dominio (https://www.example.com/ pasa a www.example.com) y se añade en una línea Host.

Las plantillas rellenan los campos: Permitir todo el sitio (Allow: /), Bloquear todo el sitio (Disallow: /) o Bloquear zonas privadas (/admin/, /account/, /api/private/).

Cómo utilizar esta herramienta

  1. Elige una plantilla

    O empieza desde Personalizado para introducirlo todo tú.

  2. Indica el rastreador objetivo

    * para todos, o un nombre como Googlebot o GPTBot.

  3. Enumera las rutas

    Una ruta por línea en Rutas permitidas y Rutas bloqueadas; después, añade las URL de los sitemaps.

  4. Genera y publica

    Copia el archivo generado y colócalo en la raíz del dominio: https://example.com/robots.txt.

Casos de uso

Lanzar un sitio nuevo

Publicar un robots.txt mínimo que declare el sitemap y permita rastrearlo todo.

Apartar zonas sin interés

Evitar que los rastreadores pierdan tiempo en la administración, la cuenta de cliente o los resultados de búsqueda interna.

Gestionar rastreadores de IA

Preparar un bloque para un rastreador concreto, por ejemplo para rechazar el rastreo de un bot de entrenamiento de IA.

Ejemplos

Zonas privadas bloqueadas con una excepción

Allow vuelve a abrir la documentación de la API dentro de un directorio bloqueado: en Google prevalece la regla más precisa. El sitemap se declara al final del archivo.

Entrada

Plantilla: Bloquear zonas privadas
Rastreador objetivo: *
Rutas permitidas: /api/private/docs/
Rutas bloqueadas: /admin/, /account/, /api/private/
URL de sitemaps: https://example.com/sitemap.xml

Resultado

Archivo generado:
User-agent: *
Allow: /api/private/docs/
Disallow: /admin/
Disallow: /account/
Disallow: /api/private/

Sitemap: https://example.com/sitemap.xml

Bloquear un rastreador de IA

Solo GPTBot recibe Disallow: /; la herramienta avisa de que ese rastreador no recorrerá ninguna página. Los demás rastreadores no se ven afectados por este bloque.

Entrada

Rastreador objetivo: GPTBot
Rutas bloqueadas: /

Resultado

Atención: Disallow: / solicita a los rastreadores indicados que no rastreen ninguna página.
User-agent: GPTBot
Disallow: /

Consejos y buenas prácticas

  • robots.txt bloquea el rastreo, no la indexación: una página bloqueada puede aparecer en Google si recibe enlaces. Para excluirla, usa noindex y déjala rastreable.
  • El archivo no es una protección: es público y solo lo respetan los rastreadores correctos. Protege las zonas sensibles con autenticación.
  • Google ignora Crawl-delay; Bing y otros buscadores lo tienen en cuenta. Host ya no lo usan los principales buscadores.
  • No bloquees los archivos CSS y JavaScript: Google los necesita para mostrar la página como la ve un usuario.

Fuentes y referencias

Preguntas frecuentes

¿Dónde se coloca el archivo robots.txt?

En la raíz del host, exactamente en /robots.txt. Cada subdominio y cada protocolo tiene el suyo: blog.example.com/robots.txt no se aplica a example.com.

¿Qué pasa si Allow y Disallow se contradicen?

Según la norma RFC 9309, que aplica Google, gana la regla con la ruta más larga; en caso de empate, gana Allow. Así se puede abrir una subcarpeta dentro de un directorio bloqueado.

¿Cómo se dirigen reglas a varios rastreadores?

La herramienta genera un bloque por rastreador. Genera un bloque para cada uno y júntalos en el mismo archivo, separados por una línea en blanco.

¿Se admiten * y $ en las rutas?

Sí, la herramienta los copia tal cual. Google los entiende: /*.pdf$ bloquea todas las URL que terminan en .pdf. Comprueba que los demás buscadores que te interesan también los admiten.

¿Se envía el archivo a un servidor?

No. Se genera en tu navegador; subirlo a tu sitio corre de tu cuenta.

Herramientas relacionadas

Continúa con estas herramientas

Herramientas similares o complementarias a esta.

Herramientas similares

Comparador de sitemaps XML

Compara dos sitemaps o listas de URL e identifica URL añadidas y eliminadas.

Web y SEOUsar esta herramienta

También te puede interesar