Ir al contenido principal
Bethemesh
Web y SEO

Generador de robots.txt

Configura reglas Allow y Disallow, sitemaps, host y retraso de rastreo, y copia un archivo robots.txt listo para publicar.

Integrar este widget

Personaliza el resultado, comprueba la vista previa y copia el código.

Vista previa

Tipo de código de integración

Código para copiar

Responsive y redimensionado automáticamente por Bethemesh.

  • 100 % local
  • Instantáneo
  • Gratis
  • Sin cuenta
  • Funciona sin conexión
  • Portapapeles

Plantilla

Usa * para aplicar las reglas a todos los rastreadores.

Una ruta por línea, por ejemplo /public/.

Una ruta por línea, por ejemplo /admin/.

Una URL absoluta por línea.

Opcional, en segundos. No todos los buscadores lo admiten.

Directiva opcional reconocida principalmente por algunos buscadores.

Archivo generado

¿Por qué usar esta herramienta?

Prepara un archivo robots.txt legible para indicar a los rastreadores qué zonas pueden explorar. La herramienta genera el texto localmente sin enviar la configuración a un servidor.

100 % local y seguro

Tus datos permanecen en tu dispositivo y nunca se envían a nuestros servidores.

Procesamiento inteligente

Crea y verifica contenidos web con ajustes pensados para obtener resultados utilizables.

Formatos compatibles

Formatos web, metadatos y contenido estructurado según las funciones disponibles.

Ahorra tiempo

Obtén un resultado limpio y listo para usar en segundos, sin instalar programas ni configurar procesos complejos.

Guide

Cómo utilizar esta herramienta

  1. 1

    Elige una plantilla

    Parte de una configuración habitual o crea tus propias reglas.

  2. 2

    Añade las rutas

    Introduce las zonas permitidas, bloqueadas y las URL de sitemap.

  3. 3

    Revisa y copia

    Lee las advertencias y copia el archivo generado en la raíz del sitio.

Consejos y buenas prácticas

  • robots.txt controla el rastreo, no garantiza que una URL conocida deje de estar indexada.
  • Nunca publiques secretos en una ruta pensando que robots.txt la vuelve privada.
  • Utiliza URL absolutas en las directivas Sitemap.

Preguntas frecuentes

¿Dónde se coloca robots.txt?

El archivo debe estar disponible en la raíz del dominio, por ejemplo https://example.com/robots.txt.

¿Disallow evita que una página aparezca en Google?

No siempre. Una URL todavía puede indexarse si se descubre en otro lugar. Usa controles de indexación adecuados y protección real para contenido privado.

¿El retraso de rastreo funciona en todos los buscadores?

No. La directiva Crawl-delay no se admite de forma uniforme en todos los motores.

¿Te ha resultado útil esta herramienta?

También te puede interesar

Workflow recomendado

Continúa tu proceso

Descubre herramientas que encajan antes, después o como complemento de esta.

Herramientas complementarias

Web y SEO

Generador de etiquetas meta

Crea etiquetas SEO, Open Graph y Twitter/X para una página web.

100 % local
Usar esta herramienta
Web y SEO

Generador de URL UTM

Añade parámetros UTM a una URL de campaña.

100 % localNuevo
Usar esta herramienta