Ir para o conteúdo principal
Bethemesh
Web e SEO

Gerador de robots.txt

Configure regras Allow e Disallow, sitemaps, host e atraso de rastreio e copie um ficheiro robots.txt pronto a publicar.

  • Área de transferência

Integrar este widget

Personalize o resultado, verifique a pré-visualização e copie o código.

Pré-visualização

Tipo de código de integração

Código a copiar

Responsivo e redimensionado automaticamente pela Bethemesh.

Modelo

Use * para aplicar as regras a todos os robots.

Um caminho por linha, por exemplo /public/.

Um caminho por linha, por exemplo /admin/.

Um URL absoluto por linha.

Opção facultativa, em segundos. Nem todos os motores a suportam.

Opção reconhecida sobretudo por alguns motores.

Ficheiro gerado

Esta ferramenta foi útil?

Como funciona esta ferramenta?

Este gerador escreve um ficheiro robots.txt a partir de poucos campos: robot alvo, caminhos permitidos e proibidos, atraso de rastreio, sitemaps e host preferido. Propõe modelos prontos a usar, normaliza os caminhos e avisa antes de gerar uma regra que bloquearia o site inteiro.

O ficheiro começa por User-agent, seguido das linhas Allow e depois Disallow. Um caminho escrito sem barra inicial recebe uma (admin/ passa a /admin/) e os duplicados são removidos.

O atraso de rastreio só é escrito se for zero ou um número positivo; os URL de sitemap têm de ser absolutos em http ou https; caso contrário, aparece um aviso.

O host preferido é reduzido ao nome de domínio (https://www.example.com/ passa a www.example.com) e acrescentado numa linha Host.

Os modelos preenchem os campos: Permitir todo o site (Allow: /), Bloquear todo o site (Disallow: /) ou Bloquear áreas privadas (/admin/, /account/, /api/private/).

Como usar esta ferramenta

  1. Escolha um modelo

    Ou parta de Personalizado para introduzir tudo.

  2. Indique o robot alvo

    * para todos os robots, ou um nome como Googlebot ou GPTBot.

  3. Liste os caminhos

    Um caminho por linha em Caminhos permitidos e Caminhos proibidos; depois, acrescente os URL dos sitemaps.

  4. Gere e publique

    Copie o ficheiro gerado e coloque-o na raiz do domínio: https://example.com/robots.txt.

Casos de uso

Lançar um site novo

Publicar um robots.txt mínimo que declare o sitemap e deixe rastrear tudo.

Afastar zonas sem interesse

Evitar que os robots percam tempo na administração, na conta de cliente ou nos resultados da pesquisa interna.

Gerir robots de IA

Preparar um bloco para um robot específico, por exemplo para recusar o rastreio por um bot de treino de IA.

Exemplos

Áreas privadas bloqueadas com uma exceção

Allow volta a abrir a documentação da API dentro de um diretório proibido: na Google prevalece a regra mais precisa. O sitemap é declarado no fim do ficheiro.

Entrada

Modelo: Bloquear áreas privadas
Robot alvo: *
Caminhos permitidos: /api/private/docs/
Caminhos proibidos: /admin/, /account/, /api/private/
URLs dos sitemaps: https://example.com/sitemap.xml

Resultado

Ficheiro gerado:
User-agent: *
Allow: /api/private/docs/
Disallow: /admin/
Disallow: /account/
Disallow: /api/private/

Sitemap: https://example.com/sitemap.xml

Bloquear um robot de IA

Só o GPTBot recebe Disallow: /; a ferramenta avisa que esse robot não vai rastrear nenhuma página. Os outros robots não são afetados por este bloco.

Entrada

Robot alvo: GPTBot
Caminhos proibidos: /

Resultado

Atenção: Disallow: / pede aos robots em causa que não rastreiem nenhuma página.
User-agent: GPTBot
Disallow: /

Dicas e boas práticas

  • O robots.txt bloqueia o rastreio, não a indexação: uma página proibida pode aparecer no Google se receber ligações. Para a excluir, use noindex e deixe-a rastreável.
  • O ficheiro não é uma proteção: é público e só os robots corretos o respeitam. Proteja as zonas sensíveis com autenticação.
  • A Google ignora Crawl-delay; o Bing e outros motores têm-no em conta. Host já não é usado pelos principais motores de pesquisa.
  • Não bloqueie os ficheiros CSS e JavaScript: a Google precisa deles para mostrar a página como um utilizador a vê.

Fontes e referências

Perguntas frequentes

Onde se coloca o ficheiro robots.txt?

Na raiz do host, exatamente em /robots.txt. Cada subdomínio e cada protocolo tem o seu: blog.example.com/robots.txt não se aplica a example.com.

O que acontece se Allow e Disallow se contradisserem?

Segundo a norma RFC 9309, seguida pela Google, ganha a regra com o caminho mais longo; em caso de empate, ganha Allow. É assim que se volta a abrir uma subpasta dentro de um diretório proibido.

Como dirigir regras a vários robots?

A ferramenta gera um bloco por robot. Gere um bloco para cada um e junte-os no mesmo ficheiro, separados por uma linha em branco.

São aceites * e $ nos caminhos?

Sim, a ferramenta copia-os tal como estão. A Google entende-os: /*.pdf$ bloqueia todos os URL que terminam em .pdf. Confirme que os outros motores que lhe interessam também os suportam.

O ficheiro é enviado para um servidor?

Não. É gerado no seu navegador; colocá-lo no site fica a seu cargo.

Ferramentas relacionadas

Continue com estas ferramentas

Ferramentas semelhantes ou complementares a esta.

Ferramentas semelhantes

Comparador de sitemaps XML

Compare dois sitemaps ou listas de URL e identifique URL adicionados e removidos.

Web e SEOUtilizar esta ferramenta

Gerador de meta tags

Crie as meta tags SEO, Open Graph e Twitter/X de uma página Web.

Web e SEOEm destaqueUtilizar esta ferramenta

Leia também