Gerador de robots.txt

Crie um ficheiro robots.txt claro para orientar os robots de rastreio.

Modelo

Robot alvo

Use * para aplicar as regras a todos os robots.

Caminhos permitidos

Um caminho por linha, por exemplo /public/.

Caminhos proibidos

Um caminho por linha, por exemplo /admin/.

URLs dos sitemaps

Um URL absoluto por linha.

Atraso de rastreio

Opção facultativa, em segundos. Nem todos os motores a suportam.

Host preferido

Opção reconhecida sobretudo por alguns motores.