Generatore di robots.txt

Crea un file robots.txt chiaro per guidare i crawler.

Modello

Robot di destinazione

Usa * per applicare le regole a tutti i robot.

Percorsi consentiti

Un percorso per riga, ad esempio /public/.

Percorsi vietati

Un percorso per riga, ad esempio /admin/.

URL delle sitemap

Un URL assoluto per riga.

Ritardo di scansione

Opzione facoltativa, in secondi. Non tutti i motori la supportano.

Host preferito

Opzione riconosciuta principalmente da alcuni motori.