Vai al contenuto principale
Bethemesh
Web e SEO

Generatore di robots.txt

Configura le regole Allow e Disallow, le sitemap, l’host e il ritardo di scansione, quindi copia un file robots.txt pronto da pubblicare.

  • Appunti

Integra questo widget

Personalizza il risultato, controlla l’anteprima e copia il codice.

Anteprima

Tipo di codice di integrazione

Codice da copiare

Responsive e ridimensionato automaticamente da Bethemesh.

Modello

Usa * per applicare le regole a tutti i robot.

Un percorso per riga, ad esempio /public/.

Un percorso per riga, ad esempio /admin/.

Un URL assoluto per riga.

Opzione facoltativa, in secondi. Non tutti i motori la supportano.

Opzione riconosciuta principalmente da alcuni motori.

File generato

Questo strumento ti è stato utile?

Come funziona questo strumento?

Questo generatore scrive un file robots.txt partendo da pochi campi: robot di destinazione, percorsi consentiti e vietati, ritardo di scansione, sitemap e host preferito. Propone modelli pronti, normalizza i percorsi e avvisa prima di produrre una regola che bloccherebbe l’intero sito.

Il file inizia con User-agent, seguito dalle righe Allow e poi Disallow. Un percorso scritto senza barra iniziale la riceve (admin/ diventa /admin/) e i duplicati vengono eliminati.

Il ritardo di scansione viene scritto solo se è zero o un numero positivo; gli URL delle sitemap devono essere assoluti in http o https, altrimenti compare un avviso.

L’host preferito viene ridotto al nome di dominio (https://www.example.com/ diventa www.example.com) e aggiunto in una riga Host.

I modelli compilano i campi: Consenti tutto il sito (Allow: /), Blocca tutto il sito (Disallow: /) oppure Blocca le aree private (/admin/, /account/, /api/private/).

Come usare questo strumento

  1. Scegli un modello

    Oppure parti da Personalizzato per inserire tutto da te.

  2. Indica il robot di destinazione

    * per tutti i robot, o un nome come Googlebot o GPTBot.

  3. Elenca i percorsi

    Un percorso per riga in Percorsi consentiti e Percorsi vietati, poi aggiungi gli URL delle sitemap.

  4. Genera e pubblica

    Copia il file generato e mettilo nella radice del dominio: https://example.com/robots.txt.

Casi d’uso

Lanciare un nuovo sito

Pubblicare un robots.txt minimo che dichiari la sitemap e lasci scansionare tutto.

Escludere le aree poco utili

Evitare che i robot perdano tempo nell’area di amministrazione, nell’account cliente o nei risultati della ricerca interna.

Gestire i crawler di IA

Preparare un blocco per un robot preciso, ad esempio per rifiutare la scansione da parte di un bot di addestramento IA.

Esempi

Aree private bloccate con un’eccezione

Allow riapre la documentazione dell’API dentro una directory vietata: in Google prevale la regola più precisa. La sitemap è dichiarata in fondo al file.

Input

Modello: Blocca le aree private
Robot di destinazione: *
Percorsi consentiti: /api/private/docs/
Percorsi vietati: /admin/, /account/, /api/private/
URL delle sitemap: https://example.com/sitemap.xml

Risultato

File generato:
User-agent: *
Allow: /api/private/docs/
Disallow: /admin/
Disallow: /account/
Disallow: /api/private/

Sitemap: https://example.com/sitemap.xml

Bloccare un crawler di IA

Solo GPTBot riceve Disallow: /; lo strumento avvisa che quel robot non scansionerà alcuna pagina. Gli altri robot non sono interessati da questo blocco.

Input

Robot di destinazione: GPTBot
Percorsi vietati: /

Risultato

Attenzione: Disallow: / chiede ai robot interessati di non scansionare alcuna pagina.
User-agent: GPTBot
Disallow: /

Consigli e buone pratiche

  • robots.txt blocca la scansione, non l’indicizzazione: una pagina vietata può comparire su Google se riceve link. Per escluderla usa noindex e lasciala scansionabile.
  • Il file non è una protezione: è pubblico e lo rispettano solo i robot corretti. Proteggi le aree sensibili con l’autenticazione.
  • Google ignora Crawl-delay; Bing e altri motori lo considerano. Host non è più usato dai principali motori di ricerca.
  • Non bloccare i file CSS e JavaScript: Google ne ha bisogno per mostrare la pagina come la vede un utente.

Fonti e riferimenti

Domande frequenti

Dove va messo il file robots.txt?

Nella radice dell’host, esattamente all’indirizzo /robots.txt. Ogni sottodominio e ogni protocollo ha il suo: blog.example.com/robots.txt non vale per example.com.

Cosa succede se Allow e Disallow si contraddicono?

Secondo la RFC 9309, applicata da Google, vince la regola con il percorso più lungo; a parità vince Allow. È così che si riapre una sottocartella dentro una directory vietata.

Come si indirizzano più robot?

Lo strumento genera un blocco per robot. Generane uno per ciascuno e uniscili nello stesso file, separati da una riga vuota.

Sono accettati * e $ nei percorsi?

Sì, lo strumento li riporta così come sono. Google li interpreta: /*.pdf$ blocca tutti gli URL che finiscono con .pdf. Verifica che anche gli altri motori che ti interessano li supportino.

Il file viene inviato a un server?

No. Viene generato nel tuo browser; caricarlo sul sito spetta a te.

Strumenti correlati

Continua con questi strumenti

Strumenti simili o complementari a questo.

Strumenti simili

Confronto sitemap XML

Confronta due sitemap o liste di URL e individua URL aggiunti e rimossi.

Web e SEOUsa questo strumento

Generatore di meta tag

Crea i tag SEO, Open Graph e Twitter/X di una pagina Web.

Web e SEOIn evidenzaUsa questo strumento

Leggi anche