robots.txt: comprendere crawl, indicizzazione ed errori da evitare

Il file robots.txt è breve, pubblico e capace di produrre conseguenze molto ampie. Una sola regola può impedire l’esplorazione di un’intera directory; al contrario, rimuovere una direttiva non significa che una pagina verrà immediatamente indicizzata.

Per usarlo correttamente bisogna distinguere crawl, indicizzazione e controllo degli accessi.

Dove si trova robots.txt?

Per un sito come:

https://example.com/

il file si trova normalmente alla radice:

https://example.com/robots.txt

È volutamente pubblico. Per questo non bisogna mai inserire in robots.txt un elenco di cartelle “segrete” pensando di proteggerle.

Struttura minima

Un esempio semplice:

User-agent: *
Disallow: /admin-temporaneo/

User-agent indica il robot interessato. * rappresenta tutti i robot che applicano queste regole. Disallow specifica un percorso che si chiede di non esplorare.

Si può inoltre dichiarare il sitemap:

Sitemap: https://example.com/sitemap.xml

Un generatore può aiutare con la sintassi, ma prima devi sapere esattamente che cosa vuoi limitare.

Bloccare il crawl non significa chiedere noindex

È la distinzione più importante. Se un robot non può esplorare una pagina, potrebbe non riuscire neppure a leggere le direttive contenute nella pagina stessa.

Un URL bloccato da robots.txt può comunque essere conosciuto attraverso link interni o esterni e, in alcuni contesti, può ancora comparire in un indice in forma limitata.

Se vuoi che una pagina accessibile venga esplorata ma non indicizzata, devi usare una strategia diversa, come una direttiva noindex che il robot possa leggere.

robots.txt → controllare l'esplorazione
noindex    → chiedere di non indicizzare una pagina accessibile al robot

robots.txt non è sicurezza

Se /fatture-private/ contiene dati sensibili, scrivere:

Disallow: /fatture-private/

non impedisce a un utente di aprire l’URL se il server lo consente. Per proteggere contenuti servono autenticazione, autorizzazione lato server, controllo degli accessi o reti private quando appropriato.

SEO e sicurezza risolvono qui due problemi diversi.

Attenzione alle regole troppo ampie

Questa direttiva è particolarmente pericolosa:

User-agent: *
Disallow: /

Il / rappresenta la radice e chiede quindi di non esplorare nulla. Può avere senso in ambienti temporanei, ma in produzione può diventare un errore grave.

Prima di pubblicare, leggi ogni regola come farebbe il robot e verifica quale percorso corrisponde davvero.

Non bloccare risorse necessarie al rendering

I motori moderni possono aver bisogno di CSS, JavaScript e immagini per interpretare correttamente una pagina. Bloccare indiscriminatamente /assets/, /scripts/ o /styles/ può essere controproducente se queste risorse servono al rendering.

L’obiettivo non è ridurre a ogni costo il numero di file esplorati, ma limitare il crawl inutile lasciando comprensibile il contenuto principale.

La direttiva Allow

Allow può indicare un’eccezione all’interno di un’area più ampiamente bloccata, per esempio:

Disallow: /private/
Allow: /private/guida-pubblica.html

Quando le regole diventano complesse è meglio testarle che affidarsi all’intuizione. Nei piccoli siti un file semplice è spesso più sicuro e più facile da mantenere.

Parametri URL e varianti

Un catalogo può generare molte URL:

/catalogo?sort=price
/catalogo?sort=name
/catalogo?color=blue
/catalogo?page=2

Bloccarle tutte con robots.txt non è automaticamente la soluzione. Bisogna prima capire quali hanno valore per l’utente, quali devono essere indicizzabili, quale sia la canonical e se i link interni generano troppe varianti.

Sitemap e robots.txt devono essere coerenti

Il sitemap segnala principalmente le URL che vuoi rendere facilmente scopribili; robots.txt indica restrizioni di esplorazione. Inserire una URL nel sitemap e contemporaneamente bloccarla crea segnali contraddittori.

Verificare prima della pubblicazione

Prima di modificare il file:

1. identifica le aree realmente coinvolte;
2. verifica i percorsi esatti;
3. evita Disallow: / senza un’intenzione esplicita;
4. controlla che CSS e JavaScript necessari restino accessibili;
5. verifica la coerenza con sitemap e canonical;
6. non inserire informazioni riservate;
7. testa le URL importanti.

La domanda finale è sempre la stessa: vuoi impedire l’accesso, l’esplorazione o l’indicizzazione? Sono tre obiettivi diversi e richiedono meccanismi diversi.