Robots.txt nell'era dell'AI: il file che decide se i modelli possono citarti

Quando un utente fa una domanda a un sistema di intelligenza artificiale, il modello non restituisce una lista di link: sceglie una fonte e la cita. Che il tuo sito possa diventare quella fonte dipende, prima ancora di ogni contenuto, da un piccolo file di testo che quasi nessun utente visualizza: il robots.txt. Questo articolo spiega a cosa serve, e perché è importante se vuoi che il tuo sito sia citato dalle intelligenze artificiali.

Robots.txt: un file di testo per una decisione strategica

Il robots.txt è un semplice file di testo, lo stesso formato di un documento del Blocco Note, che risiede nella directory radice del dominio ed è raggiungibile a un indirizzo standard, nella forma tuosito.it/robots.txt. La sua funzione è comunicare quali aree del sito possono o non possono essere visitate.

Il suo ruolo è più importante di quanto la sua semplicità suggerisca. Quando un crawler conforme si presenta a un sito, la sua prima richiesta è il recupero del robots.txt: è lì che legge le regole d'accesso prima di guardare qualsiasi pagina. Se il file non esiste e il server risponde con un errore 404 (risorsa non trovata), il crawler assume che non vi siano restrizioni e procede a scansionare l'intero sito.

C'è un dettaglio che spiega perché tante aziende non sanno cosa contiene il proprio robots.txt: spesso ne ignorano l’esistenza. Il file viene frequentemente generato in modo dinamico dal CMS del sito (WordPress, per esempio) o dai plugin di gestione installati su di esso, che producono un file virtuale a partire dalle impostazioni del pannello. Il risultato è che molte decisioni di accesso non sono state scelte da nessuno: sono valori predefiniti ereditati. Per evitare che ciò accada, basta caricare manualmente sul server un file robots.txt con le direttive corrette. In questo caso, il file avrà la priorità sul plugin che lo generano dinamicamente.

È vero che il robots.txt serve solo per la SEO?

Robots.txt non serve solo per il posizionamento sui motori di ricerca. Comunica le preferenze di accesso a tutti i crawler conformi, inclusi quelli delle piattaforme AI, regola il consumo di risorse del server e segnala la posizione della sitemap, la mappa del sito. La gestione del cosiddetto crawl budget, cioè guidare i motori di ricerca verso le risorse prioritarie e tenerli lontani da quelle secondarie, è solo una delle sue funzioni, non l'unica ragione per cui esiste.

I motori di ricerca ordinano link, i modelli scelgono una fonte

Per capire perché il robots.txt è diventato una questione strategica, serve mettere a fuoco una differenza di meccanismo tra i motori di ricerca tradizionali e i modelli di intelligenza artificiale:

• Un motore di ricerca tradizionale, come Google, restituisce una lista ordinata di link: l'utente sceglie.
• Un modello di intelligenza artificiale sintetizza una risposta. Quando recupera informazioni dal web, sceglie una o poche fonti e le cita.

Ottimizzare per essere trovato in una lista non è la stessa cosa che ottimizzare per essere scelti come fonte.

I crawler: stesso strumento ma scopi distinti

Sia i motori di ricerca, sia le piattaforme AI hanno bisogno di crawler, software automatizzati (bot) progettati per l'esplorazione e la mappatura sistematica dei contenuti web. Ma le somiglianze finiscono qui. Infatti, gli utilizzi che ne fanno sono diversi. I crawler dei motori di ricerca raccolgono dati per indicizzare pagine, mentre i crawler delle AI possono fare due cose:

• Raccogliere contenuti con cui addestrare i modelli
• Recuperare contenuti da usare come fonti nelle risposte.

Se si bloccano i crawler, un sistema AI non può né apprendere dai contenuti dal sito né citarli.

Questa doppia finalità è il punto in cui si annidano molti errori, perché i due scopi si controllano separatamente e produrre l'uno non equivale a produrre l'altro.

La distinzione che cambia tutto: addestramento non è citazione

Questa è la distinzione che decide la visibilità AI di un sito, ed è anche quella che più spesso viene ignorata. Esistono due famiglie di crawler con scopi diversi.

• I crawler di addestramento scaricano contenuti per addestrare i modelli. Non producono visibilità diretta: i contenuti raccolti finiscono nel sistema di addestramento del modello, senza generare citazioni o visite.
• I crawler di ricerca e citazione indicizzano i contenuti per poterli recuperare e citare nelle risposte, ed è quello da cui dipende la possibilità di comparire come fonte nelle risposte dell’AI.

Bloccare il crawler di addestramento non significa bloccare il crawler di ricerca e citazione, e viceversa. Sono distinti, controllabili separatamente nel robots.txt. Un'azienda può legittimamente decidere di escludere l'addestramento dei modelli sui propri contenuti e, allo stesso tempo, voler restare pienamente citabile nelle risposte. È una scelta possibile, ma solo se la distinzione viene fatta consapevolmente.

I principali crawler usati dalle intelligenze artificiali

Secondo la documentazione di Anthropic, ClaudeBot raccoglie contenuti che possono contribuire all'addestramento dei modelli, mentre Claude-SearchBot indicizza i contenuti per migliorare la qualità delle risposte di ricerca. Secondo la documentazione di OpenAI, GPTBot raccoglie dati di addestramento, OAI-SearchBot alimenta la ricerca, e i tre controlli sono indipendenti tra loro.

Qui di seguito riportiamo una tabella che riassume i crawler delle principali AI.

Un caso merita attenzione perché genera confusione frequente. Google-Extended non è un crawler vero e proprio: è un token di controllo che regola l'uso dei contenuti per addestrare i modelli Gemini. La scansione resta affidata a Googlebot. Bloccare Google-Extended, quindi, non blocca la scansione di Google e non rimuove il sito dalla ricerca: agisce solo sull'addestramento di Gemini.

Il robots.txt è un cartello, non una serratura

C'è un limite del robots.txt che bisogna avere ben chiaro, perché determina cosa ci si può aspettare da questo file. Il robots.txt è una richiesta dichiarativa, non una barriera tecnica. Il protocollo non autentica nessuno, non filtra gli indirizzi IP, non chiude connessioni: si basa interamente sull'adesione volontaria del crawler. I crawler conformi leggono il cartello e lo rispettano. I crawler che vogliono ignorarlo non incontrano alcun ostacolo tecnico reale.

I crawler dichiarati dei principali operatori indicano di rispettare il robots.txt. Tuttavia, trattandosi di una convenzione volontaria e non di un ostacolo tecnico, il rispetto non è garantito per ogni crawler che naviga la rete. È proprio per questo che esistono sistemi di protezione complementari.

Il controllo effettivo del traffico, quando serve imporlo e non solo dichiararlo, è dato dai sistemi perimetrali: i Web Application Firewall e le reti CDN, come quelli offerti da Cloudflare, applicano regole a livello di rete e possono chiudere una connessione prima che raggiunga il server. Le misure realmente impositive possono essere, ad esempio, regole firewall, verifica e blocco per IP, rate limiting. Il robots.txt comunica le preferenze, mentre questi sistemi le fanno rispettare.

A questo punto è importante segnalare un limite metodologico, perché ha conseguenze pratiche: il robots.txt non rispecchia necessariamente i blocchi imposti via firewall o per indirizzo IP. Significa che un robots.txt apparentemente in ordine può convivere con un blocco effettivo invisibile a chi guarda solo quel file.

3 malintesi sul robots.txt che costano visibilità

Il robots.txt nasconde le pagine riservate?

Il robots.txt non serve a nascondere una pagina riservata. Regola la scansione, non l'indicizzazione. Una pagina vietata alla scansione ma collegata da altri URL può comunque comparire nei risultati. Se si vuole riservatezza, servono strumenti diversi, ad esempio autenticazione con credenziali o protezioni dedicate.

Conviene copiare il robots.txt di un altro sito?

Copiare il robots.txt di un altro sito non ha senso: le direttive dipendono dalla struttura delle cartelle e dalla piattaforma specifica. Un file copiato può bloccare percorsi critici del proprio sito o lasciare aperto ciò che andrebbe gestito. Oppure, addirittura, contenere direttive per bloccare percorsi che non esistono! Per fare le cose come si deve, il robots.txt dovrebbe passare sotto l’occhio vigile di un esperto per essere coerente con la strategia del sito.

Una pagina bloccata dal robots.txt viene tolta dall’indicizzazione?

Qui c’è un malinteso di fondo. Bloccare la scansione non equivale a impedire l'indicizzazione. Sono due fasi distinte. Il robots.txt chiede di non scansionare una risorsa, ma non chiede di non indicizzarla. Per escludere davvero un URL dai risultati, la procedura corretta è l'opposto di quella che verrebbe istintiva: la pagina va lasciata scansionabile dal robots.txt e marcata con un'istruzione di noindex. Combinare un divieto di scansione con un noindex produce un cortocircuito: il crawler, respinto dal robots.txt, non potrà mai leggere l'istruzione di noindex, lasciando la pagina nell’indice del motore di ricerca!

Una conseguenza pratica merita di essere citata, perché è poco conosciuta ma molto insidiosa. Tocca non solo la tecnica, ma anche la reputazione. Mettere nel robots.txt gli URL di contenuti che si vorrebbero far sparire dall’indicizzazione o dalle citazioni AI, come un articolo pubblicato per errore, un contenuto obsoleto, una notizia poi smentita, è una pratica sconsigliabile. Il robots.txt è pubblico: elencare lì gli indirizzi "scomodi" equivale a creare una “lista di proscrizione” che chiunque può leggere, mettendo in chiaro esattamente quello che si voleva nascondere. Per rimuovere davvero un contenuto servono noindex, accesso protetto da credenziali o rimozione della pagina.

Qual è l’errore più costoso che si può fare con il robots.txt?

A proposito di errori con il robots.txt, il più costoso è anche il più comune: lasciare attivo un divieto di scansione esteso a tutto il dominio. È il classico residuo di un ambiente di sviluppo o di una migrazione: quando il sito viene pubblicato, lo sviluppatore si dimentica di togliere il blocco.

Meno frequente, ma non meno costoso, è il blocco delle risorse CSS e JavaScript necessarie a renderizzare le pagine. In questa situazione, i crawler possono scansionare le pagine web del sito, ma di fatto le trovano vuote perché non possono recuperare le risorse necessarie per leggerne il contenuto.

Essere accessibili non significa essere citati

Qui arriviamo al punto che separa la lettura tecnica del robots.txt dalla strategia di visibilità AI. La domanda che molti si pongono: "se le AI possono leggere il mio sito, allora mi citeranno di sicuro?" ha una risposta netta: no.

L'accessibilità del crawler è il prerequisito tecnico, non la garanzia della citazione nelle risposte AI. È come lasciare la porta aperta con il cartello “prego, entrare”. Non si comunica nulla che possa convincere l’AI a citare proprio quel sito anziché un altro.

Essere scelti come fonte dipende da altri fattori: l'identità riconoscibile del brand, la struttura e la qualità dei contenuti, l'autorità della fonte.

Si può usare il robots.txt per fare scoprire i contenuti utili ai crawler?

Il file robots.txt può lavorare anche a favore della scoperta dei contenuti. La direttiva Sitemap indica ai crawler l'indirizzo della mappa del sito, accelerando il reperimento delle pagine. Lasciare esplicitamente accessibili i crawler di ricerca e citazione consente l'indicizzazione che precede ogni citazione.

Ne deriva una configurazione coerente per chi vuole essere usato dalle AI come fonte: il file deve lasciare accessibili i token dei crawler di ricerca e citazione e quelli dei motori. Se l'obiettivo è escludere solo l'addestramento mantenendo la citabilità, si bloccano unicamente i token di training. Vanno lasciate scansionabili non solo le pagine, ma anche le risorse CSS e JavaScript.

Questa è anche la ragione per cui il robots.txt può creare uno svantaggio competitivo silenzioso. Se un concorrente lascia accessibili i crawler di citazione e tu li blocchi, anche inconsapevolmente, parti svantaggiato senza saperlo.

Come leggere il tuo robots.txt

A livello di lettura, riconoscere se un sito sta bloccando le AI non richiede di diventare tecnici. Nel file, i blocchi sono organizzati per User-agent, cioè per nome del bot a cui si rivolgono. All’interno dei blocchi, cerca quelli che nominano i bot AI (i nomi contengono stringhe come GPT, Claude, Perplexity, Google-Extended) e verifica se sotto di essi compare un divieto di scansione. Per un controllo più strutturato esistono strumenti di test, come quello di TechnicalSEO.

Tuttavia, l'analisi del solo robots.txt non è sufficiente, dato che un eventuale blocco potrebbe risiedere a un livello architetturale più profondo. Per un'indagine accurata è necessario incrociare questi dati con i log del server, da richiedere all'amministratore di sistema, in modo da osservare il comportamento effettivo dei crawler.

Le 3 domande che trasformano la lettura del robots.txt in decisione strategica

• Il mio robots.txt riflette davvero la mia strategia, o riflette impostazioni che non ho mai scelto?
• Sto distinguendo tra addestramento e citazione, o sto trattando "le AI" come un blocco unico?
• Il file è coerente tra ciò che voglio (consentire o escludere il training, restare citabile) e ciò che effettivamente dichiara?

Sul mio sito non c’è il robots.txt: devo preoccuparmi?

Un sito senza robots.txt non è illegale: semplicemente, in sua assenza i crawler conformi assumono nessuna restrizione e scansionano tutto, e si rinuncia alla possibilità di segnalare la sitemap e di governare il consumo di risorse.

Chi gestisce la modifica del file robots.txt?

Quando si arriva all'intervento, conviene distinguere le competenze.

• L'editing tecnico del file spetta a chi gestisce il sito: sviluppatore o webmaster per i file fisici sul server, amministratore del CMS o del plugin se il file è generato dinamicamente; su alcune piattaforme l'editing avviene tramite le impostazioni ed è limitato.
• A livello strategico, la scelta dipende dall'obiettivo:
  • per il posizionamento sui motori di ricerca il riferimento è un consulente SEO;
  • per la citabilità nei sistemi AI il riferimento è un consulente di AI visibility.

Ensi Protocol si occupa del secondo caso: rendere un brand leggibile, comprensibile e citabile dai sistemi AI. Where brands become sources.

Il robots.txt è il primo file da consultare prima di avviare una strategia di AI visibility. Con questa panoramica, potrai leggerlo facendoti le giuste domande tecniche e strategiche.