Bot AI: addestramento, ricerca, fetch

Quando un utente fa una domanda a un'intelligenza artificiale, il modello non restituisce dieci link: sceglie una fonte e la cita. Che il tuo sito possa diventare quella fonte dipende anche da come i bot AI leggono (o non leggono) le tue pagine. È proprio qui che si nasconde un errore di classificazione che costa visibilità: trattare "le AI" come se fossero un unico blocco.

Cosa intendiamo davvero quando diciamo "bot" o "crawler"

Un bot è un programma che esegue un compito automatico online; un crawler è il tipo specifico di bot che visita le pagine web una dopo l'altra e ne scarica il contenuto. I due termini si usano spesso come sinonimi, ma il crawler (chiamato anche spider) è una sottocategoria precisa: il suo mestiere è muoversi tra gli URL, richiedere le pagine al server e portarsele a casa.

Che compito svolge il crawler?

Sul piano tecnico, un crawler lavora facendo richieste HTTP: invia al server una domanda formale per ottenere una risorsa a un certo indirizzo, e si presenta con un'etichetta di riconoscimento chiamata user-agent (per esempio “GPTBot” o “Claude-SearchBot”). È grazie a quell'etichetta che, leggendo i registri di accesso del server, si può sapere chi è passato.

Sia i motori di ricerca sia le piattaforme AI usano crawler. Ma li usano per scopi diversi, e questa è la prima distinzione che influenza tutta la strategia di AI visibility. Lo stesso strumento può servire a costruire un indice di link, ad addestrare un modello, oppure ad alimentare le risposte citate di un assistente conversazionale. È importante saperlo ed averlo chiaro prima di mettere mano al sito web.

Le 3 funzioni dei bot AI: addestrare, citare, recuperare su richiesta

I bot delle AI si classificano per funzione, non per azienda: chi addestra, chi indicizza per citarti, chi recupera una pagina solo quando l'utente lo chiede. Tenere a mente queste tre famiglie è il cuore di ogni decisione consapevole.

• I crawler di addestramento scaricano contenuti per allenare i modelli. I dati raccolti confluiscono nei "pesi" del modello (la sua conoscenza interna) e non producono visibilità diretta: nessuna citazione cliccabile, nessuna visita generata. Servono a insegnare al modello il linguaggio e la conoscenza generale. Secondo la documentazione di OpenAI, GPTBot rientra in questa categoria. Il suo “collega” di Anthropic è ClaudeBot.
• I crawler di ricerca e citazione indicizzano i contenuti per poterli recuperare e citare nelle risposte generate in tempo reale. È da questa funzione che dipende la possibilità di comparire come fonte. OAI-SearchBot di OpenAI e Claude-SearchBot di Anthropic sono gli esempi più diretti. PerplexityBot indicizza il web per le risposte di Perplexity.
• I fetcher su richiesta (on-demand) non scansionano il web in autonomia, bensì recuperano una specifica pagina quando un utente umano la chiede in chat. ChatGPT-User e Claude-User rientrano in questa famiglia. Non raccolgono dati per l'addestramento e non costruiscono un indice: agiscono come un browser pilotato dall'utente.

Quando un bot AI corrisponde a una funzione specifica

Il caso Anthropic

L’azienda Anthropic, per lo sviluppo di Claude, ha impostato i propri bot in modo molto ordinato. Secondo la documentazione, infatti, Claude opera con tre user-agent distinti:

• ClaudeBot raccoglie contenuti che possono essere usati per addestrare i modelli. Bloccarlo esclude i tuoi contenuti dall'addestramento futuro.
• Claude-SearchBot indicizza i contenuti per migliorare qualità e rilevanza dei risultati di ricerca di Claude. Bloccarlo riduce la tua visibilità e l'accuratezza con cui Claude ti rappresenta nelle risposte di ricerca.
• Claude-User recupera una specifica pagina quando un utente lo chiede in chat.

Sono tre interruttori indipendenti. Chi scrive nel proprio file di accesso una regola generica pensando di "gestire Claude" rischia di agire sulla funzione sbagliata.

A proposito di bot di Anthropic, è da segnalare anche un dettaglio che si trova ancora in molte istruzioni: gli user-agent storici Claude-Web e Anthropic-AI sono obsoleti. Una regola scritta per questi bot non blocca ClaudeBot, Claude-SearchBot e Claude-User.

Il caso OpenAI

Lo stesso schema vale per OpenAI, che secondo la propria documentazione separa:

• GPTBot raccoglie contenuti per l’addestramento di ChatGPT.
• OAI-SearchBot ricerca e citazione su ChatGPT.
• ChatGPT-User recupera le pagine quando un utente di ChatGPT lo richiede.

Common Crawl: non è un bot AI, ma è come se lo fosse

Nella lista dei bot AI non possiamo non citare CCBot, il bot di Common Crawl… che però non è un’azienda AI. Perché allora è importante ricordarlo?

Common Crawl, nella sua documentazione, spiega che CCBot scarica le pagine del web per costruire un archivio aperto e gratuito, che è uno dei corpus di dati più usati per addestrare i modelli linguistici alla base delle AI che usiamo ogni giorno. Di conseguenza, lasciare entrare CCBot nel proprio sito Web significa essere presenti in Common Crawl, e di conseguenza significa essere presenti nei dataset di addestramento AI. In sostanza, l'AI può "sapere chi sei" perché ti ha trovato nel dataset di Common Crawl. Ma attenzione: sapere chi sei non equivale a citarti. Common Crawl alimenta la memoria interna del modello, non l'indice da cui nascono le citazioni con fonte.

I principali crawler AI: una tabella riassuntiva

Per fissare la distinzione, conviene separare ciò che scansiona da ciò che dà solo un permesso. La prima tabella elenca i crawler veri (compaiono nei registri, perché fanno richieste); la seconda i token di consenso (non compaiono, perché non fanno richieste).

N.B. I nomi e le funzioni dei bot cambiano nel tempo: vanno sempre verificati sulla documentazione ufficiale delle rispettive aziende AI.

I token di consenso AI: Google-Extended e Applebot-Extended

Google-Extended e Applebot-Extended non sono crawler AI: non scansionano nulla, non fanno richieste HTTP e non compaiono mai nei registri del server. Sono spunte di consenso per l’utilizzo dei dati per l’AI.

Secondo la documentazione di Google, Google-Extended è un product token: una direttiva che si imposta nel file di accesso per decidere se i contenuti, già raccolti dal crawler ufficiale di Google, Googlebot, possono essere usati per addestrare i modelli Gemini e per il grounding (collegamento a dati e fonti esterne) di Gemini Apps e Vertex AI. La scansione resta interamente affidata a Googlebot. Google dichiara esplicitamente che bloccare Google-Extended non incide su scansione, indicizzazione o posizionamento nella Ricerca Google. È, in pratica, una casella nel registro di Google che dice "sì" o "no" all'uso dei tuoi contenuti per la sua AI generativa.

Anche Apple utilizza un modello di token di consenso AI. Secondo la documentazione ufficiale di Apple, Applebot è il crawler che alimenta Spotlight, Siri e Safari, mentre Applebot-Extended non è un crawler e non scansiona pagine. È un user-agent secondario che, messo in divieto nel file di accesso, esclude i tuoi contenuti dall'addestramento dei modelli di Apple Intelligence, lasciando però intatta la tua presenza in Spotlight, Siri e Safari.

La conseguenza pratica dei token di consenso AI è diagnostica: chi cerca "Google-Extended" o "Applebot-Extended" nei registri del proprio server non li troverà mai, e potrebbe concludere, sbagliando, che "non passano". In realtà, non essendo bot, non lasciano traccia.

I principali token AI: una tabella riassuntiva

Le 3 idee sbagliate sui bot AI che costano visibilità

I bot AI sono indipendenti l'uno dall'altro: dare per scontato che si muovano insieme è ciò che fa perdere citazioni. Tre fraintendimenti, in particolare, si ripetono.

Se blocco l'addestramento, blocco anche la citazione

Secondo le documentazioni di OpenAI e Anthropic, bloccare il bot di addestramento (GPTBot e ClaudeBot) non blocca né il bot di ricerca (OAI-SearchBot, Claude-SearchBot) né il fetcher su richiesta (ChatGPT-User, Claude-User). Vanno indirizzati separatamente.

Se blocco i bot AI, perdo posizioni su Google

L’indicizzazione su Google non dipende dall’accesso al sito dei bot AI. Innanzitutto, i bot di OpenAI, Anthropic, Perplexity operano indipendentemente da Google perché sono aziende diverse. Nel caso di Google, l’azienda dichiara esplicitamente che bloccare il token Google-Extended esclude solo l'uso dei contenuti per l'addestramento di Gemini e per il grounding di Gemini Apps e Vertex AI, senza alcun impatto su scansione, indicizzazione o posizionamento nella ricerca classica, che resta gestita da Googlebot.

Non si può escludere l'addestramento e restare citabili

I principali bot AI sono specializzati in funzioni specifiche e lavorano in modo indipendente. Bloccare un bot equivale, in sostanza, a bloccare l’utilizzo dei dati per la funzione per cui è predisposto. Di conseguenza, un'azienda può scegliere di bloccare i bot e i token di addestramento come GPTBot, ClaudeBot, Google-Extended, e, allo stesso tempo, lasciare accessibili le risorse ai bot di ricerca e citazione come OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot. È una scelta possibile e prevista, ma ha senso solo se la distinzione viene fatta con consapevolezza, user-agent per user-agent.

Come si disciplinano i bot AI: robots.txt

Robots.txt è il file di riferimento che indica ai crawler cosa possono visitare. È una dichiarazione volontaria, non una barriera tecnica: comunica una preferenza, non la impone. Insomma, è un cartello e non un cancello. Lo standard che lo regola (il Robots Exclusion Protocol, formalizzato nella RFC 9309 dell'IETF) si basa interamente sull'adesione del singolo crawler.

Da questo derivano tre limiti che vale la pena sapere.

Il rispetto del file robots.txt è una scelta del singolo operatore

I principali operatori AI (OpenAI, Anthropic, Google, Apple, e Perplexity per l'indicizzazione) dichiarano di rispettare il robots.txt. Ma alcuni fetcher su richiesta dell'utente ne sono esclusi: OpenAI ha aggiornato la propria documentazione indicando che, per le azioni avviate dall'utente tramite ChatGPT-User, le regole del file possono non applicarsi.

I bot AI possono essere bloccati anche se il robots.txt dichiara di lasciarli entrare

Il file robots.txt è un cartello, non un cancello. Non impone, ma dichiara. Le misure realmente impositive (regole firewall, blocco per indirizzo IP, limitazione delle richieste) agiscono a un livello di rete più profondo, tipicamente tramite Web Application Firewall o reti CDN, e non si riflettono nel file di accesso. Significa che un sito può dichiarare di accogliere i crawler di citazione ma, di fatto, respingerli.

Il file robots.txt può sabotare la citabilità

A volte, nei file robots.txt si trovano direttive di blocco molto estese, spesso ereditate da ambienti di sviluppo, migrazioni del sito o configurazioni introdotte con l'obiettivo di impedire l'accesso ai sistemi di IA. Queste regole però possono escludere anche i crawler dei motori di ricerca. È inoltre importante ricordare che il file robots.txt disciplina la scansione delle pagine, non la loro indicizzazione: si tratta di due processi distinti, anche se spesso vengono confusi.

Come si controlla che le AI entrino davvero nel sito?

Verificare il blocco dei bot AI significa fare un check su tre livelli:

• Leggere il robots.txt e le limitazioni di accesso dichiarate.
• Verificare come si comportano i crawler nei registri del server (log). Di norma il proprietario del sito non li vede, ma sono consultabili da chi ha accesso all'hosting.
• Controllare quali regole di filtraggio agiscono a livello perimetrale (WAF/CDN).

Avere un sito accessibile ai bot AI non significa essere citati

Lasciare entrare i bot di ricerca e citazione è il prerequisito tecnico, non la garanzia di diventare la fonte scelta. È come lasciare la porta aperta con il cartello "prego, entrare": necessario, ma non sufficiente.

Questa è la posizione analitica di Ensi Protocol, ed è il punto in cui la lettura tecnica della tassonomia incontra la strategia. Essere citati dalle AI non dipende solo dai permessi tecnici, ma dall'identità del brand, dalla qualità dei contenuti e dall'autorevolezza della fonte. Aprire le porte ai bot AI è solo il prerequisito fondamentale. Dopodiché, inizia il vero lavoro di GEO (Generative Engine Optimization).

Naturalmente, la GEO è diversa dalla SEO tradizionale. Ottimizzare per essere trovati in una lista non è la stessa cosa che ottimizzare per essere scelti come risposta. È un cambio di paradigma, non un aggiornamento tecnico: Where brands become sources. Per migliorare la visibilità sulle AI sono necessarie competenze distinte. Ed è esattamente il lavoro di Ensi Protocol: rendere il tuo brand leggibile, comprensibile e citabile dalle Intelligenze Artificiali.