Bloccare i crawler AI è legittimo. Ma sai cosa stai scegliendo?

Sempre più aziende decidono di "bloccare le AI" sul proprio sito. È una scelta legittima e in molti casi corretta. Il problema è che pochi sono davvero consapevoli di cosa stanno bloccando. Questo articolo spiega cosa scegli realmente quando blocchi i crawler dell'intelligenza artificiale, e come decidere con cognizione di causa.

Bloccare i crawler AI: cosa vuol dire davvero?

Bloccare i crawler AI non descrive un'azione sola: descrive almeno tre decisioni diverse, con conseguenze opposte. I bot che le intelligenze artificiali usano per leggere il web non sono un blocco omogeneo. Si dividono in tre famiglie, e confonderle è l'errore da cui nascono quasi tutte le scelte sbagliate.

• Crawler di addestramento. Scaricano contenuti per addestrare i modelli: ciò che raccolgono finisce nei "pesi" del modello, senza produrre alcuna citazione né alcuna visita di ritorno al sito.
• Crawler di ricerca e citazione: recuperano contenuti in tempo reale per costruire le risposte e li accompagnano con una citazione e un link alla fonte.
• Crawler di recupero su richiesta dell'utente: si attivano quando una persona, dentro una chat, chiede al sistema di leggere una pagina specifica.

La distinzione non è teorica. Bloccare la prima famiglia protegge i contenuti dall'addestramento futuro senza toccare la possibilità di essere citati; bloccare la seconda fa sparire il sito dalle risposte. Sono leve separate, che vanno azionate separatamente.

Ecco uno schema che classifica i principali bot in quest’ottica, evidenziando il costo del blocco di ciascuno di essi.

* Google-Extended non è un crawler in senso stretto, ma un opt out legato a Googlebot che permette a Google di sapere se vuoi utilizzare i tuoi dati per addestramento di Gemini e Vertex. Abbiamo affrontato questo argomento nel dettaglio nell’articolo di Ensi Protocol dedicato ai bot AI.

N.B. I nomi e le funzioni dei crawler cambiano spesso: vanno verificati sulla documentazione ufficiale di ciascun operatore prima di intervenire. Per la lettura tecnica del file che governa questi accessi rimandiamo all'articolo dedicato al robots.txt.

Bloccare l'addestramento blocca anche la citazione?

Bloccare l'addestramento e bloccare la citazione sono due decisioni separate: si possono prendere una alla volta. Si può escludere l'uso dei propri contenuti per addestrare i modelli (bloccando, per esempio, il crawler di training) e restare pienamente citabili nelle risposte (lasciando accessibile il crawler di ricerca). Vale anche il contrario.

L'errore più costoso è trattare "le AI" come un interruttore unico. Una direttiva generica che vieta l'accesso a tutti i bot indistintamente blocca insieme addestramento e citazione: protegge il contenuto, ma cancella anche la propria presenza dalle risposte. È la decisione peggiore, spesso presa senza accorgersene.

C'è poi una sfumatura che sfugge quasi sempre. Secondo la documentazione di OpenAI, i recuperi avviati su richiesta diretta dell'utente seguono una logica diversa da quella dei crawler automatici, e le regole generali di esclusione potrebbero non applicarsi allo stesso modo. È una ragione in più per non ragionare per blocchi indistinti, ma per categoria di agente.

Con Google le regole di visibilità AI sono diverse?

Con Google la regola cambia: la visibilità nelle risposte AI è ancora legata al crawler della ricerca tradizionale. A differenza di altri operatori, che hanno separato nettamente il bot di addestramento da quello di ricerca, Google tiene insieme due piani che altrove sono distinti.

Secondo la documentazione di Google, Google-Extended è un token di opt-out che regola solo l'uso dei contenuti per addestrare i modelli Gemini: non è un crawler vero e proprio e non incide sulla scansione né sul posizionamento. La scansione resta affidata a Googlebot. Ma le risposte AI di Google, le AI Overviews, dipendono proprio da Googlebot. In parole povere, escludendo Google Extended si può escludere l'addestramento di Gemini senza danni per la ricerca, ma non si può evitare la sintesi AI di Google bloccando Googlebot, perché così facendo si esce anche dai risultati di ricerca di Google.

Bloccare protegge davvero i tuoi contenuti?

Bloccare i crawler AI protegge molto meno di quanto si pensi. È la parte più fraintesa di tutta la questione, e vale la pena dirla con chiarezza, anche quando è scomoda.

Il robots.txt, lo strumento con cui la maggior parte delle aziende "blocca le AI", è una richiesta dichiarativa e volontaria (è descritto nello standard tecnico RFC 9309). Funziona come un cartello, non come una serratura: i crawler conformi lo rispettano, chi vuole ignorarlo non incontra alcun ostacolo tecnico. Per imporre davvero un blocco servono misure perimetrali (per esempio firewall applicativi, reti CDN, limiti di frequenza, verifica degli indirizzi IP) che operano a livello di rete e che il robots.txt non rappresenta. Ne deriva un limite metodologico importante: un robots.txt apparentemente in ordine può convivere con blocchi reali invisibili a chi guarda solo quel file, e viceversa.

Bloccare oggi l’AI non cancella ciò che i modelli hanno già appreso

I contenuti scansionati dai crawler e usati in passato sono già incorporati nei pesi dei modelli AI, e il blocco agisce solo sull'acquisizione futura. Inoltre, archivi storici aperti del web possono essere già stati copiati e ridistribuiti a terzi. La pretesa di "ritirare" i propri dati dall'apprendimento automatico con qualche riga di testo è, allo stato attuale, in larga parte un'illusione.

Tutto questo non significa che il blocco sia inutile: significa che protegge in modo parziale e per il futuro, non in modo totale e retroattivo. La direzione del mercato, peraltro, è verso un controllo più severo: dal 1° luglio 2025 Cloudflare (che gestisce circa il 20% del web) ha reso il blocco dei crawler AI l'impostazione predefinita per i nuovi siti. E i dati di Cloudflare mostrano quanto sia sbilanciato lo scambio: alcuni crawler di addestramento effettuano decine di migliaia di scansioni per ogni singola visita rimandata al sito. Su questo specifico squilibrio, bloccare preventivamente può avere una logica difensiva concreta.

Cosa stai scegliendo quando blocchi i crawler AI?

La vera posta in gioco, quando blocchi, è se il tuo brand esiste o no nelle risposte dell'AI.

Le citazioni in tempo reale arrivano dai siti che lasciano accesso ai crawler di ricerca. Chiudere quell'accesso azzera la probabilità di comparire come fonte, anche se i contenuti restano perfettamente online e leggibili da un umano. E qui scatta l'effetto meno intuitivo: quando un utente interroga l'AI su un argomento che presidi, se i tuoi contenuti non sono raggiungibili il modello risponde lo stesso, attingendo alle fonti dei tuoi concorrenti che hanno lasciato la porta aperta.

Si può obiettare, legittimamente, che il traffico proveniente dalle AI è ancora modesto rispetto alla ricerca tradizionale. È vero. Ma il punto strategico non è il volume di clic: è l'esposizione del brand nel momento in cui l'utente scopre e decide. Una citazione, anche senza visita tracciabile, consolida l'associazione tra il tuo nome e l'autorità su un tema. È metodologicamente sbagliato misurare questo fenomeno con il classico traffico sul sito.

Quando bloccare è la scelta giusta?

Ci sono casi in cui bloccare i crawler AI è la decisione giusta. Sarebbe disonesto presentare il blocco come un errore sempre e comunque: per molte organizzazioni serie è una scelta razionale, e va riconosciuta come tale.

Proteggere contenuti con valore commerciale

Ha senso bloccare l’accesso dei crawler AI ad archivi premium, ricerche proprietarie, articoli dietro paywall. Qui i contenuti sono patrimonio dell'azienda, non un'esca per la scoperta: lasciarli assorbire gratuitamente significa svalutarli. Non a caso molti grandi editori bloccano deliberatamente i crawler AI. Secondo il Reuters Institute dell'Università di Oxford, già alla fine del 2023 il 48% delle principali testate giornalistiche in dieci Paesi bloccava i crawler di OpenAI (con punte del 79% negli Stati Uniti e minimi attorno al 20% in altri mercati).

Monetizzare il training delle AI

Se l'AI non può prendere gratis un contenuto di alto valore, deve sedersi al tavolo di trattativa. È questa la logica della "terza via" che si sta affermando: né blocco totale né accesso libero, ma accesso a pagamento. Sempre Cloudflare ha introdotto un meccanismo di pay-per-crawl per fare pagare l'accesso dei bot AI ai contenuti, ed esiste un mercato crescente di accordi di licenza tra editori e aziende AI.

Vincoli di natura giuridica

In presenza di dati sensibili contenuti negli archivi, la loro disponibilità o cessione per l'addestramento può richiedere cautele e una base giuridica adeguata. È una valutazione da fare caso per caso, in forma prudenziale: qui non diamo indicazioni legali, ma segnaliamo che il piano normativo esiste. Sul fronte degli strumenti, l'Unione Europea prevede meccanismi di opt-out dall'estrazione dei dati che, per i contenuti online, vanno espressi in forma leggibile da una macchina, e l'Italia è intervenuta in materia con una legge del 2025 su intelligenza artificiale e diritto d'autore. Sono temi che vanno verificati sulle fonti normative vigenti prima di qualsiasi decisione.

Blocco crawler AI: non è per tutti

C'è infine un limite di equità che è giusto nominare. Bloccare i crawler AI è un privilegio di chi controlla la propria infrastruttura. Uno studio presentato nel 2025 alla Internet Measurement Conference ha documentato che gran parte dei creator indipendenti non conosce nemmeno l'esistenza del robots.txt, che permetterebbe di bloccare la scansione delle AI. Ma anche se la consapevolezza fosse più diffusa, c’è un limite tecnico: molte piattaforme di hosting non permettono di modificare le impostazioni di blocco. Di conseguenza, per molte piccole e medie imprese, la possibilità di bloccare o meno i crawler AI non è realmente una decisione autonoma: spesso è la piattaforma a scegliere. Essere consapevoli di questo vincolo è già un vantaggio strategico.

Qual è allora la scelta equilibrata, e come si esegue?

La scelta non è solo bloccare e aprire: è scegliere cosa bloccare e cosa rendere citabile. Una volta capito che le leve sono separate, la dicotomia "protezione contro visibilità" si scioglie.

Il blocco selettivo

L'impostazione equilibrata è chiudere (o negoziare) l'addestramento, e lasciare accessibili i crawler di ricerca e citazione, calibrando l'accesso per categoria di bot e per tipo di contenuto. Si protegge ciò che è patrimonio aziendale e si resta presenti nella fase di scoperta. È una decisione reversibile sul piano tecnico, ma con una latenza da mettere in conto: ciò che è stato appreso resta nella memoria del modello, e riconquistare citabilità dopo un blocco richiede tempo.

Essere citabili non significa essere citati

Resta un punto che va detto senza ambiguità: permettere la citazione da parte delle AI non garantisce di essere citati. L'accesso del crawler è il prerequisito tecnico, non una garanzia. Essere scelti come fonte dipende da molti altri fattori, per esempio un'identità di marca riconoscibile, dalla struttura e dalla qualità dei contenuti, dall'autorità. Questo è il terreno della Generative Engine Optimization (GEO), la disciplina che studia cosa rende un contenuto scelto dai motori generativi. Le evidenze accademiche vanno in una direzione precisa: lo studio "GEO" presentato alla conferenza KDD 2024 a Barcellona, ha constatato che l’arricchimento dei contenuti con statistiche verificabili e citazioni di fonti può aumentare fino a circa il 40% la visibilità di una fonte nelle risposte generate. Non si tratta di “copywriting persuasivo per l’AI”, ma di densità fattuale e chiarezza.

Misurare le citazioni AI

La citazione da parte delle AI è instabile per natura: solo un monitoraggio continuo può distinguere il rumore casuale da un cambiamento reale, come un aggiornamento dei modelli o una mossa di un concorrente. Decidere se e cosa bloccare senza misurare cosa succede dopo significa decidere alla cieca.

Blocco AI: la domanda giusta da porsi

Proteggere i contenuti dall’intelligenza artificiale non significa chiedersi se bloccare le AI o meno, ma capire quali contenuti tutelare o monetizzare e in quali invece conviene posizionarsi come fonte di riferimento per l’AI. È esattamente il lavoro di cui si occupa Ensi Protocol: rendere un brand leggibile, comprensibile e citabile dai sistemi AI. Where brands become sources. Se non hai chiaro cosa il tuo sito sta effettivamente consentendo o bloccando oggi, e quale impatto questo abbia sulla tua visibilità nelle risposte generate, è da lì che bisogna iniziare.