No, il robots.txt non blocca ChatGPT. E chi lo ha usato per difendersi ha buone probabilita’ di aver perso la visibilita’ senza ottenere la protezione. Il 14 agosto Search Engine Journal ha pubblicato i dati del rapporto TollBit sul primo semestre 2026: in Europa circa il 15% dei bot AI che scaricano pagine in tempo reale ha raggiunto indirizzi che il sito aveva vietato. Il motivo non e’ un bug. E’ scritto nella documentazione ufficiale di OpenAI: quando e’ una persona a chiedere la pagina, le regole del robots.txt possono non applicarsi. Sotto ti spiego chi passa, chi no, e cosa fare davvero.
In questo articolo
- La notizia: il 15% dei fetcher AI entra dove e’ vietato
- La scappatoia: “l’ha chiesto un utente”
- I quattro bot di OpenAI e chi fa cosa
- L’errore che costa di piu’: lo scambio asimmetrico
- Perche’ l’Europa ha scritto molte meno regole
- Il file dice cosa hai chiesto. I log dicono cosa e’ arrivato
- Cosa fare: 7 mosse concrete (e un robots.txt di esempio)
- Il 15 settembre e lo spostamento a livello di rete
- E llms.txt? Il 97% dei file non riceve nessuna richiesta
- Domande frequenti
- Cosa significa per le aziende italiane
La notizia: il 15% dei fetcher AI entra dove e’ vietato
Il 14 agosto 2026 Matt G. Southern su Search Engine Journal ha riportato i numeri dell’ultimo State of the Bots di TollBit, la societa’ che monitora il traffico automatico e gestisce licenze sui contenuti. Il rapporto copre il primo semestre 2026.
Il dato principale, sui siti europei analizzati: circa il 15% dei bot AI identificati come “page fetcher” ha raggiunto indirizzi che quei siti avevano marcato come vietati nel robots.txt.
Prima di andare avanti serve una distinzione, perche’ e’ tutto il cuore della storia. Nel mondo dei bot AI ci sono tre famiglie diverse, e vengono confuse continuamente:
- I crawler di addestramento setacciano il web per costruire i dati con cui si allena un modello. In OpenAI si chiama GPTBot.
- I crawler di ricerca indicizzano le pagine perche’ l’assistente possa recuperarle quando serve. In OpenAI si chiama OAI-SearchBot.
- I fetcher caricano un singolo indirizzo in quel momento, perche’ una persona ha appena fatto una domanda e l’assistente ha deciso che gli serve quella pagina per rispondere. In OpenAI si chiama ChatGPT-User.
La terza famiglia e’ quella dove sta il problema. E il 15% non e’ distribuito in modo uniforme: si concentra su pochi nomi. ChatGPT-User, Bytespider e Youbot hanno raggiunto pagine vietate su quasi la meta’ dei siti europei che li avevano nominati esplicitamente. Tra i tre, ChatGPT-User e’ quello che ha toccato il numero maggiore di siti.
C’e’ un secondo primato, ed e’ quello che rende la faccenda interessante: ChatGPT-User e’ anche il bot piu’ bloccato di tutti. E’ il piu’ nominato nei robots.txt del mondo e contemporaneamente quello che compare piu’ spesso su indirizzi vietati. Non e’ una contraddizione: e’ l’aritmetica di un’istruzione che non ha alcun meccanismo di applicazione.
La metodologia di TollBit e’ volutamente brutale: conta come violazione qualsiasi richiesta a un indirizzo vietato, senza guardare cosa dichiara la documentazione di chi gestisce il bot.
La scappatoia: “l’ha chiesto un utente”
Qui la storia smette di essere una questione tecnica e diventa una questione di premesse. Sono andato a leggere la documentazione ufficiale di OpenAI sui suoi crawler, quella pubblica per gli sviluppatori. Alla voce ChatGPT-User c’e’ scritto, nero su bianco, che siccome quelle azioni sono avviate da un utente, le regole del robots.txt potrebbero non applicarsi.
Non e’ un’interpretazione di un blogger. E’ la posizione dichiarata dell’azienda.
Il ragionamento e’: un crawler che si prende le pagine per conto suo e’ una cosa, una persona che chiede un indirizzo e l’assistente glielo va a prendere e’ un’altra. Nel secondo caso, per OpenAI, non e’ un robot che naviga: e’ un utente con uno strumento diverso dal browser.
Non e’ un caso isolato. Perplexity sostiene la stessa cosa per il suo Perplexity-User. Google, il 20 marzo 2026, ha aggiunto Google-Agent alla sua lista ufficiale dei fetcher avviati da un utente, documentando che questa categoria generalmente ignora il robots.txt proprio perche’ e’ stata una persona a chiedere la pagina. Anthropic ha una posizione opposta e dichiara che tutti e tre i suoi bot rispettano il file.
Aggiungo un dettaglio di cronologia che spiega perche’ molte aziende non se ne sono accorte: OpenAI ha tolto dalla documentazione il riferimento al rispetto del robots.txt per ChatGPT-User il 9 dicembre 2025. Chi ha scritto le sue regole nel 2024, o le ha fatte scrivere all’agenzia, sta ancora ragionando su un contratto che nel frattempo e’ cambiato.
Il 31 luglio 2026 IAB Australia ha messo la conclusione per iscritto in una linea guida ufficiale: il robots.txt non e’ un controllo affidabile per gli agenti che operano in tempo reale.
I quattro bot di OpenAI e chi fa cosa
Questa e’ la parte che salva o affossa la visibilita’ di un’azienda, ed e’ anche la meno conosciuta. OpenAI oggi ha quattro agenti dichiarati, e fanno cose molto diverse tra loro. Le impostazioni sono indipendenti l’una dall’altra.
OAI-SearchBot e’ quello della ricerca. Serve a far comparire i siti nei risultati delle funzioni di ricerca di ChatGPT. La documentazione e’ esplicita: i siti che si escludono da OAI-SearchBot non vengono mostrati nelle risposte di ricerca di ChatGPT, anche se possono ancora comparire come link di navigazione. OpenAI consiglia di consentirlo. Ed e’ l’unico che decide la visibilita’.
GPTBot e’ quello dell’addestramento. Vietarlo significa dire che i contenuti non devono essere usati per addestrare i modelli. Non ha effetto sulla visibilita’ in ChatGPT.
ChatGPT-User e’ il fetcher. E’ quello di cui abbiamo appena parlato. La documentazione dice due cose importanti: non viene usato per navigare il web in modo automatico, e non viene usato per determinare se un contenuto compare nella Ricerca. Per quello, dice OpenAI, si usa OAI-SearchBot.
OAI-AdsBot e’ l’ultimo arrivato e serve a validare le pagine di destinazione degli annunci dentro ChatGPT. Visita solo le pagine inviate come annuncio, e i dati raccolti non vanno nell’addestramento. Ne avevo parlato quando e’ uscito il tema della pubblicita’ dentro le risposte AI.
Un dettaglio operativo che quasi nessuno conosce: se il robots.txt viene modificato, secondo la documentazione servono circa 24 ore perche’ i sistemi di ricerca di OpenAI si adeguino. Non e’ istantaneo, quindi un test fatto dieci minuti dopo la modifica non dice niente.
L’errore che costa di piu’: lo scambio asimmetrico
Adesso mettiamo insieme i pezzi, perche’ e’ qui che si perde denaro senza accorgersene.
Immaginate l’azienda che nel 2024 ha detto all’agenzia: “blocchiamo tutti i bot dell’AI, non voglio che si prendano i miei contenuti”. L’agenzia ha fatto la cosa piu’ logica: ha messo un divieto per tutto quello che aveva la parola AI nel nome. GPTBot, OAI-SearchBot, ChatGPT-User, tutti.
Risultato, misurato sui documenti ufficiali:
- Il divieto a OAI-SearchBot viene rispettato. Quel sito non compare nelle risposte di ricerca di ChatGPT. Visibilita’ persa, e persa davvero.
- Il divieto a ChatGPT-User porta con se’ una deroga dichiarata. Quando un cliente chiede a ChatGPT qualcosa che riguarda quel sito, la pagina viene comunque scaricata nel 2026 in una quota molto alta di casi.
Tradotto: si e’ ceduta la meta’ buona dello scambio e si e’ tenuto un controllo che ha un buco scritto nel contratto. E’ il peggior risultato possibile tra quelli disponibili.
E non e’ un danno teorico. Una ricerca di Rutgers Business School e Wharton, aggiornata ad aprile 2026, ha misurato che gli editori che hanno bloccato i crawler AI tramite robots.txt hanno perso circa il 7% del traffico settimanale entro sei settimane. Non traffico di bot: traffico di persone, rilevato su un panel di navigazione umana. Un’analisi separata ha mostrato che il blocco, per giunta, non rimuove in modo affidabile un sito dai dataset di citazione delle AI.
Si paga il prezzo e non si compra il prodotto.
Perche’ l’Europa ha scritto molte meno regole
Nei dati di TollBit c’e’ un secondo blocco di numeri che riguarda noi da vicino: cosa scrivono davvero i proprietari dei siti, divisi per area geografica.
- Claude-User (Anthropic): vietato dal 9% dei siti europei, contro il 26% in Nord America.
- Perplexity-User: 13% in Europa, 26% in Nord America.
- La maggior parte dei fetcher piu’ recenti sta a percentuali a una cifra in Europa.
- ChatGPT-User e’ l’eccezione: bloccato molto piu’ degli altri.
C’e’ un effetto ottico da segnalare, perche’ e’ la trappola classica quando si leggono questi report. Un bot con pochi “sconfinamenti” non e’ necessariamente un bot educato: puo’ essere solo un bot che nessuno ha mai nominato. Non si puo’ violare una regola che non e’ stata scritta. Il numero basso di Claude-User in Europa misura soprattutto quanto poco lo conosciamo.
Cosa dice questo dell’Italia? Che nella stragrande maggioranza dei siti aziendali italiani il robots.txt non nomina nessuno di questi agenti. Non e’ apertura consapevole: e’ un file scritto una volta, anni fa, da chi ha installato il sito, e mai piu’ riaperto. Nel dubbio, meglio saperlo prima di scoprirlo.
Il file dice cosa hai chiesto. I log dicono cosa e’ arrivato
Questa e’ la frase che porterei via da tutta la vicenda, ed e’ il cambio di mentalita’ che chiedo ai clienti quando parliamo di bot.
Il robots.txt e’ un cartello, non una serratura. Dice cosa avete chiesto. Solo i log del server, o i report del CDN, dicono cosa e’ effettivamente arrivato.
Nella pratica, per una PMI, significa smettere di rispondere “abbiamo messo il divieto” e iniziare a rispondere “abbiamo guardato”. Ed e’ un controllo alla portata di chiunque abbia accesso al pannello dell’hosting:
- Aprite i log di accesso e cercate le stringhe
ChatGPT-User,OAI-SearchBot,GPTBot,Claude-User,PerplexityBot,Google-Extended. - Guardate quali indirizzi hanno toccato, non solo quante volte.
- Confrontate quella lista con i divieti scritti nel vostro file.
Il divario tra le due liste e’ la vostra situazione reale. Tutto il resto e’ un’ipotesi.
Un modo gratuito per farlo senza toccare i log: Microsoft Clarity da giugno 2026 segnala le violazioni del robots.txt dentro la sezione Bot Analytics. Si installa su WordPress con un plugin e legge i dati veri del vostro sito. Ne avevo scritto parlando di come Clarity mostra le citazioni AI.
Cosa fare: 7 mosse concrete (e un robots.txt di esempio)
Le metto in ordine di priorita’ reale, non di difficolta’.
1. Controllate se state bloccando OAI-SearchBot
E’ il controllo numero uno e costa trenta secondi: aprite ilvostrosito.it/robots.txt e cercate la parola OAI-SearchBot. Se c’e’ un Disallow: / sotto quel nome, siete fuori dalle risposte di ricerca di ChatGPT. Se non sapete perche’ c’e’, toglietelo.
2. Decidete separatamente su addestramento e visibilita’
Sono due scelte diverse e vanno prese in due momenti diversi. Per un editore che vive di pubblicita’ bloccare l’addestramento ha una logica. Per un’azienda che vende prodotti o servizi, la domanda giusta e’ un’altra: preferisco che il modello non impari da me, o preferisco che il modello sappia che esisto? Nel 99% dei casi che vedo, la risposta e’ la seconda.
3. Mettete un file esplicito, non un file muto
Una configurazione ragionevole per una PMI italiana che vuole essere trovata e non vuole finire nell’addestramento:
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ChatGPT-User
Allow: /
Se invece volete tutto aperto, togliete i due Disallow. Il punto e’ che sia una scelta scritta e datata, non un’eredita’.
4. Smettete di usare il robots.txt per nascondere
E’ l’errore piu’ costoso che vedo e non riguarda solo l’AI. Il robots.txt non nasconde niente: dice solo di non passare. Se una pagina non deve essere vista, serve un noindex raggiungibile, o una password, o l’accesso riservato. Ne ho scritto per esteso in nascondere una pagina da Google: perche’ il robots.txt non basta. Se avete listini per rivenditori, preventivi in PDF o ambienti di prova protetti solo da due righe in quel file, probabilmente non sono protetti.
5. Guardate i log, non il file
Una volta al trimestre. Venti minuti. Serve a rispondere alla domanda vera: chi sta effettivamente leggendo il mio sito, e cosa sta leggendo.
6. Verificate chi controlla il vostro DNS e il vostro CDN
Molte PMI non sanno di essere dietro Cloudflare: ce le ha messe l’agenzia o l’hosting, anni fa. Quel livello ha i suoi interruttori, indipendenti dal robots.txt, e stanno per cambiare da soli. Vedi il punto qui sotto.
7. Se avete davvero un problema di scraping, spostate la difesa
Se il problema e’ reale (carico sui server, contenuti copiati in massa), la soluzione non e’ un file di testo: e’ il livello di rete. Regole sul CDN, limiti di frequenza, verifica degli intervalli IP pubblicati. Il robots.txt e’ educazione, non sicurezza.
Il 15 settembre e lo spostamento a livello di rete
La risposta del settore a tutta questa faccenda si sta formando sotto il robots.txt, non dentro.
Il 1 luglio 2026 Cloudflare ha pubblicato un aggiornamento di policy che sostituisce la vecchia divisione binaria “bot AI si’ / bot AI no” con tre categorie basate sul comportamento: Search (raccoglie e indicizza per rispondere dopo), Agent (agisce in tempo reale per conto di una persona) e Training (raccoglie per addestrare un modello). ChatGPT-User rientra nella categoria Agent.
Dal 15 settembre 2026, per tutti i nuovi domini che entrano su Cloudflare, i crawler classificati Training e Agent saranno bloccati per impostazione predefinita sulle pagine che mostrano pubblicita’. I crawler Search restano consentiti. E i crawler multiuso vengono valutati su tutti i loro comportamenti, con la regola piu’ restrittiva che vince: e’ il motivo per cui Googlebot, Applebot e Bingbot possono finire bloccati per chi ha selezionato il blocco dell’addestramento.
Ho gia’ scritto per esteso di questa scadenza e di come controllare la propria situazione in bloccare i bot AI su Cloudflare. Qui basta il collegamento con la notizia di oggi: un controllo che gli operatori possono decidere di non onorare viene sostituito, su una fetta crescente del web, da uno che non possono aggirare. Chi ha lasciato attivo un vecchio interruttore nel 2024 farebbe bene ad andarlo a guardare prima di meta’ settembre.
E llms.txt? Il 97% dei file non riceve nessuna richiesta
Domanda che mi arriva ogni settimana, e questa e’ l’occasione giusta per rispondere.
Negli ultimi due anni e’ circolata l’idea di un file llms.txt: una specie di robots.txt per i modelli linguistici, dove indicare cosa possono usare e come. L’adozione e’ cresciuta di 8,8 volte. Ma i dati sulle richieste raccontano un’altra storia: il 97% di quei file non riceve nessuna richiesta da parte delle AI. Vengono pubblicati e non vengono letti.
La lezione e’ la stessa dell’intero articolo: pubblicare una preferenza leggibile da una macchina non significa che una macchina la legga. Io un llms.txt sul mio sito ce l’ho e lo tengo aggiornato, ma per un motivo diverso da quello che pensa la maggior parte delle persone: e’ una pagina in piu’ che descrive in modo ordinato chi sono e cosa faccio. Non e’ un contratto. E’ una scheda.
Se qualcuno vi propone un pacchetto “GEO” il cui primo deliverable e’ un file llms.txt, chiedete quale sara’ il secondo.
Domande frequenti
Come faccio a bloccare davvero ChatGPT dal mio sito?
Con il robots.txt non lo bloccate del tutto: potete escludere GPTBot dall’addestramento e OAI-SearchBot dalla ricerca, entrambe istruzioni che OpenAI dichiara di rispettare, ma per ChatGPT-User la documentazione ufficiale prevede una deroga quando la richiesta parte da un utente. Un blocco effettivo si ottiene solo a livello di rete: regole sul CDN o sul firewall applicativo, basate sugli intervalli IP pubblicati da OpenAI. Prima di farlo, pero’, vale la pena chiedersi se il vero obiettivo sia sparire o essere trovati.
Se blocco i bot AI, sparisco dalle risposte di ChatGPT?
Se bloccate OAI-SearchBot si’, per le funzioni di ricerca: OpenAI documenta che i siti esclusi non vengono mostrati nelle risposte di ricerca, anche se possono ancora comparire come link di navigazione. Se bloccate solo GPTBot no, la visibilita’ resta. E’ proprio questa distinzione a rendere pericoloso il blocco indiscriminato “di tutto quello che ha AI nel nome”.
Qual e’ la differenza tra GPTBot, OAI-SearchBot e ChatGPT-User?
GPTBot raccoglie contenuti per l’addestramento dei modelli. OAI-SearchBot indicizza le pagine per farle comparire nei risultati di ricerca di ChatGPT ed e’ l’unico che governa la visibilita’. ChatGPT-User scarica una singola pagina nel momento in cui una persona fa una domanda, e secondo la documentazione OpenAI non determina se un contenuto appare nella Ricerca. Sono tre impostazioni indipendenti e vanno decise separatamente.
Bloccare i crawler AI fa perdere traffico?
Secondo lo studio di Rutgers Business School e Wharton aggiornato ad aprile 2026, gli editori che hanno bloccato i crawler AI via robots.txt hanno perso circa il 7% del traffico settimanale entro sei settimane, misurato su dati di navigazione umana. Un’analisi separata mostra inoltre che il blocco non rimuove in modo affidabile un sito dai dataset di citazione delle AI. Nella maggior parte dei casi si paga il costo senza ottenere il beneficio.
Come verifico quali bot AI stanno visitando il mio sito?
Guardando i log di accesso del server o i report del CDN e cercando le stringhe user-agent: ChatGPT-User, OAI-SearchBot, GPTBot, Claude-User, PerplexityBot, Google-Extended. In alternativa, Microsoft Clarity da giugno 2026 segnala le violazioni del robots.txt dentro Bot Analytics ed e’ gratuito. Il file robots.txt mostra solo cosa avete chiesto; i log mostrano cosa e’ realmente arrivato.
Cosa significa per le aziende italiane
Traduco tutto sul nostro mercato, perche’ in Italia questa notizia atterra in modo diverso rispetto agli Stati Uniti.
Primo: la maggioranza delle PMI italiane non ha un problema di blocco, ha un problema di ignoto. I dati europei lo dicono chiaramente: da noi quasi nessuno ha scritto regole per i fetcher piu’ recenti. Il robots.txt medio di un sito aziendale italiano e’ quello generato dal CMS anni fa, con dentro qualche riga sulle cartelle di sistema. Non e’ una posizione: e’ un’assenza di posizione. La buona notizia e’ che si sistema in mezz’ora. La cattiva e’ che nessuno la guarda mai, finche’ non succede qualcosa.
Secondo: dove invece qualcuno e’ intervenuto, spesso ha fatto il danno. Il periodo 2024-2025 e’ stato pieno di articoli e di consigli affrettati sul blocco dei bot AI. Diverse aziende italiane hanno fatto mettere all’agenzia un divieto generalizzato in un momento in cui il clima era “l’AI ci ruba i contenuti”, e non ci sono piu’ tornate. Se siete tra queste, oggi state pagando la visibilita’ senza aver comprato la protezione. Il controllo di cui parlo al punto 1 va fatto questa settimana, non a settembre.
Terzo: per chi vende, la logica e’ rovesciata rispetto a un editore. Un giornale vive di attenzione: se l’AI riassume il pezzo, il lettore non arriva e la pagina non genera ricavo pubblicitario. Per un’azienda manifatturiera, un e-commerce o uno studio professionale, il rischio non e’ che l’AI copi: e’ che l’AI non sappia che esistete. Quando un potenziale cliente chiede a un assistente “chi produce X in provincia di Y”, non c’e’ nessun ricavo perso se la risposta cita voi. C’e’ solo un ricavo perso se cita un altro.
Quarto: la scadenza operativa e’ il 15 settembre. Non riguarda tutti allo stesso modo, ma riguarda chiunque stia per mettere online un sito nuovo dietro Cloudflare, o abbia attivato in passato il blocco dei bot AI. Sono venti minuti di verifica e non costano nulla.
Il punto piu’ generale e’ il piu’ semplice, e vale ben oltre questa notizia. Per anni abbiamo trattato un file di testo come se fosse un contratto vincolante. Non lo e’ mai stato: e’ sempre stata una convenzione fra gentiluomini, tenuta in piedi dal fatto che i motori di ricerca avevano interesse a rispettarla. Nel momento in cui il traffico automatico ha superato quello umano e in cui gli assistenti si prendono le pagine per conto delle persone, quella convenzione ha smesso di reggere da sola.
Quindi la domanda da portare al vostro fornitore non e’ piu’ “abbiamo bloccato i bot AI?”. E’: chi ci sta leggendo davvero, e per farci trovare abbiamo lasciato aperta la porta giusta?
Come sempre: costa ordine, non budget.