Bloccare una pagina con il file robots.txt non la nasconde da Google. La rende solo illeggibile. Google può comunque scoprirne l’indirizzo da un link esterno, indicizzarlo e mostrarlo nei risultati — senza aver mai letto una riga di quella pagina. È esattamente quello che è successo nel weekend del 25-26 luglio 2026 ad Anthropic: centinaia di conversazioni condivise dagli utenti di Claude sono finite su Google e Bing. Non per un attacco. Per una riga di configurazione messa nel posto sbagliato. Se hai un sito aziendale o un e-commerce, quasi certamente hai lo stesso errore da qualche parte. Ti spiego come si riconosce e come si chiude.
Sommario
- Cos’è successo con le chat di Claude finite su Google
- Perché robots.txt non nasconde niente
- Le pagine del tuo sito che rischiano lo stesso
- Cosa fare: la procedura corretta, caso per caso
- Il controllo in 15 minuti che puoi fare oggi
- Cosa c’entra con la visibilità nelle AI
- Domande frequenti
- Cosa significa per le aziende italiane
Cos’è successo con le chat di Claude finite su Google
Claude, l’assistente AI di Anthropic, ha una funzione di condivisione: crei un link pubblico a una conversazione e lo mandi a chi vuoi. Comodo. Il link vive su un indirizzo del tipo claude.ai/share/....
Il 25 luglio un utente ha provato una cosa che qualunque SEO fa dieci volte al giorno: ha cercato su Google site:claude.ai/share. È il comando che chiede a Google di mostrare tutto ciò che ha indicizzato di un certo indirizzo. Sono uscite centinaia di conversazioni di altre persone. Wired ha raccontato che dentro c’era di tutto: discussioni politiche, questioni di salute, materiale personale.
Il punto che mi interessa non è lo scandalo. È la causa tecnica, perché è la stessa che vedo nei siti delle aziende italiane ogni settimana.
Anthropic aveva fatto due cose insieme:
- aveva bloccato il percorso
/share/*nel file robots.txt, con una direttivaDisallow; - aveva messo sulla pagina un’istruzione di non indicizzazione (l’intestazione
X-Robots-Tag: none, che equivale anoindex, nofollow).
Sembra doppia protezione. È l’opposto: le due cose si annullano a vicenda. E l’ho vista fare, con lo stesso ragionamento — “metto tutte e due così sono sicuro” — su siti di PMI che vendono online.
Anthropic ha corretto la configurazione e dal 26 luglio Google ha iniziato a rimuovere i risultati. Oggi quella ricerca non restituisce più niente. Ma la lezione resta, ed è tecnica, banale e costosa.
Perché robots.txt non nasconde niente
Qui serve capire una distinzione che quasi nessuno spiega ai clienti, e che invece decide se una pagina finisce o no su Google.
Cosa fa davvero il robots.txt
Il file robots.txt sta nella radice del tuo sito (tuosito.it/robots.txt) e dice ai crawler dove non entrare. È un cartello sulla porta: “non passare di qui”.
Non è un lucchetto. È un cartello. Governa la scansione, cioè la lettura del contenuto. Non governa l’indicizzazione, cioè la comparsa nei risultati di ricerca.
Sono due cose diverse e il fatto che si confondano di continuo è la radice del problema.
Cosa fa il noindex
Il noindex è un’istruzione che vive dentro la pagina (in un meta tag nell’HTML) oppure nell’intestazione della risposta del server (X-Robots-Tag). Dice: “puoi leggermi, ma non mettermi nei risultati”.
È l’unico strumento che toglie davvero una pagina dall’indice di Google. E ha una condizione non negoziabile: Google deve poter leggere la pagina per vedere l’istruzione.
L’errore che li annulla a vicenda
Ora metti insieme i due pezzi.
Se blocchi una pagina con il robots.txt, il crawler non entra. Non entrando, non legge l’HTML. Non leggendo l’HTML, non vede mai il noindex. Il tuo “non mettermi nei risultati” resta scritto dietro una porta chiusa, dove nessuno lo legge.
Cosa succede allora? Che se qualcuno pubblica quel link da qualche parte — un forum, un post su LinkedIn, un messaggio in un gruppo pubblico, un’altra pagina del web — Google scopre l’indirizzo comunque. Non può leggere il contenuto, ma l’indirizzo lo conosce. E può mostrarlo nei risultati, spesso con la dicitura che nessuno vuole vedere: “Nessuna informazione disponibile per questa pagina”.
Nel caso di Claude è andata anche peggio: i link condivisi circolavano già in giro per il web, e questo ha dato ai motori tutto il necessario per indicizzarli.
La regola da tenere a mente è una sola, e me la sono ripetuta per anni prima che diventasse automatica:
Se vuoi che una pagina sparisca da Google, Google deve poterla leggere.
Suona contro-intuitivo. È così.
Perché quasi tutti sbagliano, compresi i bravi
Vale la pena capire perché questo errore è così comune, perché non è stupidità: è un’intuizione ragionevole applicata a un sistema che funziona in modo diverso da come sembra.
Il ragionamento naturale è: “più blocchi metto, più sono al sicuro”. È come chiudere la porta e anche mettere il chiavistello. Nella vita reale funziona. Con i motori di ricerca no, perché il secondo blocco vive dentro la stanza che il primo blocco ti impedisce di raggiungere.
Poi c’è un secondo motivo, più banale: il robots.txt è il rimedio più facile. È un file di testo, ci metti due righe, non serve toccare il tema, non serve un plugin, non serve chiamare nessuno. Il noindex fatto bene richiede di sapere quale pagina stai gestendo e dove si imposta. Quando una cosa è più facile di quella giusta, si fa quella facile.
Il terzo motivo è che l’errore non si vede. Non ricevi nessun avviso, il sito non si rompe, nessun cliente ti scrive. Il problema esiste in silenzio finché qualcuno non fa quella ricerca — che è esattamente come è saltata fuori la storia di Claude: un utente curioso, un comando site:, un weekend.
Aggiungo una cosa che nel 2026 conta più che in passato. Anni fa un link “privato” restava privato per inerzia: nessuno lo condivideva. Oggi i link viaggiano dappertutto — chat di gruppo, community, thread pubblici, strumenti che generano pagine di riepilogo indicizzabili. La probabilità che un indirizzo che credi riservato finisca da qualche parte di pubblico è enormemente più alta di dieci anni fa. Il difetto di configurazione è lo stesso di sempre; è la probabilità che esploda a essere cambiata.
Le pagine del tuo sito che rischiano lo stesso
“Massimiliano, io non ho una funzione di condivisione chat, questa cosa non mi riguarda.”
Ti riguarda. Perché l’errore non sta nella funzione, sta nel modo in cui quasi tutti i siti gestiscono le pagine che non vogliono in vetrina. Ecco dove lo trovo più spesso, in ordine di frequenza reale sui siti che analizzo.
Le pagine di ringraziamento dopo un form
La classica /grazie/ o /thank-you/. La blocchi col robots.txt perché non vuoi che si posizioni. Poi qualcuno la condivide, o finisce in un’email tracciata, e la vedi comparire nei risultati per il nome della tua azienda. Effetto: chi cerca il tuo brand trova una pagina vuota. Peggio: se dentro c’è il codice sconto riservato a chi lascia i dati, hai regalato lo sconto a chiunque.
Le aree riservate e i preventivi in PDF
Questa è la più costosa. I PDF sono file come gli altri: hanno un indirizzo e Google li indicizza volentieri. Ho visto listini riservati ai rivenditori, preventivi con nomi di clienti e capitolati tecnici finire nei risultati di ricerca. Bloccati nel robots.txt, ovviamente. Che non serve a niente se il link è finito in una mail inoltrata, in un ticket di assistenza o in un post di un forum di settore.
Le pagine di carrello, checkout e account su WooCommerce
Su un e-commerce WordPress ci sono decine di indirizzi che non devono stare su Google: carrello, pagamento, “il mio account”, pagine di conferma ordine, filtri e ordinamenti che generano centinaia di varianti della stessa pagina categoria. Il rimedio fai-da-te è quasi sempre lo stesso: una manciata di righe nel robots.txt. Che sui filtri va anche bene per risparmiare scansione, ma sulle pagine sensibili non protegge nulla.
Gli ambienti di test e le versioni di staging
Il caso più imbarazzante. Il sito nuovo lo sviluppi su staging.tuosito.it o tuosito.it/nuovo/. Lo blocchi col robots.txt. L’agenzia manda il link al cliente, il cliente lo gira a un collega, il collega lo incolla in una chat che sta su una pagina pubblica. Risultato: due versioni dello stesso sito indicizzate, contenuti duplicati, e Google che non capisce quale sia quella vera. Questo un danno di posizionamento te lo fa davvero.
Le pagine dei documenti interni
Organigrammi, procedure, moduli per i dipendenti, cataloghi vecchi che non vuoi più mostrare. Sono la coda lunga del problema: nessuna di queste pagine è drammatica da sola, ma insieme raccontano di te cose che non hai scelto di raccontare. E oggi, come vedremo, non le legge solo un umano curioso.
Cosa fare: la procedura corretta, caso per caso
Non esiste una risposta unica, esistono tre situazioni diverse. Ti dico quale usare e quando, con i trade-off onesti.
Caso 1 — La pagina è pubblica ma non deve stare su Google
Esempi: pagina di ringraziamento, risultati di ricerca interna, pagine di paginazione infinita, versioni stampabili.
Cosa fare: metti il noindex sulla pagina e togli il blocco dal robots.txt. Deve essere leggibile perché Google veda l’istruzione e la esegua.
Su WordPress non serve toccare codice: con Rank Math o Yoast imposti il noindex dalla scheda SEO del singolo contenuto, o per intere tipologie di pagina dalle impostazioni generali.
Trade-off onesto: Google spenderà comunque un po’ di budget di scansione su quelle pagine. Su un sito da poche centinaia di URL è irrilevante. Su un e-commerce da centomila pagine la scelta va ragionata, e lì il robots.txt torna utile — ma solo su pagine che non sono già indicizzate e che non sono sensibili.
Caso 2 — La pagina è già finita su Google e la vuoi fuori subito
Cosa fare, in quest’ordine:
- Metti il
noindexsulla pagina e assicurati che non sia bloccata nel robots.txt. - Vai in Google Search Console, sezione Rimozioni, e chiedi la rimozione temporanea dell’indirizzo. Ti compra circa sei mesi di invisibilità: serve a tamponare mentre il noindex fa il suo lavoro.
- Aspetta che Google riscansioni. Su una pagina isolata possono volerci giorni o settimane.
- Solo dopo che la pagina è sparita dai risultati, se vuoi, puoi rimetterci il blocco nel robots.txt.
L’errore che vedo fare nel panico è saltare direttamente al punto 4: si blocca tutto nel robots.txt sperando che sparisca. Ottieni l’effetto contrario — congeli la pagina nell’indice, perché Google non può più entrare a scoprire che non la vuoi più lì.
Caso 3 — Il contenuto è riservato davvero
Listini per rivenditori, documenti con dati di clienti, aree private, contratti, capitolati.
Cosa fare: niente robots.txt, niente noindex. Serve una password, o un’autenticazione vera, o l’accesso limitato per indirizzo IP.
Questa è la parte che voglio che resti. Il robots.txt e il noindex sono strumenti di presentazione: dicono a un motore di ricerca educato come comportarsi. Non sono strumenti di sicurezza: non fermano nessuno che abbia il link, non fermano i crawler che ignorano le regole e non fermano chi va a leggersi il tuo robots.txt per scoprire proprio gli indirizzi che stai cercando di nascondere. Sì: il tuo robots.txt è pubblico, e l’elenco delle cartelle che blocchi è la prima cosa che guarda chi vuole ficcanasare.
Se il contenuto non deve essere visto da estranei, la risposta non è SEO. È accesso protetto.
Il caso WooCommerce, in concreto
Siccome lavoro molto con e-commerce su WordPress, ti faccio l’esempio più pratico che posso, perché è dove questo errore fa più danni economici.
Un negozio WooCommerce medio produce quattro famiglie di indirizzi che non vuoi in vetrina, e vanno gestite in quattro modi diversi:
- Carrello, checkout, “il mio account”, conferma ordine. Vanno in
noindex, accessibili ai crawler. Non sono segreti — sono solo pagine che non hanno senso in un risultato di ricerca. WooCommerce mette il noindex di suo su diverse di queste; il compito tuo è verificare che qualcuno non le abbia anche bloccate nel robots.txt “per sicurezza”, annullando tutto. - Filtri, ordinamenti, parametri di tracciamento. Qui il robots.txt ha senso, perché sono migliaia di varianti della stessa pagina e non contengono niente di sensibile. Meglio ancora: un tag canonical che punta alla pagina categoria pulita. Obiettivo: non sprecare scansione.
- Listini riservati, schede tecniche per rivenditori, cataloghi B2B in PDF. Password o area riservata vera. Nient’altro. Se oggi stanno dietro un semplice
Disallow, sono pubblici e non lo sai. - Prodotti fuori catalogo, vecchie promozioni, pagine stagionali scadute. Qui la scelta è strategica, non tecnica: o li rimetti in ordine con un redirect verso il prodotto attuale, o li lasci vivi come contenuto informativo. Bloccarli e basta significa lasciare in giro indirizzi orfani che a Google non spiegano niente.
Il criterio che uso per decidere è sempre lo stesso, e te lo lascio perché funziona anche fuori da WooCommerce: chiediti se il problema è “questa pagina non mi serve in SERP” oppure “questa pagina non deve essere vista”. Sono due problemi diversi con due strumenti diversi, e il 90% dei danni nasce dall’usare lo strumento del primo problema per risolvere il secondo.
Il controllo in 15 minuti che puoi fare oggi
Non serve un consulente per fare questa verifica. Serve un caffè e un quarto d’ora.
1. Guarda il tuo robots.txt. Apri tuosito.it/robots.txt. Leggi ogni riga che inizia con Disallow: e chiediti, per ognuna: cosa c’è là dentro? È roba che non voglio semplicemente far posizionare, o roba che non voglio proprio far vedere? Se la risposta è la seconda, quel blocco non ti sta proteggendo.
2. Chiedi a Google cosa ha già indicizzato. Cerca site:tuosito.it e scorri. Poi affina: site:tuosito.it/grazie, site:tuosito.it filetype:pdf, site:tuosito.it inurl:checkout. La ricerca dei PDF è quella che mi ha regalato le sorprese peggiori negli anni.
3. Cerca il tuo staging. Prova site:staging.tuosito.it e site:dev.tuosito.it. Se esce qualcosa, hai un problema di contenuti duplicati oltre che di riservatezza.
4. Apri Search Console, sezione Pagine. Cerca il gruppo “Indicizzata, bloccata da robots.txt”. È il nome ufficiale che Google dà esattamente al problema di cui parla questo articolo. Se quel gruppo non è vuoto, hai pagine nell’indice che non puoi controllare.
5. Decidi per ognuna. Tre caselle: “va bene che sia pubblica”, “deve uscire dall’indice”, “non deve proprio essere raggiungibile”. Applica il caso 1, 2 o 3.
Se non hai ancora Search Console collegata, quello è il primo passo — è gratis ed è anche il posto dove oggi leggi quante volte le tue pagine compaiono nelle risposte AI di Google.
Cosa c’entra con la visibilità nelle AI
Qui la storia diventa più interessante di un semplice ripasso tecnico.
Le AI generative — ChatGPT, Gemini, le AI Overview di Google, Perplexity — per parlare della tua azienda devono leggerti. E leggono quello che è raggiungibile e comprensibile. Una pagina bloccata nel robots.txt, per un’AI, non è una pagina riservata: è una porta chiusa senza cartello.
Il risultato è la peggiore delle combinazioni. La pagina è abbastanza visibile da comparire come indirizzo nudo nei risultati, ma non abbastanza leggibile perché qualcuno possa capire cosa contiene. Nessuno la può contestualizzare: né Google, né un modello, né il tuo potenziale cliente.
E c’è un secondo livello, più subdolo. Bloccando in modo grossolano intere cartelle, molte aziende hanno reso illeggibili proprio le pagine che le farebbero scegliere: schede prodotto sotto un percorso bloccato, listini dentro una cartella chiusa, documentazione tecnica in una sezione off limits. Poi ci si stupisce che l’AI non citi il proprio sito e vada a prendere il prezzo da un comparatore. È esattamente il punto in cui gli agenti AI si rompono più spesso: non trovano il dato dove dovrebbe stare, e lo vanno a prendere da qualcun altro. Che a quel punto si prende anche la citazione.
Chiudo il cerchio: la stessa igiene tecnica che ti evita l’imbarazzo di un PDF riservato su Google è quella che ti rende verificabile agli occhi di un sistema AI. Non sono due lavori. È lo stesso lavoro, guardato da due lati.
Domande frequenti
Il robots.txt serve ancora a qualcosa?
Sì, ma per un motivo solo: gestire il budget di scansione. Su siti grandi impedisci a Google di sprecare risorse su migliaia di URL inutili — filtri, ordinamenti, parametri di tracciamento — e le concentri sulle pagine che ti portano clienti. È uno strumento di efficienza, non di riservatezza. Se lo usi per nascondere, lo stai usando male.
Qual è la differenza pratica tra robots.txt e noindex?
Il robots.txt dice “non entrare”, il noindex dice “non mostrarmi”. Il primo agisce sulla scansione, il secondo sull’indicizzazione. Se blocchi con il robots.txt, il noindex non viene mai letto e quindi non funziona. Per togliere una pagina da Google devi usare il noindex e lasciare la pagina accessibile.
Quanto tempo ci vuole perché una pagina sparisca da Google?
Dipende da quanto spesso Google riscansiona quel contenuto: da pochi giorni a diverse settimane. Se hai fretta, la rimozione temporanea da Search Console la nasconde in poche ore, ma dura circa sei mesi: è un tampone, non una soluzione. La soluzione permanente resta il noindex su una pagina leggibile.
E se i miei documenti riservati sono già finiti nei risultati?
Nell’ordine: rimuovi o proteggi il file, chiedi la rimozione urgente da Search Console (per i contenuti sensibili esiste una procedura dedicata), poi metti l’accesso con password sulla cartella. E considera che se il documento è stato indicizzato, potrebbe essere finito anche in copie e cache di terze parti: se contiene dati personali, la valutazione va fatta anche sul piano privacy, non solo SEO.
Bloccare i crawler delle AI nel robots.txt è una buona idea?
Dipende da cosa vendi. Se vivi di traffico pubblicitario e le AI ti riassumono senza mandarti visite, ha una sua logica. Se vendi prodotti o servizi, di solito è un autogol: ti escludi dalle risposte dove il tuo cliente sta decidendo, e la risposta la firma un concorrente. Su un mio cliente 40.000 visite al mese arrivano dalle AI Overview: bloccarle sarebbe stato un modo elegante per regalare mercato. Come per il resto di questo articolo, la domanda giusta non è “come mi chiudo”, è “cosa voglio che si legga di me”.
Cosa significa per le aziende italiane
Se Anthropic — un’azienda che costruisce modelli di intelligenza artificiale — ha sbagliato una riga di robots.txt, tu non devi sentirti in colpa se sul tuo sito c’è lo stesso errore. Devi solo andare a guardare.
Il messaggio concreto per una PMI italiana è questo: quello che credi di aver nascosto probabilmente non lo è, e ci sono buone probabilità che nel tuo sito ci sia almeno una pagina che non vorresti in vetrina. Un listino, un preventivo, una versione di prova del sito, una pagina di ringraziamento con dentro uno sconto. Il controllo costa quindici minuti e non richiede nessun investimento.
C’è anche una lettura più strategica, e riguarda il modo in cui la tua azienda viene raccontata quando tu non ci sei. Oggi il tuo sito non lo leggono solo i clienti: lo leggono Google, gli assistenti AI e gli agenti che decidono chi consigliare. Ogni porta chiusa male produce lo stesso risultato: un pezzo di te che circola senza contesto e senza il tuo nome sopra.
La mossa giusta non è chiudere di più. È decidere con lucidità cosa deve essere pubblico e leggibile bene, e cosa deve stare dietro una password vera. Nel mezzo — la zona grigia del “l’ho bloccato nel robots.txt, dovrebbe bastare” — non c’è protezione. C’è solo l’illusione di averla.
E come quasi tutto quello che conta oggi nella visibilità online: costa ordine, non budget.