robots.txt e addestramento AI: il nuovo segnale di Google

Il 30 ottobre 2026 Google ha annunciato che supporterà un segnale comune nel robots.txt per l'addestramento AI: una sola riga con cui un sito potrà dire a più fornitori di intelligenza artificiale se i suoi contenuti possono essere usati per addestrare i modelli. Il segnale si chiama __usage_ai-training, nasce da una bozza presentata all'IETF e Google punta ad attivarlo nel 2027. Per chi gestisce un sito aziendale o un e-commerce è il momento giusto per decidere che rapporto vuole avere con le AI, senza toccare il posizionamento su Google Search.

In sintesi

• Cosa è successo: il 30 ottobre 2026, sul blog di Google Search Central, John Mueller ha annunciato il piano di Google per supportare un controllo condiviso sull'addestramento AI nel file robots.txt.
• Come funziona: si usa un "policy token", __usage_ai-training, nella riga User-Agent del robots.txt, con le normali regole Disallow e Allow.
• Cosa fa Google: se un sito usa il token per negare l'addestramento e non indica nulla per Google-Extended, Google lo tratterà come un blocco di Google-Extended.
• Quando: Google mira a supportarlo nel 2027 insieme ad altri fornitori di AI; la sua documentazione parla di inizio 2027.
• Cosa non cambia: secondo Google, Google-Extended non incide sull'inclusione in Google Search e non è un fattore di ranking.

Cos'è il segnale comune nel robots.txt per l'addestramento AI

Il robots.txt è il file di testo, nella radice del sito, con cui si danno istruzioni ai crawler: quali sezioni possono visitare e quali no. Finora, per dire no all'addestramento AI, bisognava scrivere una regola diversa per ogni azienda: per Google, per esempio, si usa il token Google-Extended, disponibile dal 2023.

Il nuovo segnale è un token unico, valido per tutti i fornitori che decideranno di rispettarlo. È descritto nella bozza IETF draft-kelley-aipref-training-preference-signal (versione 00, ottobre 2026), che riprende la definizione di addestramento AI messa a punto dal gruppo di lavoro AIPREF dell'IETF. In quella definizione, addestrare significa usare un contenuto per modificare i parametri di un modello di AI generativa; non rientrano i modelli usati solo per classificare, ordinare o dare punteggi.

Un esempio dalla bozza:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Questa regola dice: no all'addestramento su tutto il sito, sì per la cartella /press-kit/. È una novità utile: la preferenza si può esprimere anche per singole sezioni, non solo per l'intero sito.

Tre dettagli tecnici da non sbagliare

1. L'asterisco non vale: secondo la bozza, un gruppo User-Agent: * non va interpretato come preferenza sull'addestramento. Serve la riga esplicita con il token.
2. Nessuna riga, nessuna preferenza: se il robots.txt non contiene il token, non è stata espressa alcuna preferenza.
3. Non blocca la scansione: il token esprime un uso consentito o vietato dei contenuti, non è un'istruzione per i crawler. Per limitare la scansione restano le regole per i singoli bot.

Cosa farà Google con il segnale robots.txt sull'addestramento AI

Google ha spiegato che, quando un sito usa il token per negare l'addestramento e non specifica Google-Extended, lo interpreterà come se il sito avesse bloccato Google-Extended. I controlli delle singole aziende continueranno a funzionare accanto al segnale comune: si potrà dare un'indicazione generale a tutti e poi regolare in modo diverso un singolo fornitore. La bozza IETF prevede che le indicazioni più specifiche prevalgano su quelle generali.

C'è un punto che conviene capire bene. Secondo la documentazione di Google, Google-Extended regola due cose: l'uso dei contenuti per addestrare i futuri modelli Gemini e il grounding, cioè l'uso dei contenuti dell'indice di Google Search per dare risposte più accurate nelle app Gemini e in Vertex AI. Nell'annuncio Google precisa che i siti che consentono esplicitamente Google-Extended possono comparire nelle risposte e ricevere clic tramite il grounding nelle app Gemini. Quindi un "no" generale con il token comune, senza una regola dedicata a Google-Extended, avrà effetto anche su questa visibilità.

Google collega la proposta al Codice di buone pratiche per i modelli di AI per finalità generali previsto dall'AI Act europeo, pubblicato dalla Commissione europea il 10 luglio 2025: secondo Google, il Codice riconosce il robots.txt come metodo principale per esprimere preferenze leggibili dalle macchine. Il post non elenca altri fornitori che abbiano già aderito; Google scrive che altri potranno gestire il segnale in modo simile.

Cosa significa per siti aziendali ed e-commerce italiani

Per la SEO classica non cambia nulla: Google ribadisce che Google-Extended non influisce sull'inclusione nella Ricerca né sul ranking. Cambia invece la GEO, cioè la presenza del tuo marchio nelle risposte delle intelligenze artificiali. Sono due scelte diverse:

• Proteggere i contenuti: chi pubblica testi, guide o foto originali e non vuole che addestrino modelli altrui potrà dirlo a più fornitori con una sola regola.
• Farsi trovare dalle AI: un e-commerce o un'azienda che vive di contatti di solito ha interesse a comparire nelle risposte degli assistenti AI. In questo caso conviene valutare con attenzione un "no" generale.
• La via di mezzo: negare l'addestramento su alcune sezioni (per esempio contenuti riservati o a pagamento) e lasciarlo su schede prodotto, pagine dei servizi e materiali stampa.

Se stai lavorando sulla visibilità organica, il robots.txt va gestito insieme al resto della SEO tecnica e della strategia di posizionamento su Google: un errore nel file può bloccare più di quanto si voleva.

Cosa fare adesso: 5 passi pratici

1. Apri il tuo robots.txt (tuosito.it/robots.txt) e controlla cosa contiene oggi: regole per Google-Extended o per i crawler di altri fornitori AI.
2. Decidi la tua posizione: protezione dei contenuti, massima visibilità nelle AI o via di mezzo per sezioni. È una scelta di business prima che tecnica.
3. Non aggiungere il token alla cieca: è ancora una bozza IETF e Google lo supporterà dal 2027. Puoi preparare la regola, ma verifica la sintassi definitiva quando sarà confermata.
4. Se vuoi restare nel grounding di Gemini, prevedi una regola esplicita per Google-Extended che consenta l'accesso, così il "no" generale non lo coinvolge.
5. Testa ogni modifica con il report robots.txt di Search Console, per essere sicuro di non bloccare Googlebot o pagine importanti.

Su Shopify il robots.txt si modifica dal tema; su WordPress e WooCommerce dipende dal plugin SEO o dal server. Se il sito è da rifare o da sistemare, possiamo occuparcene noi con il servizio di web design o con l'assistenza tecnica sul codice. E se ti interessa come le AI possono lavorare per te, non solo su di te, leggi la nostra guida alle Agent Skills per le aziende.

Domande frequenti

Cos'è __usage_ai-training?

È un "policy token" da inserire nella riga User-Agent del robots.txt per dire se i contenuti di un sito possono essere usati per addestrare modelli di AI generativa. È definito in una bozza IETF di ottobre 2026 e vale per tutti i fornitori che decideranno di rispettarlo.

Bloccare l'addestramento AI fa perdere posizioni su Google?

No, secondo Google. Il segnale comune verrà letto come un blocco di Google-Extended, e Google-Extended non incide sull'inclusione in Google Search né sul ranking. Può però incidere sulla presenza nelle risposte delle app Gemini tramite il grounding.

Da quando Google rispetterà il nuovo segnale?

Google ha scritto di voler supportare il segnale nel 2027 insieme ad altri fornitori di AI; la documentazione per sviluppatori indica l'inizio del 2027. Fino ad allora per Google vale Google-Extended.

Devo togliere le regole per Google-Extended?

No. Google ha chiarito che i controlli specifici delle singole aziende continueranno a funzionare accanto al segnale comune. Una regola esplicita per Google-Extended resta il modo per dare a Google un'indicazione diversa da quella generale.

Vuoi un sito pronto per Google e per le AI?

Possiamo analizzare il tuo robots.txt, la SEO tecnica e la visibilità del marchio nelle risposte delle AI, e dirti cosa conviene fare per il tuo caso. Richiedi un preventivo: ti rispondiamo con una proposta concreta.

Fonti: Google Search Central, Supporting a shared AI training control for websites (30 ottobre 2026); IETF, Machine-Readable Training Preference Signal (bozza, ottobre 2026); Google, documentazione su Google-Extended; Commissione europea, Codice di buone pratiche per l'AI per finalità generali.