6 min read
Adesso puoi dire a quattro delle più grandi aziende di AI, con una sola riga di testo, che non vuoi che il tuo sito venga usato per addestrare i loro modelli. Ci vogliono circa 20 minuti, non costa nulla e, se lo fai nel modo giusto, non danneggia il tuo posizionamento su Google. C’è però un limite: è una richiesta, non una serratura, e tre di quelle quattro aziende non l’hanno ancora attivata.
Il 30 ottobre Kevin Kelley, responsabile degli standard di Anthropic, ha depositato una bozza intitolata “Machine-Readable Training Preference Signal” presso la Internet Engineering Task Force, il gruppo che scrive molte delle regole su cui si regge il web. OpenAI, Google, Microsoft e Anthropic hanno tutte dichiarato che la rispetteranno. Questa guida ti accompagna nella configurazione un passo alla volta, anche se non hai mai aperto un file robots.txt. Il file robots.txt è un piccolo file di testo pubblico sul tuo sito che indica ai visitatori automatici cosa vorresti che facessero.
Cosa fa il nuovo token, in parole semplici
La bozza crea un’etichetta chiamata __usage_ai-training. La inserisci nel file robots.txt e serve a esprimere una preferenza su una sola cosa: se le tue pagine possono essere usate per addestrare l’AI generativa. L’addestramento è la fase in cui un’azienda dà in pasto dei contenuti a un modello perché impari da essi.
Non impedisce a nessuno di visitare il tuo sito. La bozza dice chiaramente che l’etichetta non è una regola di scansione. E non riguarda nemmeno le risposte AI in tempo reale, per esempio quando un assistente consulta la tua pagina per rispondere a un cliente. Per una piccola attività è una buona notizia, perché puoi sottrarti all’addestramento e continuare a essere trovato e citato dalla ricerca AI. Se quest’ultima parte ti interessa, leggi la nostra guida per principianti per farsi citare nelle risposte AI.
I tempi variano da un’azienda all’altra, secondo l’annuncio di OpenAI e quanto riportato dalla stampa sulle altre tre:
- Anthropic: implementazione iniziata a ottobre 2026.
- OpenAI: prevista nei prossimi mesi.
- Microsoft: data obiettivo 1° febbraio 2027.
- Google: obiettivo inizio 2027, quando tratterà l’etichetta come un opt-out di Google-Extended.
Aggiungere la riga adesso ha comunque senso. È una modifica da due minuti e sarà già al suo posto man mano che ogni azienda si adegua.
Passo 1: decidi cosa vuoi davvero
Prima di toccare qualsiasi cosa, dividi il tuo sito in due gruppi.
- Pagine che vuoi far circolare il più possibile: servizi, prezzi, sede e pagine stampa. Se un modello le impara, potrebbe aiutare le persone a trovarti.
- Pagine che sono il tuo prodotto: guide a pagamento, lezioni dei corsi, ricerche originali, ricette o modelli che vendi.
Se vendi le tue conoscenze, escludi tutto il sito e concedi poche eccezioni. Se il tuo sito è più che altro una brochure, la posta in gioco è bassa. Potresti ragionevolmente non fare nulla, oppure bloccare solo la cartella con il materiale a pagamento. Non c’è una risposta sbagliata, e potrai sempre cambiare idea.
Passo 2: trova il tuo file robots.txt
Digita il tuo dominio nel browser e aggiungi /robots.txt alla fine, così: yourbusiness.com/robots.txt. Vedrai un breve file di testo, oppure una pagina di errore se il file non esiste ancora. Copia quello che vedi in una nota, così hai un backup.
Passo 3: apri l’editor della tua piattaforma
Il punto in cui modificare il file dipende da come è stato costruito il tuo sito:
- WordPress: WordPress crea questo file in automatico, quindi spesso sul server non c’è nulla da aprire. Plugin SEO come Yoast e Rank Math includono un editor di file, oppure puoi caricare un tuo file tramite l’hosting.
- Shopify: modifica il template del tema chiamato robots.txt.liquid.
- Wix: cerca l’editor di robots.txt nelle impostazioni SEO.
- Squarespace e altri costruttori di siti chiusi: potrebbero non consentire la modifica diretta. Controlla la pagina di assistenza aggiornata prima di perdere tempo a cercare.
Se davanti al tuo sito c’è Cloudflare, verifica se è attiva la sua funzione di robots.txt gestito, perché può aggiungere o cambiare ciò che vedono i visitatori.
Passo 4: aggiungi le righe
Aggiungi una riga vuota alla fine del file, poi incolla questo come gruppo a sé:
User-Agent: __usage_ai-training
Disallow: /Per lasciare aperte alcune pagine, aggiungi un’eccezione. Questa versione esclude tutto tranne una cartella stampa:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press/Due errori da evitare. Primo, non aggiungere Disallow: / sotto la riga che dice User-Agent: *. Quel gruppo si rivolge a tutti i crawler, Google compreso, e potrebbe farti sparire dalla ricerca. Secondo, non dare per scontato che quel gruppo esistente copra già l’addestramento. La bozza dice che un gruppo con il carattere jolly non vale, quindi un file che non nomina mai l’etichetta non esprime alcuna preferenza.
Passo 5: fai una prova
Salva, poi apri yourbusiness.com/robots.txt in una finestra di navigazione privata e controlla che le nuove righe compaiano. Se usi Google Search Console, il suo report su robots.txt mostra l’ultima versione recuperata da Google. Poi verifica a campione che le pagine principali si carichino ancora e che nient’altro sia cambiato nel file.
Passo 6: copri il periodo scoperto con le regole che funzionano già
Dato che la nuova etichetta è ancora in fase di adozione, puoi aggiungere già oggi le vecchie regole specifiche per azienda. La documentazione sui crawler di OpenAI distingue GPTBot, che raccoglie i dati di addestramento, da OAI-SearchBot, che alimenta la ricerca. Il crawler di addestramento di Anthropic è ClaudeBot, mentre Google usa un’etichetta chiamata Google-Extended. Per sottrarti all’addestramento senza uscire dalla ricerca AI, blocca solo questi tre:
User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /OpenAI ha detto che le sue regole esistenti per i crawler restano valide accanto al nuovo segnale, quindi queste righe non sono fatica sprecata.
Cosa tutto questo non può fare per te
Sii onesto con te stesso sui limiti. Questa è una preferenza, e dipende dalla scelta delle aziende di rispettarla. Non ha alcun effetto sui contenuti già presenti nei modelli addestrati. Gli scraper più piccoli, che non hanno mai accettato nulla, possono ignorarla. Accordi privati di licenza possono scavalcarla. La bozza stessa è una proposta individuale, ancora senza alcun valore formale presso la IETF, e i suoi dettagli potrebbero cambiare: ricontrolla in primavera.
Non è nemmeno una strategia sul copyright. I tuoi diritti sulle tue opere non dipendono da questo file, e sono una questione diversa da ciò che puoi rivendicare sui contenuti generati dall’AI, di cui abbiamo parlato nel nostro articolo sui falsi miti del copyright. Se i tuoi contenuti sono il cuore del tuo reddito, una breve chiacchierata con un avvocato vale più di qualsiasi riga in robots.txt.
La tua checklist da 20 minuti
- Dividi le tue pagine in “da far circolare” e “il mio prodotto”.
- Fai un backup del tuo robots.txt attuale.
- Aggiungi il gruppo __usage_ai-training, con le eventuali eccezioni.
- Aggiungi GPTBot, ClaudeBot e Google-Extended per avere copertura già da oggi.
- Fai la prova in una finestra privata, poi imposta un promemoria in calendario per riesaminare tutto a marzo 2027.
Già che ci sei, chiediti cos’altro leggono le macchine sul tuo sito. Il nostro piano per gli agenti AI dei clienti che leggono le tue policy è una buona tappa successiva.
