Como dizer às empresas de IA para não treinarem com o seu site: um guia de 20 minutos sobre o novo token do robots.txt

Close-up of a weathered brass padlock on a teal wooden door

7 min read

Agora você pode dizer a quatro das maiores empresas de IA, em uma linha curta de texto, que não quer que o seu site seja usado para treinar os modelos delas. Leva cerca de 20 minutos, não custa nada e, se for feito corretamente, não prejudica sua posição no Google. O porém é que se trata de um pedido, não de uma tranca, e três dessas quatro empresas ainda não ativaram o recurso.

Em 30 de outubro, Kevin Kelley, líder de padrões da Anthropic, apresentou um rascunho chamado “Machine-Readable Training Preference Signal” à Internet Engineering Task Force, o grupo que escreve muitas das regras que fazem a web funcionar. OpenAI, Google, Microsoft e Anthropic disseram que vão respeitá-lo. Este guia mostra a configuração passo a passo, mesmo que você nunca tenha aberto um arquivo robots.txt. Um arquivo robots.txt é um pequeno arquivo de texto público no seu site que diz aos visitantes automatizados o que você gostaria que eles fizessem.

O que o novo token faz, em português claro

O rascunho cria um rótulo chamado __usage_ai-training. Você o coloca no robots.txt, e ele declara uma preferência sobre uma única coisa: se as suas páginas podem ser usadas para treinar IA generativa. Treinamento é a etapa em que uma empresa alimenta um modelo com conteúdo para que ele aprenda com esse material.

Ele não impede ninguém de visitar o seu site. O rascunho diz com todas as letras que o rótulo não é uma regra de rastreamento. Ele também não trata de respostas de IA em tempo real, como quando um assistente consulta a sua página para responder a um cliente. É uma boa notícia para um pequeno negócio, porque você pode recusar o treinamento e continuar sendo encontrado e citado pela busca com IA. Se essa segunda parte importa para você, leia nosso guia para iniciantes sobre como ser mencionado em respostas de IA.

O calendário varia de empresa para empresa, segundo o anúncio da OpenAI e a cobertura da imprensa sobre as outras três:

  • Anthropic: a implementação começou em outubro de 2026.
  • OpenAI: planejada para os próximos meses.
  • Microsoft: data prevista de 1º de fevereiro de 2027.
  • Google: previsão para o início de 2027, quando passará a tratar o rótulo como uma recusa via Google-Extended.

Adicionar a linha agora ainda faz sentido. É uma edição de dois minutos, e ela já estará no lugar quando cada empresa entrar em ação.

Passo 1: decida o que você realmente quer

Antes de mexer em qualquer coisa, separe o seu site em duas pilhas.

  • Páginas que você quer divulgar ao máximo: seus serviços, preços, localização e páginas de imprensa. Se um modelo aprender esse conteúdo, isso pode ajudar as pessoas a encontrarem você.
  • Páginas que são o seu produto: guias pagos, aulas de cursos, pesquisas originais, receitas ou modelos que você vende.

Se você vende o seu conhecimento, recuse o treinamento no site inteiro e permita algumas exceções. Se o seu site é basicamente um folheto, há pouco em jogo. Seria razoável não fazer nada, ou bloquear apenas a pasta que guarda o seu material pago. Não existe resposta errada aqui, e você pode mudar de ideia depois.

Passo 2: encontre o seu arquivo robots.txt

Digite o seu domínio no navegador e adicione /robots.txt ao final, como em yourbusiness.com/robots.txt. Você verá um arquivo de texto curto, ou uma página de erro se ele ainda não existir. Copie o que aparecer para uma nota, assim você tem um backup.

Passo 3: abra o editor da sua plataforma

O lugar onde você edita o arquivo depende de como o site foi construído:

  • WordPress: o WordPress cria esse arquivo automaticamente, então muitas vezes não há nada para abrir no servidor. Plugins de SEO como Yoast e Rank Math incluem um editor de arquivos, ou você pode enviar seu próprio arquivo pela hospedagem.
  • Shopify: edite o modelo do tema chamado robots.txt.liquid.
  • Wix: procure o editor de robots.txt nas configurações de SEO.
  • Squarespace e outros criadores de sites fechados: eles podem não permitir a edição direta. Consulte a página de ajuda atual antes de perder tempo procurando.

Se o Cloudflare estiver na frente do seu site, verifique se o recurso de robots.txt gerenciado está ativado, porque ele pode acrescentar ou alterar o que os visitantes veem.

Passo 4: adicione as linhas

Adicione uma linha em branco ao final do arquivo e cole isto como um grupo próprio:

User-Agent: __usage_ai-training
Disallow: /

Para manter certas páginas abertas, adicione uma exceção. Esta versão recusa o treinamento em todo o site, menos em uma pasta de imprensa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press/

Há dois erros a evitar. Primeiro, não adicione Disallow: / abaixo da linha User-Agent: *. Esse grupo fala com todos os rastreadores, incluindo o Google, e isso poderia tirar você da busca. Segundo, não presuma que esse grupo existente já cobre o treinamento. O rascunho diz que um grupo curinga não conta, então um arquivo que nunca menciona o rótulo não expressa preferência nenhuma.

Passo 5: teste

Salve e abra yourbusiness.com/robots.txt em uma janela anônima do navegador para confirmar que as novas linhas aparecem. Se você usa o Google Search Console, o relatório de robots.txt mostra a última versão que o Google buscou. Depois, faça uma checagem rápida para ver se as suas páginas principais continuam carregando e se nada mais mudou no arquivo.

Passo 6: cubra a lacuna com as regras que já funcionam

Como o novo rótulo ainda está sendo implantado, você pode adicionar hoje as regras mais antigas, específicas de cada empresa. A documentação de rastreadores da OpenAI separa o GPTBot, que coleta dados de treinamento, do OAI-SearchBot, que alimenta a busca. O rastreador de treinamento da Anthropic é o ClaudeBot, e o Google usa um rótulo chamado Google-Extended. Para recusar o treinamento sem sair da busca com IA, bloqueie apenas esses três:

User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /

A OpenAI disse que as regras atuais para os seus rastreadores continuam valendo junto com o novo sinal, então essas linhas não são esforço perdido.

O que isto não pode fazer por você

Seja honesto consigo mesmo sobre os limites. Isto é uma preferência, e depende de as empresas decidirem respeitá-la. Não muda nada em relação ao conteúdo que já está dentro de modelos treinados. Raspadores menores, que nunca concordaram com nada, podem ignorá-la. Acordos privados de licenciamento podem se sobrepor a ela. O próprio rascunho é uma submissão individual, ainda sem status formal na IETF, e seus detalhes podem mudar, então volte a verificar na primavera do hemisfério norte.

Isto também não é uma estratégia de direitos autorais. Os seus direitos sobre o seu próprio trabalho não dependem deste arquivo, e são uma questão separada do que você pode reivindicar sobre conteúdo gerado por IA, tema que abordamos no nosso texto sobre mitos de direitos autorais. Se o seu conteúdo é o centro da sua renda, uma conversa curta com um advogado vale mais do que qualquer linha de robots.txt.

Sua lista de verificação de 20 minutos

  1. Separe suas páginas em “divulgar ao máximo” e “meu produto”.
  2. Faça um backup do seu robots.txt atual.
  3. Adicione o grupo __usage_ai-training, com as exceções que quiser.
  4. Adicione GPTBot, ClaudeBot e Google-Extended para ter cobertura hoje.
  5. Teste em uma janela anônima e crie um lembrete na agenda para revisar tudo em março de 2027.

Já que você está por ali, pergunte-se o que mais as máquinas leem no seu site. Nosso plano sobre os agentes de IA dos clientes que leem as suas políticas é uma boa próxima parada.

Leitura relacionada

Deixe um comentário

Rolar para cima