Cómo decirles a las empresas de IA que no entrenen con tu sitio web: guía de 20 minutos para el nuevo token de robots.txt

Close-up of a weathered brass padlock on a teal wooden door

7 min read

Ahora puedes decirles a cuatro de las empresas de IA más grandes, en una sola línea de texto, que no quieres que usen tu sitio web para entrenar sus modelos. Toma unos 20 minutos, no cuesta nada y, si lo haces bien, no va a perjudicar tu posición en Google. El detalle es que se trata de una petición, no de un candado, y tres de esas cuatro empresas todavía no la han activado.

El 30 de octubre, Kevin Kelley, responsable de estándares de Anthropic, presentó un borrador titulado “Machine-Readable Training Preference Signal” ante la Internet Engineering Task Force, el grupo que redacta muchas de las reglas con las que funciona la web. OpenAI, Google, Microsoft y Anthropic ya dijeron que lo van a respetar. Esta guía te lleva paso a paso por la configuración, aunque nunca hayas abierto un archivo robots.txt. Un archivo robots.txt es un pequeño archivo de texto público en tu sitio que les indica a los visitantes automatizados qué te gustaría que hicieran.

Qué hace el nuevo token, en palabras simples

El borrador crea una etiqueta llamada __usage_ai-training. La colocas en robots.txt y expresa una preferencia sobre una sola cosa: si tus páginas se pueden usar para entrenar IA generativa. El entrenamiento es la etapa en la que una empresa le da contenido a un modelo para que aprenda de él.

No impide que nadie visite tu sitio. El borrador aclara que la etiqueta no es una regla de rastreo. Tampoco dice nada sobre las respuestas de IA en vivo, como cuando un asistente consulta tu página para responderle a un cliente. Esa es una buena noticia para un negocio pequeño, porque puedes excluirte del entrenamiento y seguir apareciendo y siendo citado en las búsquedas con IA. Si esa segunda parte te importa, lee nuestra guía para principiantes sobre cómo aparecer en las respuestas de IA.

Los plazos varían según la empresa, de acuerdo con el anuncio de OpenAI y la cobertura de prensa sobre las otras tres:

  • Anthropic: la implementación comenzó en octubre de 2026.
  • OpenAI: prevista para los próximos meses.
  • Microsoft: fecha objetivo del 1 de febrero de 2027.
  • Google: objetivo de principios de 2027, cuando tratará la etiqueta como una exclusión de Google-Extended.

Aun así, tiene sentido agregar la línea ahora. Es un cambio de dos minutos, y ya estará lista a medida que cada empresa la vaya activando.

Paso 1: Decide qué quieres realmente

Antes de tocar nada, separa tu sitio en dos grupos.

  • Páginas que quieres difundir: tus servicios, precios, ubicación y prensa. Si un modelo las aprende, puede ayudar a que la gente te encuentre.
  • Páginas que son tu producto: guías de pago, lecciones de cursos, investigación original, recetas o plantillas que vendes.

Si vendes tu conocimiento, excluye todo el sitio y permite unas pocas excepciones. Si tu sitio es básicamente un folleto, hay poco en juego. Podrías no hacer nada, sin problema, o bloquear solo la carpeta donde está tu material de pago. Aquí no hay una respuesta incorrecta, y puedes cambiar de opinión más adelante.

Paso 2: Encuentra tu archivo robots.txt

Escribe tu dominio en un navegador y agrega /robots.txt al final, como yourbusiness.com/robots.txt. Verás un archivo de texto corto, o una página de error si todavía no existe. Copia lo que veas en una nota para tener un respaldo.

Paso 3: Abre el editor de tu plataforma

El lugar donde editas el archivo depende de cómo se construyó tu sitio:

  • WordPress: WordPress crea este archivo automáticamente, así que muchas veces no hay nada que abrir en el servidor. Los plugins de SEO como Yoast y Rank Math incluyen un editor de archivos, o puedes subir tu propio archivo a través de tu hosting.
  • Shopify: edita la plantilla del tema llamada robots.txt.liquid.
  • Wix: busca el editor de robots.txt en la configuración de SEO.
  • Squarespace y otros constructores cerrados: puede que no permitan la edición directa. Revisa la página de ayuda actual antes de perder tiempo buscando.

Si Cloudflare está delante de tu sitio, revisa si tiene activada su función de robots.txt administrado, porque puede agregar o cambiar lo que ven los visitantes.

Paso 4: Agrega las líneas

Agrega una línea en blanco al final del archivo y luego pega esto como un grupo propio:

User-Agent: __usage_ai-training
Disallow: /

Para mantener abiertas ciertas páginas, agrega una excepción. Esta versión te excluye en todo el sitio, salvo en una carpeta de prensa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press/

Hay dos errores que debes evitar. Primero, no agregues Disallow: / debajo de la línea que dice User-Agent: *. Ese grupo se dirige a todos los rastreadores, incluido Google, y podría sacarte de los resultados de búsqueda. Segundo, no des por hecho que ese grupo existente ya cubre el entrenamiento. El borrador dice que un grupo comodín no cuenta, así que un archivo que nunca nombra la etiqueta no expresa ninguna preferencia.

Paso 5: Pruébalo

Guarda y abre yourbusiness.com/robots.txt en una ventana privada del navegador para confirmar que aparecen las líneas nuevas. Si usas Google Search Console, su informe de robots.txt muestra la última versión que obtuvo Google. Después, comprueba que tus páginas principales sigan cargando y que nada más haya cambiado en el archivo.

Paso 6: Cubre la brecha con las reglas que ya funcionan

Como la nueva etiqueta todavía se está implementando, hoy mismo puedes agregar las reglas anteriores específicas de cada empresa. La documentación de rastreadores de OpenAI distingue entre GPTBot, que recopila datos de entrenamiento, y OAI-SearchBot, que impulsa la búsqueda. El rastreador de entrenamiento de Anthropic es ClaudeBot, y Google usa una etiqueta llamada Google-Extended. Para excluirte del entrenamiento sin salir de las búsquedas con IA, bloquea solo esos tres:

User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /

OpenAI ha dicho que sus reglas actuales para rastreadores siguen vigentes junto con la nueva señal, así que estas líneas no son un esfuerzo perdido.

Lo que esto no puede hacer por ti

Sé honesto contigo sobre los límites. Esto es una preferencia, y depende de que las empresas decidan respetarla. No hace nada con el contenido que ya está dentro de modelos entrenados. Los scrapers más pequeños, que nunca aceptaron nada, pueden ignorarla. Los acuerdos privados de licencia pueden anularla. El propio borrador es una presentación individual que todavía no tiene reconocimiento formal en la IETF, y sus detalles podrían cambiar, así que vuelve a revisarlo en la primavera.

Tampoco es una estrategia de derechos de autor. Tus derechos sobre tu propio trabajo no dependen de este archivo, y son un tema distinto de lo que puedes reclamar sobre lo que produce la IA, algo que cubrimos en nuestro artículo sobre mitos de derechos de autor. Si tu contenido es el centro de tus ingresos, una conversación breve con un abogado vale más que cualquier línea de robots.txt.

Tu lista de verificación de 20 minutos

  1. Separa tus páginas en “difundir” y “mi producto”.
  2. Haz un respaldo de tu robots.txt actual.
  3. Agrega el grupo __usage_ai-training, con las excepciones que necesites.
  4. Agrega GPTBot, ClaudeBot y Google-Extended para tener cobertura desde hoy.
  5. Prueba en una ventana privada y luego pon un recordatorio en tu calendario para revisarlo en marzo de 2027.

Ya que estás ahí, pregúntate qué más leen las máquinas en tu sitio. Nuestro plan para los agentes de IA de tus clientes que leen tus políticas es una buena siguiente parada.

Lecturas relacionadas

Dejar un comentario

Scroll al inicio