1 min read
现在，只需一行简短的文字，你就能告诉全球最大的四家 AI 公司：不要用你的网站训练它们的模型。整个过程大约 20 分钟，分文不花，只要操作正确，也不会影响你的 Google 排名。不过有个前提：这只是一个请求，不是一把锁，而且这四家公司中有三家尚未启用。
10 月 30 日，Anthropic 标准事务负责人 Kevin Kelley 向互联网工程任务组（IETF）提交了一份名为“Machine-Readable Training Preference Signal”（机器可读的训练偏好信号）的草案。互联网运行所依赖的许多规则，都出自这个组织之手。OpenAI、Google、Microsoft 和 Anthropic 都已表示会遵守这一信号。本指南会一步一步带你完成设置，哪怕你从未打开过 robots.txt 文件也没关系。robots.txt 文件是你网站上一个公开的小文本文件，用来告诉自动访问程序你希望它们怎么做。
新标记到底有什么用：大白话版
这份草案创建了一个名为 __usage_ai-training 的标记。你把它写进 robots.txt，它只表达一件事的偏好：你的页面可否用于生成式 AI 训练。所谓训练，就是公司把内容输入模型、让模型从中学习的阶段。
它并不阻止任何人访问你的网站。草案明确表示，这个标记不是抓取规则。它也不涉及实时的 AI 回答，比如助手为了回答客户的问题而去查看你的页面。这对小企业是个好消息，因为你可以退出训练，同时仍然能被 AI 搜索发现和引用。如果你很看重后者，可以读读我们的让企业出现在 AI 回答中的入门指南。
根据 OpenAI 的公告以及媒体对另外三家的报道，各公司的时间表并不相同：
- Anthropic：已于 2026 年 10 月开始实施。
- OpenAI：计划在未来几个月内实施。
- Microsoft：目标日期为 2027 年 2 月 1 日。
- Google：目标为 2027 年初，届时会把这个标记视为 Google-Extended 退出设置。
即便如此，现在就加上这一行仍然值得。改动只需两分钟，等各家公司陆续上线时，它已经就位了。
第 1 步：想清楚你到底要什么
动手之前，先把网站内容分成两堆。
- 希望广泛传播的页面：你的服务、价格、地址和媒体页面。如果模型学到了这些内容，也许能帮助更多人找到你。
- 本身就是你产品的页面：付费指南、课程内容、原创研究，以及你出售的食谱或模板。
如果你靠出售知识谋生，就让整个网站退出，再留出几个例外。如果你的网站基本上只是一份宣传册，那利害关系不大。你完全可以什么都不做，或者只屏蔽存放付费内容的文件夹。这里没有错误答案，而且你以后随时可以改主意。
第 2 步：找到你的 robots.txt 文件
在浏览器中输入你的域名，并在末尾加上 /robots.txt，例如 yourbusiness.com/robots.txt。你会看到一个简短的文本文件；如果文件还不存在，则会看到错误页面。把看到的内容复制到笔记里，留作备份。
第 3 步：打开你所用平台的编辑器
在哪里编辑这个文件，取决于你的网站是用什么搭建的：
- WordPress：WordPress 会自动生成这个文件，所以服务器上往往没有可以直接打开的文件。Yoast、Rank Math 等 SEO 插件都带有文件编辑器，你也可以通过主机服务商上传自己的文件。
- Shopify：编辑名为 robots.txt.liquid 的主题模板。
- Wix：在 SEO 设置中找到 robots.txt 编辑器。
- Squarespace 及其他封闭式建站工具：这些平台可能不允许直接编辑。花时间到处寻找之前，先查一下最新的帮助页面。
如果你的网站前面接了 Cloudflare，请检查它的托管 robots.txt 功能是否已开启，因为它可能会增加或更改访问者看到的内容。
第 4 步：添加这几行
在文件末尾加一个空行，然后把下面的内容作为单独的一组粘贴进去：
User-Agent: __usage_ai-training
Disallow: /如果想让某些页面保持开放，就加一条例外。下面这个版本除了媒体文件夹之外，全站都退出：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press/有两个错误要避免。第一，不要在写着 User-Agent: * 的那一行下面添加 Disallow: /。那一组针对的是所有爬虫，包括 Google，这样做可能会让你从搜索结果中消失。第二，不要以为现有的那一组已经涵盖了训练。草案说明通配符组不算数，所以一个从未写明这个标记的文件，等于没有表达任何偏好。
第 5 步：测试
保存后，在浏览器的隐私窗口中打开 yourbusiness.com/robots.txt，确认新增的几行已经出现。如果你使用 Google Search Console，它的 robots.txt 报告会显示 Google 最近一次抓取到的版本。然后抽查一下，确认主要页面仍能正常打开，文件中的其他内容也没有变化。
第 6 步：用现在已经有效的规则补上空档
由于新标记仍在逐步推行，你今天就可以先加上各家公司原有的专用规则。OpenAI 的爬虫文档区分了负责收集训练数据的 GPTBot 和为搜索提供支持的 OAI-SearchBot。Anthropic 的训练爬虫是 ClaudeBot，Google 则使用名为 Google-Extended 的标记。要退出训练又不离开 AI 搜索，只屏蔽这三个即可：
User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /OpenAI 已表示，现有的爬虫规则会与新信号并存，所以这几行不会白加。
它帮不了你的地方
对它的局限要有清醒的认识。这只是一种偏好，能否起效取决于公司是否选择尊重它。对于已经进入训练好的模型中的内容，它无能为力。那些从未作出任何承诺的小型爬虫可以无视它。私下的授权协议也可能凌驾于它之上。草案本身只是一份个人提交的文件，目前在 IETF 还没有正式地位，细节也可能变化，所以明年春天记得回来看看。
它也不是版权策略。你对自己作品享有的权利并不取决于这个文件，而这与你能对 AI 产出主张什么权利又是另一个问题，我们在版权误区一文中讨论过。如果内容是你收入的核心，那么找律师简单聊一聊，比任何一行 robots.txt 都更有价值。
你的 20 分钟清单
- 把页面分成“希望广泛传播”和“我的产品”两类。
- 备份现有的 robots.txt。
- 添加 __usage_ai-training 组，并写上需要的例外。
- 添加 GPTBot、ClaudeBot 和 Google-Extended，覆盖眼下的情况。
- 在隐私窗口中测试，然后设置一个 2027 年 3 月的日历提醒，到时复查。
既然已经动手了，不妨再想想机器还会读取你网站上的哪些内容。我们针对客户的 AI 代理读取你的政策所写的应对计划，很适合作为下一站。
