1 min read
今では短いテキストを1行書くだけで、大手AI企業4社に「自分のサイトをモデルの学習に使わないでほしい」と伝えられるようになりました。所要時間は約20分、費用はかかりません。正しく設定すれば、Googleの検索順位に悪影響が出ることもありません。ただし注意点があります。これはあくまでお願いであって鍵ではなく、4社のうち3社はまだ対応を始めていません。
10月30日、Anthropicの標準化担当リードであるKevin Kelleyが、「Machine-Readable Training Preference Signal」というドラフトをInternet Engineering Task Force（IETF）に提出しました。IETFは、ウェブを支える多くのルールを策定している団体です。OpenAI、Google、Microsoft、Anthropicはいずれも、これを尊重すると表明しています。このガイドでは、robots.txtファイルを一度も開いたことがない人でも進められるよう、設定を一歩ずつ説明します。robots.txtファイルとは、サイト上に公開する小さなテキストファイルで、自動で巡回してくるプログラムに「こうしてほしい」と伝えるためのものです。
新しいトークンの役割をわかりやすく
このドラフトは、__usage_ai-trainingというラベルを新たに定めるものです。robots.txtに記述すると、ある1点についてだけ意思を示せます。自分のページを生成AIの学習に使ってよいかどうかです。学習とは、企業がコンテンツをモデルに読み込ませ、そこから学ばせる段階のことです。
このラベルは、誰かがサイトを訪れるのを止めるものではありません。ドラフトにも、クロールのルールではないとはっきり書かれています。また、アシスタントが顧客の質問に答えるためにあなたのページを調べるような、リアルタイムのAI回答についても何も定めていません。これは小規模ビジネスにとって朗報です。学習からはオプトアウトしつつ、AI検索では引き続き見つけてもらい、引用してもらえるからです。後者が気になる方は、AIの回答で取り上げてもらうための入門ガイドをお読みください。
OpenAIの発表と、ほかの3社に関する報道によると、対応時期は企業ごとに異なります。
- Anthropic：2026年10月に実装を開始。
- OpenAI：今後数か月以内に予定。
- Microsoft：2027年2月1日を目標。
- Google：2027年初めを目標とし、このラベルをGoogle-Extendedのオプトアウトとして扱う予定。
それでも、今のうちに追加しておく意味はあります。編集は2分で終わりますし、各社が対応を始めたときには、すでに設定済みの状態になっているからです。
ステップ1：自分が本当に望むことを決める
何かに手をつける前に、サイトのページを2つに分けましょう。
- 広く知ってもらいたいページ：サービス、料金、所在地、プレス向けのページなどです。モデルがこれらを学習すれば、あなたを見つけてもらいやすくなるかもしれません。
- それ自体が商品であるページ：有料ガイド、講座のレッスン、独自の調査、販売しているレシピやテンプレートなどです。
知識を売っているなら、サイト全体をオプトアウトして、いくつかのページだけ例外にしましょう。サイトが主にパンフレット代わりなら、影響はあまり大きくありません。何もしないのも妥当ですし、有料コンテンツのフォルダだけをブロックしてもかまいません。ここに不正解はなく、あとから考えを変えることもできます。
ステップ2：robots.txtファイルを見つける
ブラウザに自分のドメインを入力し、yourbusiness.com/robots.txtのように末尾に/robots.txtを付けます。短いテキストファイルが表示されるはずです。まだファイルがない場合は、エラーページが表示されます。表示された内容をメモにコピーして、バックアップを取っておきましょう。
ステップ3：プラットフォームの編集画面を開く
ファイルを編集する場所は、サイトの作り方によって異なります。
- WordPress：WordPressはこのファイルを自動生成するため、サーバー上に開くべきファイルがないことがよくあります。YoastやRank MathなどのSEOプラグインにはファイルエディターが付いています。自分で作ったファイルをホスティング経由でアップロードすることもできます。
- Shopify：robots.txt.liquidというテーマテンプレートを編集します。
- Wix：SEO設定の中にあるrobots.txtエディターを探してください。
- Squarespaceなどのクローズドなサイトビルダー：直接編集できない場合があります。探し回って時間を使う前に、最新のヘルプページを確認しましょう。
サイトの前段にCloudflareを置いている場合は、マネージドrobots.txt機能がオンになっていないか確認してください。この機能によって、訪問者に見える内容が追加または変更されることがあります。
ステップ4：行を追加する
ファイルの末尾に空行を1行入れ、次の内容を独立したグループとして貼り付けます。
User-Agent: __usage_ai-training
Disallow: /特定のページを開放しておきたい場合は、例外を追加します。次の例では、プレス用フォルダ以外のすべてをオプトアウトしています。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press/避けたい間違いが2つあります。1つ目は、User-Agent: *と書かれた行の下にDisallow: /を追加しないことです。このグループはGoogleを含むすべてのクローラーを対象にしているため、検索結果からサイトが消えてしまうおそれがあります。2つ目は、その既存のグループが学習もカバーしていると思い込まないことです。ドラフトによれば、ワイルドカードのグループは対象になりません。つまり、このラベルを明記していないファイルは、何の意思も示していないことになります。
ステップ5：テストする
保存したら、ブラウザのプライベートウィンドウでyourbusiness.com/robots.txtを開き、新しい行が表示されることを確認します。Google Search Consoleを使っている場合は、robots.txtレポートでGoogleが最後に取得したバージョンを確認できます。そのあと、主要なページが問題なく表示されること、ファイルのほかの部分が変わっていないことをざっと確かめましょう。
ステップ6：すでに機能しているルールですき間を埋める
新しいラベルはまだ順次導入の途中なので、企業ごとの従来のルールも今日から追加できます。OpenAIのクローラーに関するドキュメントでは、学習データを集めるGPTBotと、検索を支えるOAI-SearchBotを分けて説明しています。Anthropicの学習用クローラーはClaudeBotで、GoogleはGoogle-Extendedというラベルを使っています。AI検索からは離れずに学習だけをオプトアウトするなら、この3つだけをブロックします。
User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /OpenAIは、既存のクローラー向けルールを新しいシグナルと併用して維持すると述べているので、この設定が無駄になることはありません。
この仕組みにできないこと
限界については正直に見ておきましょう。これは意思表示であり、企業が自ら尊重することを前提にしています。すでに学習済みのモデルに含まれているコンテンツには効果がありません。何の合意もしていない小規模なスクレイパーは無視できます。個別のライセンス契約が優先される場合もあります。ドラフト自体も個人提出の段階で、IETFでの正式な位置付けはまだなく、内容が変わる可能性もあるので、春にまた確認してください。
著作権対策にもなりません。自分の作品に対する権利はこのファイルに左右されませんし、AIの生成物について何を主張できるかとは別の問題です。後者については著作権の誤解をまとめた記事で取り上げました。コンテンツが収入の柱なら、どんなrobots.txtの1行よりも、弁護士への短い相談のほうが価値があります。
20分チェックリスト
- ページを「広く知ってもらいたいもの」と「自分の商品」に分ける。
- 現在のrobots.txtをバックアップする。
- __usage_ai-trainingのグループを、必要な例外とともに追加する。
- 今すぐ効果を得るために、GPTBot、ClaudeBot、Google-Extendedを追加する。
- プライベートウィンドウでテストし、2027年3月に見直すようカレンダーにリマインダーを設定する。
ついでに、機械がサイトのほかの部分をどう読んでいるかも考えてみましょう。次に読むなら、顧客のAIエージェントがあなたのポリシーを読むことへの備えがおすすめです。
