AI学習をrobots.txtで拒否｜2027年の共通指定と今の書き方

2026年10月30日、Google は robots.txt に1行書くだけで、複数の AI 事業者にまとめて「学習に使わないで」と伝えられる共通の指定に対応する計画を発表しました（Google Search Central Blog）。同じ日に OpenAI も「Making it easier for websites to express AI training preferences」と題した発表を出しています。ただし Google の対応は2027年初めの予定で、今すぐ効くのは各社別の指定です。この記事では、共通指定の中身と、今日の時点で robots.txt に何を書けばよいかを、各社の公式ドキュメントだけを根拠に整理します。

結論：今は各社別に書き、2027年に共通指定を足す

AI の学習だけを止めたいなら、今は GPTBot（OpenAI）・Google-Extended（Google）・ClaudeBot（Anthropic）をそれぞれ Disallow にするのが確実です。共通の指定（User-agent: __usage_ai-training）は Google が2027年初めに対応する予定と公式ドキュメントに書いており（Google のクローラー一覧）、それまでは読まれない前提で考えるのが安全です。

もう1つ大事なのは、「学習用」と「検索用」のクローラーは別物だという点です。学習用だけを止めれば、ChatGPT や Claude の検索に表示される道は残せます。逆に何も考えずに AI 系のクローラーを全部止めると、AI 検索からの流入まで失います。

10月30日に発表された「共通の学習拒否指定」とは

これまで、AI の学習を断りたいサイトは、事業者ごとのクローラー名を調べて1つずつ robots.txt に書く必要がありました。新しい仕組みでは、robots.txt の中に共通の「ポリシートークン」を書くと、対応する AI 事業者すべてに学習の可否を一度に伝えられます。土台は IETF（インターネットの標準化団体）の AIPREF ワーキンググループの検討で、Google の発表はドラフト「draft-kelley-aipref-training-preference-signal」にリンクしています。

注意したいのは、これは「学習（training）」についての指定だけだという点です。Google のブログも「AI 学習の定義を先に使えるようにし、AIPREF の他の語彙は議論を続ける」と書いており、AI 検索での引用や要約まで一括で止める仕組みではありません。

今すぐ効く：主要 AI 事業者のクローラーと役割

robots.txt で止められるのは、各社が公開しているクローラー名（User-agent）ごとです。同じ会社でも「学習用」「検索用」「ユーザーの依頼で取りに行くもの」が分かれているので、止める前に役割を確認してください。

出典：Overview of OpenAI Crawlers／Google の一般的なクローラー／Anthropic のクローラーについて

目的別の robots.txt の書き方

パターン1：学習だけ断り、AI 検索には出たい（中小企業のサイトに多い）

会社のサイトやサービスページは、AI 検索で紹介されること自体が集客になります。この場合は学習用の3つだけを止め、検索用は止めません。

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

Google-Extended については1点だけ判断が要ります。Google は「Google-Extended を明示的に許可しているサイトは、Gemini アプリでグラウンディングを通じて回答に表示され、クリックを受け取れる」と書いています。Gemini アプリからの送客も欲しいなら、Google-Extended は止めないという選択肢もあります。

パターン2：AI にはできるだけ使わせたくない（有料記事・独自データ）

パターン1に加えて、検索用（OAI-SearchBot・Claude-SearchBot）とユーザー操作用（Claude-User）も止めます。ただし ChatGPT や Claude の検索経由の流入はなくなります。OpenAI は ChatGPT-User について「robots.txt が適用されない場合がある」としているので、robots.txt だけで完全に止めることはできないと理解しておいてください。

パターン3：2027年に共通指定を足す

共通指定は、Google の注記どおりに書くと次の形になります。ドラフト段階なので、対応が始まる時点で書き方が変わっていないか必ず確認してください。各社別の指定は消さずに併記しておけば、対応前後のどちらでも意図が伝わります。

User-agent: __usage_ai-training
Disallow: /

Google のブログには「共通指定で学習を拒否しつつ、特定の事業者だけ個別に許可する」ような組み合わせも想定されていると読める記述があります（「全事業者でオプトアウトすることも、選んで決めることもできる」）。細かな優先順位はドラフトの確定を待つのが安全です。

設定前に知っておきたい5つの注意点

1. 過去の分は戻らない：robots.txt はこれからのクロールへの意思表示です。収集済みのデータを消す仕組みではありません。
2. サブドメインごとに必要：Anthropic は「オプトアウトしたいサブドメインごとに」robots.txt を置くよう案内しています。shop.example.jp のような別サブドメインを忘れがちです。
3. IP アドレスでの遮断は勧められていない：Anthropic は IP ブロックだと正しく機能しない場合があると書いています。まず robots.txt で意思表示するのが正攻法です。
4. 反映には時間がかかる：OpenAI は検索結果への反映に約24時間かかると案内しています。
5. Google 検索や順位は変わらない：Google-Extended は Google 検索への掲載に影響せず、ランキングのシグナルにも使われません。「AI 学習を止めると SEO が落ちる」という心配は不要です。

実務での判断：中小企業のサイトは「学習だけ止める」で十分なことが多い

実務でサイトの相談を受けていると、「AI に勝手に使われるのは嫌だから全部止めたい」という声と、「AI 検索で紹介されたい」という声の両方を聞きます。会社案内・サービス紹介・採用ページのように、見つけてもらうこと自体が目的のサイトなら、学習用だけを止めて検索用は残すのが損の少ない選び方です。AI 検索からの流入がどれくらいあるかは、AI検索からの流入を GA4 で計測する方法で先に確認しておくと判断しやすくなります。

反対に、有料の記事や独自に集めたデータが商品そのものになっているサイトは、検索用まで止める意味があります。AI 検索に引用されたい側の打ち手はAI 検索に引用される記事の作り方（LLMO の手順）、AI Overviews で検索流入が減ったときの対策はAI Overviews でアクセスが減ったときの7つの対策にまとめています。

なお、ChatGPT や Gemini に自分が入力した会話を学習に使わせない設定は、サイトの robots.txt とは別の話です。そちらはChatGPT・Gemini・Claude の学習オプトアウト設定で手順を解説しています。

私たちはホームページの制作と、公開後の SEO・AI 検索まわりの設定もお手伝いしています。記事の途中で恐縮ですが、「自社サイトの robots.txt をどう書くべきか一緒に決めたい」という方は、よろしければ合わせてご覧ください。

まとめ

• 2026年10月30日、Google は robots.txt で複数の AI 事業者にまとめて学習拒否を伝える共通指定（__usage_ai-training）への対応計画を発表。対応は2027年初めの予定。
• 今すぐ効くのは各社別の指定。学習用は GPTBot・Google-Extended・ClaudeBot。
• 検索用（OAI-SearchBot・Claude-SearchBot）を止めると AI 検索に表示されなくなる。学習用と分けて考える。
• Google-Extended を止めても Google 検索の掲載・順位には影響しない。ただし Gemini アプリのグラウンディングには使われなくなる。
• robots.txt は今後のクロールへの意思表示。過去の分は戻らず、サブドメインごとに設定が必要。

自社サイトの設定で迷ったら、お気軽にご相談ください。