Cloudflare、AI学習と検索のクロールを分離できるように

Cloudflareは、これまで同じクローラーで届いていた2つのものを切り分けた。2026年9月15日以降、サイトは自分の内容をAIの学習に使われることを拒みながら、検索には完全に載り続けられる。Cloudflareはこの設定を「Disallow AI Training」と呼び、セキュリティ設定の中に置いている。

これまでは1つの選択でしかなかった。検索の索引づけ用とモデルの学習用にページを集めるクローラーは1人の訪問者なので、学習を拒むと検索からも消えた。Cloudflareの発表資料は、その問題の規模を同社ネットワークの確認済みクロール通信の36.6%としている。需要は広い。PYMNTSの報道によれば、組織のほぼ90%がボット通信への対応を課題だと答えている。

意思はどう伝わるのか

仕組みはあえて地味で、だからこそ使える。Cloudflareは、いまBot Preference Syncと呼ぶ機能を通じて、あなたの意思をrobots.txtに掲載する。これは以前のManaged Robots.txtに代わるものだ。設定そのものは、古い「Block AI Bots」のスイッチに代わる。

Cloudflareの発表資料は、robots.txtを主要なオプトアウト手段と位置づけ、同等の標準も受け入れるとしている。その中にはIETFで進むai-prefsによるHTTPヘッダーの意思表示も含まれる。

制御は通信を3つに分け、それぞれ個別に切り替えられる。Search、AI Training、AI Agentsである。3つ目こそ考えどころだ。利用者の依頼でページを取得するエージェントは、索引づけでも学習でもない。

執行には2つの側面がある。Cloudflareが説明責任を果たすと見なすクローラーは、この意思を尊重することが期待される。目的を分けていない両用クローラーは、制限を有効にすると完全に遮断され、Cloudflareは遵守状況をRadarで報告するとしている。

誰が参加し、既定はどうなるのか

機能そのものより対応企業の一覧が重要だ。意思表示は、クローラーが読まなければ意味がない。

項目	内容
説明責任を果たす両用クローラー	Apple、Google、Microsoftが基準を満たすか、満たすと約束した
すでに検索と学習を分けている	Amazon、Anthropic、Meta、OpenAI
時期	AppleとGoogleのURLツールは2025年初め、Microsoftのrobots.txt対応は2027年初めが目標とされる
広告のある新規ドメイン	広告が載るページではAI TrainingとAgentを既定で遮断し、Searchは許可
広告のない新規ドメイン	Search、Training、Agentsをすべて既定で許可
既存のドメイン	現在の実質的な効果を保つ形で設定が移行される
提供範囲	すべての契約者、すべての料金帯

既定の分け方は二度読む価値がある。Cloudflareは広告収入のあるページに限って線を引いており、これは誰の経済が危ういと考えているかの表明である。

開発者にとっての意味

Cloudflareでサイトを運用しているなら、自分がどの状態にあるかを思い込みで決めず確認したい。既存のドメインは実質的な挙動を維持し、新規のドメインは広告の有無で既定が変わり、古い「Block AI Bots」のスイッチは置き換えられた。この3点から、いまの設定はおそらく自分がいま選ぶものとは違う。

エージェントの可否は、学習の可否とは別に決めること。AI Agentsを遮断すると、利用者が頼んだ結果としてアシスタントがページを取得することも止まる。これはスクレイパーを止めるより、ブラウザーを止めるのに近い。製品がアシスタント経由の来訪を前提にしているなら、この切り替えは開けておきたい道を閉じる。

robots.txtを執行の仕組みと考えないこと。これは説明責任を果たすクローラーが尊重する要請である。Cloudflare自身の整理も、意思を尊重するクローラーと、力で遮断する相手に世界を分けている。歯があるのは遮断のほうであり、それはCloudflareが識別できる通信にしか効かない。

頼りにする前に時期も見ておきたい。Microsoftのrobots.txt対応は2027年初めが目標であり、約束と配管が同時に着地しないという意味だ。これはCloudflareのMCPの通信を検知するGateway機能と同じ主張である。ネットワーク層が、AIがあなたの内容に何をしてよいかを決めている。