「サイバーボサツ」が威を振るう、AI大手の「無料ランチ」時代の終焉
TechFlow厳選深潮セレクト
「サイバーボサツ」が威を振るう、AI大手の「無料ランチ」時代の終焉
「ファイアウォール」から「防虫網」へ、Cloudflareはネット上のコンテンツ課金の歴史を改めるかもしれない。
Web3業界の深掘り報道に専念し潮流を洞察
トランプとマスクという「ホワイトハウスのツートップ」による最近の「口撃戦」は、第2.0時代へと突入した。この二人に似た関係にあるのが、海外の出版社グループとAI大手企業の間にある愛憎の関係だ。一方では大手出版社がAI企業との協力を進めている一方で、他方ではAI企業を破産させるまで訴訟を続ける出版社も存在する。
データによると、AI検索やChatGPTの登場以降、世界中のウェブサイトのトラフィックは減少傾向にある。一方で、AI大手企業の「AIクローラー」はクロールポリシー（robots.txtなど）を無視し、数万回にも及ぶアクセスによってあらゆるウェブサイトのデータを侵食し続けている。
こうした状況の中、ついにインフラ企業が立ち上がり、コンテンツクリエイターの手を取り、「我々はAI企業にノーと言える」と宣言した。
Cloudflare――インターネットインフラの大手であり、全世界の約20％のネットワークトラフィックを制御するこの企業は、一般ユーザーから「サイバー仏菩薩（サイバーボサツ）」とも称されている。2025年7月、同社は実験的な新製品および取引市場「Pay Per Crawl（1回クロールごとに支払い）」をリリースし、AIクローラーに新たなルールを設けた。
つまり――
許可を得るか、さもなくば料金を払え。
簡単に言えば、この機能の本質は、ウェブサイトのコンテンツ作成者に選択肢を与える「スイッチ」である。AIクローラーの自由なアクセスを許可するか、1回のクロールごとに課金するか、あるいは完全にアクセスを遮断するかを選べる。
Cloudflare創業者の説明によれば、「コンテンツはAIエンジンを駆動するための燃料である。だからこそ、コンテンツクリエイターが直接報酬を得ることが公正なのだ」。
AI企業にとっては、今後も全網羅的なコンテンツを使ってモデルを訓練したいなら、これまでのように「無料で豪華な食事を食べる」ことはできなくなる。しかし、メリットもないわけではない。明確な価格設定に基づいて支払いを行えば、著作権に関する法的リスクを回避できるのだ。
Cloudflareの今回の「害虫対策」は、AIクローラーの横暴な攻撃を緩和できるだろうか？ さらに重要なのは、この企業が独自の立場を活かして、AI時代にふさわしい新たなコンテンツ配信・収益化モデルを構築できるかどうかである。
01
AI大手企業の「無料昼食」
過去数十年にわたり、ほとんどのウェブページはデフォルトで「クロール可能」だった。GoogleやBingといった検索エンジンはサイトにトラフィックをもたらし、そのトラフィックを通じて広告や有料購読などで収益化する――これが検索時代における暗黙の契約であった。
しかしAI時代に入り、従来の検索トラフィックは急激に減少し、この取引はますます割に合わなくなっている。
AI企業は全インターネットのコンテンツを学習用の「燃料」として利用しているが、ほとんどすべてのクリエイターに報酬を支払っていない。ユーザーがAIチャットボットに直接質問すれば、回答は要約された情報として提示され、数十個の青いリンクではなく、元のサイトに新たなトラフィックをもたらすことはない。
Googleのような検索大手自体も変化しており、かつてはウェブサイトのリンク一覧を提供していたが、現在では検索結果ページに「AI概要（AI Overview）」を導入している。同社の報告によれば、75％の検索ユーザーがリンクをクリックすることなく回答を得ているという。
Cloudflareが2025年7月に発表した最新データによると、Googleのクローラーはおよそ6～7回のクロールにつき1回のクリックをサイトにもたらしているのに対し、OpenAIは1500回のクロールでようやく1回のリダイレクトがあり、Anthropicに至っては驚異の73,300回に1回という比率である。
各社AIクローラーが1回のクロールあたりにサイトにもたらすクリック率｜画像出典： Cloudflare
これはつまり、「コンテンツでトラフィックを交換する」という従来のモデルが機能しなくなったことを意味している。伝統的な検索エンジンと比べ、AI大手企業は膨大な量のウェブコンテンツを消費しながらも「流入」を還元しない。この不均衡により、コンテンツ生産者は次第に持続困難な状況に追い込まれつつある。
「OpenAIのおかげで、サイトへのトラフィック獲得の難易度はGoogle時代より750倍高くなり、Anthropicの場合はなんと3万倍にも達している。理由は簡単だ。我々はますますオリジナルコンテンツを消費せず、その派生物だけを消費するようになっているのだ」。Cloudflare CEOのMatthew Princeはブログでこう述べ、「これは公平な取引ではない」と指摘した。
AI企業がデータをクロールする行為にはもちろんコストがある。ここ数年、AI大手企業は大規模言語モデルの学習のために「コンテンツを盗んでいる」として、世界的な著作権訴訟の標的にされてきた。特にニューヨーク・タイムズなどのメディアとOpenAIの間では訴訟が絶えない。
活発に活動する大手AIクローラーロボット｜画像出典： Cloudflare
そこでCloudflareは、「Pay Per Crawl」という「1回のクロールごとに支払いを行う」市場を創設することで、まさにこの問題を解決しようとしている。
同社は、ウェブサイト運営者がバックエンドからAIクローラーに対して「許可」「遮断」「課金」のいずれかを選択できる権限と支払いシステムを設計した。AIクローラーが特定のサイトのコンテンツを取得したい場合、登録・身元確認を行い、それぞれのアクセス時に支払いを完了しなければならない。
もし順調に進めば、このモデルはネット上のコンテンツ収益化の形を「広告収益」から「コンテンツ使用許諾による収益化」へと転換させ、まったく新しい収入源を開拓する可能性を持つ。大手メディアであろうと、ニッチな個人ブログであろうと、AI時代において交渉力を持ち、AI企業からコンテンツ使用料を受け取ることができるのだ。
その意義を強調するため、CloudflareのCEOは「Pay Per Crawl」のリリース日を次のように呼んだ。
「コンテンツの独立記念日」
02
AI「通行料」はどうやって徴収するのか？
もちろん、構想は美しいが、技術的にはどう実現するのか？
CloudflareはCDN、DDoS防御、DNS、ゼロトラストセキュリティなどのサービスで事業をスタートさせた。同社は世界300以上の都市にノードを展開し、約20％のWebトラフィックを処理しており、仲介者としての立場を確保している。
「Pay Per Crawl」は、同社のグローバルCDNネットワークの中間層に構築されている。つまり、アクセス要求がサーバー本体に到達する前に、AIクローラーを識別・処理できるのだ。管理者はCloudflareの管理画面で「許可」「課金」「遮断」の3つのモードを設定できる。
管理者はバックエンドで許可・課金・遮断を設定可能｜画像出典： Cloudflare
新しくCloudflareに参加するすべてのサイトは、管理者が明示的に許可しない限り、AIクローラーのアクセスをデフォルトで遮断される。Cloudflareと提携関係にあるAI企業のみが支払いメカニズムに参加でき、そうでない企業は遮断される。
AIクローラーが課金対象のURLにアクセス要求を送った場合、まだ支払いが行われていないときは、CloudflareはHTTP 402 Payment Required（支払いが必要）ステータスコードを返す。これはかつてほとんど使われず、ネット上での支払いのために予約されていたステータスコードである。AIクローラーはリクエスト内に支払い情報を含めることで、設定価格への同意を示せる。価格が一致すれば、200 OKが返され、自動決済が行われる。
Cloudflare自身がこの取引の「レジ」の役割を果たし、請求書の集計と収益分配を担当する。
CloudflareはHTTP 402 Payment Requiredステータスコードを返す｜画像出典： Cloudflare
クローラーはリクエスト内に支払い情報を含められる｜画像出典： Cloudflare
HTTP 200 OKレスポンスで課金を確認｜画像出典： Cloudflare
さらに重要なのは、単純なUser-Agentの偽装ではこれを回避できない点である。CloudflareはAI企業に登録キーを求め、デジタル署名によって身元を保証する。これは「模倣クローラー」が正規のものに偽装して支払いを逃れるのを防ぐためである。
従来、robots.txtはサイトのルートディレクトリに置かれるプレーンテキストファイルであり、検索エンジンのクローラーにどのページをクロール可能にするかを伝えるものだが、これはあくまでサイト側の「礼儀正しいお願い」にすぎず、多くのAIクローラーは無視してきた。Cloudflareの仕組みはこれを変え、robots.txtによる「ソフトな拘束」を「ハードなゲート」へと昇格させたのである。
ただし、Cloudflareによると、現在トップ10,000のドメインのうち、robots.txtファイルを持っているのは約37％に過ぎないという。
AIクローラーに対するゲート設置｜画像出典： Cloudflare
Cloudflareのクロール課金市場に参加するには、クローラー側・被クロール側ともにCloudflareアカウントを開設する必要がある。現時点では「Pay Per Crawl」はまだ内測段階にあり、BuzzFeed、『The Atlantic』、『Fortune』などの一部の大手出版社のみが参加している。同社は今後も、コンテンツクリエイターやクローラー事業者からの参加希望を募っていく。
「我々は、1回ごとの課金モデルが顕著に成長すると予想している」とCloudflareは公式に述べている。
現時点では初期段階ではあるが、同社は将来について多くの構想を持っている。例えば、出版社や他の機関がコンテンツの種類ごとに異なる料金を設定したり、AIアプリのユーザー数に応じて動的に価格を調整したり、学習・推論・検索といった用途に応じてより細かい課金戦略を導入したりする可能性がある。
また同社は、「1回ごとの課金クロールの真の潜在能力は、エージェント型知能代理の世界で発揮されるかもしれない」とも見ている。
「もし知能エージェントのペイウォールが完全にプログラム可能な形で動作するようになったらどうなるだろうか？ たとえば、あなたの深い研究助手に、最新のがん研究や法廷書簡の整理、最適なレストランの検索をお願いし、その知能エージェントに予算を渡して、最も有用で関連性の高いコンテンツを取得してもらうことができるかもしれない」
「HTTP 402レスポンスコードを基盤とする最初のソリューションは、知能エージェントがデジタルリソースへのアクセスをプログラム的に交渉できる未来を開くだろう」とCloudflareは述べている。
03
Internetの分岐点
経済的観点から見れば、これはAIと広範なコンテンツクリエイターが「再び収益分配を交渉する」始まりとなる可能性がある。
現在、ニューヨーク・タイムズがOpenAIを提訴した後にようやく和解に至ったように、大手メディアだけがAI企業と使用許諾の交渉ができる状況にある。大多数の中規模・小規模サイト、フォーラム、個人クリエイターは「静かにコンテンツを奪われる」だけであり、抵抗する能力も、あるいは意識さえ持ち合わせていない。Cloudflareの仕組みは、こうした交渉力をより広範なウェブサイトに普及させるものなのである。
Cloudflareチームによれば、ニュース機関、出版社、大手SNSプラットフォームなど数百件の団体と対話を重ねた結果、「AIクローラーにコンテンツへのアクセスは許したいが、その見返りとして報酬を得たい」という声が一致して上がっていたという。
支持者にとって、「Pay Per Crawl」モデルは理念的に非常に「公正」である。クリエイターが収入を得られ、AI企業も法的リスクを回避でき、長期的には産業全体がより適切なコンテンツ使用許諾体制に向かうことが期待される。
画像出典： Cloudflare
もちろん、AI企業が喜ぶとは限らない。インターネットのデータがもはや無料ではなくなり、新たなコンテンツを取得するにはお金を払わなければならない。これは計算資源以外の新たなコスト要素となる。
しかし一方で、これにより過剰なクロールが抑制され、AIモデル開発者がデータ選定においてより慎重になる可能性もある。つまり、高価値なコンテンツを戦略的に購入するようになり、すべてのサイトコンテンツを無差別にモデルに投入するような行為は減るだろう。
Matthew Princeはこう述べている。「AIエンジンはスイスチーズのようなものだ。このチーズの穴を実際に埋められるのは、今日のネットの大部分を占める繰り返しで低価値なコンテンツではなく、まったく新しいオリジナリティのあるコンテンツである」。
彼の見解では、トラフィックは常にコンテンツの価値を正確に測るものではなかった。「もし我々がコンテンツの評価を、それがどれだけのトラフィックを生んだかではなく、知識の進展にどれだけ貢献したか（AIエンジンのスイスチーズの穴をどれだけ埋めたか）で行えるようになれば、AIエンジンの進化を加速させると同時に、高価値なコンテンツ創作の新たな黄金時代を促進できるかもしれない」。
とはいえ、デジタル権利擁護団体からは懸念の声も上がるだろう。小型AIスタートアップ、研究者、オープンソースコミュニティはこのようなデータコストを負担できるのか？ 学術研究や公益的アーカイブといった「善意のクローラー」は立ち行かなくなり、限定的で低価値なデータソースにしかアクセスできなくなるのではないか？
広告収益が低下し、トラフィックの取得コストが高騰する現実の中で、いったいどれほどのサイトがAIクローラーに無償でコンテンツを提供し続けられるだろうか？ これは「閉鎖化」の始まりとなり、インターネットの自由と共有の精神を損なう可能性はないのか？
もし全世界のサイトがデフォルトで遮断・課金を採用すれば、それは無意識のうちに「大手企業の独占」を助長するのではないか？ 結局のところ、大手企業の方がお金を持っているのだから。
「Pay Per Crawl」モデルは、AIがコンテンツを吸い上げておきながら何の恩返しもしないという問題を解決しようとする一方で、意図せぬ副作用としてAI革新のハードルをさらに高くしてしまう可能性もある。これは、著作権保護と知識の開放という古くて深い命題に再び直面しているということだ。
もちろん、Cloudflareはあくまでウェブサイトにさらなる自律性を与えているだけである。サイト所有者は、公共利益や非営利プロジェクトに対して引き続き無料で開放する選択もできる。権利は依然としてクリエイターの手の中にある。いずれにせよ、彼らは「補償」を受けるに値する。
Cloudflare CEOの言葉によれば、この変革の目標は「より良いインターネットの構築」である。「我々はすべての答えをまだ知らない。だが、いくつかの優れた経済学者やコンピュータ科学者と協力して、答えを探している最中だ」。
現時点で、他のCDNおよびセキュリティプロバイダー（Akamai、Fastly、Amazon CloudFrontなど）は、同様の機能を発表していない。
AIクローラーロボットを门外に排除｜画像出典： Cloudflare
たとえCloudflareの「Pay Per Crawl」がCDN製品の新機能にすぎないように見えても、ある意味では――
それはインターネットが分岐点に差し掛かっていることの合図となるかもしれない。
検索時代には、コンテンツの価値はユーザー訪問を通じて広告収益に変換された。しかしAI時代には、ユーザーはもはやサイトをクリックすることすらしないだろう――すべての答えはチャットボット内で要約・生成される。AI大規模モデルがネット上のコンテンツを引き続き無料で掘り起こしていくべきなのか？ それともデータ取得において「相互利益」の原則に戻り、クリエイターにふさわしい補償を与えるべきなのか？ そしてその補償額は一体いくらになるのか？
この初期段階の実験は、新たなAI時代のデータ経済形態の道筋を敷く可能性がある。成功するか失敗するかにかかわらず、その立場は明らかだ。AIは、人の労働を無料の燃料として、「オープン」という名の下に、クリエイターの忍耐を無限に使い潰してはならない。
「ネットは変化している。そのビジネスモデルもまた変化するだろう。この過程で、我々は過去30年間の良い部分を学び、それを未来により良いものに変えるチャンスを持っている」。
さて、本当に物事が良くなるかどうかについては、Cloudflare自身が認める通り――
「 これはまだ始まりにすぎない 」。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
极客公园
