'사이버 보살'이 분노하다, AI 거대 기업의 '무료 제공 시대'가 막을 내리다
머스크와 트럼프, 이 백악관의 듀오는 최근 '입담 대결' 2.0 시대로 접어들었다. 이들의 기묘한 관계와 유사하게, 해외 출판 그룹과 AI 거대 기업 사이에도 사랑과 원한이 공존하고 있다. 일부 대형 출판사는 AI 기업과 협력하려 하지만, 다른 출판사들은 AI 기업을 법정에서 파산시킬 각오로 맞서고 있다.
데이터에 따르면 AI 검색과 ChatGPT 등장 이후 전 세계 웹사이트 트래픽은 전반적으로 감소세다. 반면 AI 기업들의 'AI 크롤러'는 로봇 배제 프로토콜(robots.txt)을 무시한 채 수만 번씩 지속적인 데이터 수집으로 모든 웹사이트를 침식해 나가고 있다.
이때 마침내 한 인프라 기업이 나섰다. 콘텐츠 제작자들의 손을 잡고 선언했다. "우리는 AI 거대 기업에게 '아니오'라고 말할 수 있습니다!"
클라우드플레어(Cloudflare). 전 세계 약 20%의 인터넷 트래픽을 장악한 인터넷 인프라 거물이자 네티즌들 사이에서 '사이버 보살'이라 불리는 이 회사는 2025년 7월 실험적 제품 및 거래시장인 '페이 퍼 크롤(Pay Per Crawl)'을 출시하며 AI 크롤러들에게 새로운 규칙을 제시했다.
허가를 받거나, 혹은 요금을 지불하거나.
간단히 말해 이 기능은 웹사이트 콘텐츠 제작자에게 선택권을 주는 '스위치'다. AI 크롤러의 자유로운 접근을 허용하거나, 방문 횟수에 따라 요금을 부과하거나, 아예 접근을 차단할 수 있다.
클라우드플레어 공동창업자의 말처럼, "콘텐츠는 AI 엔진을 구동하는 연료다. 따라서 콘텐츠 제작자가 직접 보상을 받는 것이야말로 공정하다."
AI 기업 입장에서는 더 이상 과거처럼 전 인터넷 콘텐츠를 무료로 긁어 모아 모델을 학습시킬 수 없게 되었다. 그러나 명확한 요금 체계 하에 비용을 지불함으로써 저작권 분쟁 문제를 피할 수 있다는 점에서 일정한 이득도 있다.
클라우드플레어의 이번 '해충 방지' 조치가 AI 크롤러의 난폭한 공격을 완화시킬 수 있을까? 더 중요한 것은, 이 회사가 독특한 입지를 활용해 AI 시대의 새로운 콘텐츠 유통 및 수익화 모델을 구축할 수 있을지 여부다.
01
AI 거대 기업의 '무료 만찬'
지난 수십 년 동안 대부분의 웹페이지는 기본적으로 '크롤링 가능' 상태였다. 구글, 빙(Bing) 같은 검색엔진이 웹사이트로 트래픽을 유입시키고, 이를 광고나 구독 판매로 수익화하는 것—이것이 검색 시대의 묵시적 계약이었다.
그러나 AI 시대에 들어 전통적인 검색 트래픽이 급감하면서, 이 계산법은 점점 불리해지고 있다.
AI 기업들은 전 인터넷 콘텐츠를 학습용 연료로 삼지만, 대부분의 콘텐츠 제작자에게는 거의 보상을 제공하지 않는다. 사용자가 AI 챗봇에 질문하면 답변은 요약된 콘텐츠에서 나오며 수많은 파란색 링크를 클릭하지 않기 때문에, 원본 웹사이트에는 트래픽이 유입되지 않는다.
구글조차 변화하고 있다. 과거에는 웹사이트 링크 목록을 제공했지만, 지금은 검색 페이지에 'AI 개요(AI Overview)'를 도입했다. 구글 보고서에 따르면, 75%의 검색 사용자는 어떤 링크도 클릭하지 않고도 답변을 얻는다.
클라우드플레어가 2025년 7월 발표한 최신 데이터에 따르면, 구글 크롤러는 약 6~7회 수집당 1회 클릭을 웹사이트로 돌려보내는 반면, OpenAI는 1500회 중 1회, Anthropic은 더욱 극단적으로 7만 3300회 중 단 1회의 트래픽 전환만 발생한다.
각 기업 AI 크롤러의 수집 건당 웹사이트 클릭 유입 비율｜이미지 출처: Cloudflare
이는 기존의 '콘텐츠 ↔ 트래픽' 교환 모델이 무너졌음을 의미한다. 전통 검색엔진에 비해 AI 거대 기업들은 방대한 웹사이트 콘텐츠를 소비하면서도 '유입'을 제공하지 않는 불균형이 심화되면서, 일부 콘텐츠 생산자들은 점점 더 생존이 어려워지고 있다.
"OpenAI 덕분에 웹사이트 트래픽 확보는 구글 시대보다 750배 어려워졌으며, Anthropic 덕분에 그 난이도는 무려 3만 배까지 치솟았다. 이유는 간단하다. 우리는 점점 더 원본 콘텐츠가 아닌, 그 파생물을 소비하기 때문이다." 클라우드플레어 CEO 매튜 프린스(Matthew Prince)는 블로그 포스트에서 이렇게 언급하며 "이건 공정한 거래가 아니다"라고 지적했다.
AI 기업들이 데이터를 수집하는 것도 전혀 비용이 들지 않는 것은 아니다. 지난 몇 년간 AI 거대 기업들은 대규모 모델 학습을 위해 콘텐츠를 '훔친다'는 혐의로 전 세계적으로 저작권 소송 물결에 직면해 왔으며, 특히 뉴욕타임스 등 언론기관과 OpenAI 사이의 법정 다툼이 계속되고 있다.
활발한 주요 기업 AI 크롤러 봇｜이미지 출처: Cloudflare
이에 따라 클라우드플레어는 'Pay Per Crawl'을 출시하여 '방문당 요금 부과' 시장을 만들고자 하는 것이다.
이 회사는 권한 및 결제 시스템을 설계해 웹사이트 운영자가 백그라운드에서 AI 크롤러에 대해 '허용', '차단', 또는 '유료화' 옵션을 선택할 수 있도록 했다. AI 크롤러가 특정 웹사이트 콘텐츠를 수집하고자 할 경우 반드시 등록 및 신원 확인을 거친 후, 각 방문마다 요금을 지불해야 한다.
성공한다면 이 모델은 인터넷 콘텐츠의 수익화 방식을 '광고 수익'에서 '콘텐츠 라이선스 수익'으로 전환시켜, 대형 미디어뿐 아니라 작은 블로그까지 AI 시대에 가격 결정권을 가지게 하고, AI 기업이 콘텐츠를 유료로 사용하는 새 수익원을 열어줄 수 있다.
그 중요성을 강조하기 위해 클라우드플레어 CEO는 'Pay Per Crawl' 출시일을 다음과 같이 명명했다.
'콘텐츠의 독립 선언일'.
02
AI '통행료'는 어떻게 걷는가?
물론 아이디어는 아름답지만, 기술적으로 어떻게 실현될 수 있을까?
클라우드플레어는 CDN, DDoS 방어, DNS, 제로 트러스트 보안 서비스를 통해 성장했으며, 전 세계 300여 도시에 노드를 배치해 약 20%의 웹 트래픽을 처리하고 있어 '중개자' 역할을 수행하기에 유리한 위치에 있다.
'Pay Per Crawl'은 글로벌 CDN 네트워크의 중간 계층에 구축된다. 요청이 원본 서버에 도달하기 전에 AI 크롤러를 식별하고 처리할 수 있는 것이다. 웹사이트 관리자는 클라우드플레어 백오피스에서 세 가지 모드—허용, 유료, 차단—을 설정할 수 있다.
관리자는 백오피스에서 허용·유료·차단 설정 가능｜이미지 출처: Cloudflare
새롭게 클라우드플레어에 가입하는 모든 웹사이트는 기본적으로 AI 크롤러를 차단한다. 관리자가 수동으로 허용하지 않는 한 말이다. 클라우드플레어와 협력 관계를 맺은 AI 기업만이 결제 메커니즘에 참여할 수 있으며, 그렇지 않으면 차단된다.
AI 크롤러가 유료 URL에 요청을 보내고 아직 결제하지 않았다면, 클라우드플레어는 HTTP 402 Payment Required 상태 코드를 반환한다. 이는 과거 거의 사용되지 않았던, '온라인 결제'를 위해 예약된 상태 코드다. AI 크롤러는 요청에 결제 정보를 포함시켜 설정된 요금 지불에 동의할 수 있으며, 요금이 일치하면 200 OK 응답을 받아 승인되고 자동 정산된다.
클라우드플레어는 이 거래의 '계산대' 역할을 하며, 청구서 집계 및 수익 분배를 담당한다.
클라우드플레어는 HTTP 402 Payment Required 상태 코드를 반환｜이미지 출처: Cloudflare
크롤러는 요청에 결제 정보를 포함시킬 수 있음｜이미지 출처: Cloudflare
HTTP 200 OK 응답으로 요금 부과 확인｜이미지 출처: Cloudflare
더욱 중요한 것은, 단순한 User-Agent 위조로는 우회할 수 없다는 점이다. 클라우드플레어는 AI 기업이 등록 키를 갖고 디지털 서명을 통해 신원을 보장하도록 요구한다. 이는 '짝퉁 크롤러'가 정규 절차를 우회해 결제를 피하는 것을 막기 위한 조치다.
과거 robots.txt는 웹사이트 루트 디렉터리에 두는 순수 텍스트 파일로, 검색엔진 크롤러에게 어떤 페이지를 긁을 수 있고 어떤 것은 긁을 수 없는지 알려주는 용도였으나, 이는 오직 웹사이트의 '예의 바른 요청'일 뿐이었고 많은 AI 크롤러들이 이를 무시했다. 클라우드플레어의 방식은 이러한 기존의 robots.txt 기반 '부드러운 제약'을 '강력한 통제 장치'로 바꾸는 것이다.
다만 클라우드플레어에 따르면, 현재 상위 1만 개 도메인 중 약 37%만이 robots.txt 파일을 보유하고 있을 뿐이다.
AI 크롤러를 위한 게이트 설정｜이미지 출처: Cloudflare
클라우드플레어의 크롤링 유료 시장에 참여하려면 크롤러 측과 크롤링 당하는 측 모두 클라우드플레어 계정을 개설해야 한다. 현재 'Pay Per Crawl'은 내부 테스트 단계로, BuzzFeed, 『대서양 월간지(The Atlantic)』, 『포춘(Fortune)』 등의 일부 대형 출판사만 참여 중이며, 회사는 계속해서 관심 있는 콘텐츠 제작자와 크롤러 제공자를 공모하고 있다.
"우리는 방문당 유료화 모델이 눈에 띄게 성장할 것으로 예상합니다." 클라우드플레어 측은 밝혔다.
아직 초기 단계지만, 회사는 미래에 대한 다양한 구상을 가지고 있다. 예를 들어 출판사나 기타 기관이 콘텐츠 유형에 따라 다르게 요금을 책정하거나, AI 애플리케이션의 사용자 수에 따라 동적 가격을 설정하거나, 학습, 추론, 검색 등 다양한 영역에 따라 더 세밀한 요금 전략을 도입할 수도 있다.
또한 회사는 "방문당 유료 크롤링의 진정한 잠재력은 에이전트(Agent) 지능형 에이전트 세상에서 나타날 수 있다"고 보고 있다.
"지능형 에이전트 요금 장벽이 완전히 프로그래밍 방식으로 작동한다면 어떨까? 예를 들어, 당신은 깊이 있는 연구 조수에게 최신 암 연구, 법률 요약, 또는 가장 좋은 레스토랑을 찾아달라고 의뢰할 수 있다. 그리고 이 지능형 에이전트에게 예산을 할당해 가장 유용하고 관련성 높은 콘텐츠를 확보하게 할 수 있다."
"HTTP 402 응답 코드를 기반으로 한 첫 번째 솔루션은 지능형 에이전트가 디지털 자원 접근을 프로그래밍 방식으로 협상할 수 있는 미래를 열게 될 것입니다." 클라우드플레어는 말했다.
03
인터넷의 갈림길
경제적 관점에서 보면, 이는 AI와 광범위한 콘텐츠 제작자 사이의 '수익 분배 재협상'의 시작일 수 있다.
현재는 뉴욕타임스가 OpenAI를 고소한 후 겨우 합의를 이룬 것처럼, 일부 대형 미디어만이 AI 기업과 라이선스 계약을 체결할 수 있다. 그러나 대부분의 중소형 웹사이트, 포럼, 개인 작성자들은 '조용히 긁혀가는' 존재며, 저항 능력도, 혹은 인식조차 부족하다. 클라우드플레어의 방식은 이러한 가격 결정권을 보다 광범위한 웹사이트로 확대할 수 있다.
클라우드플레어 팀에 따르면, 뉴스기관, 출판사, 대형 소셜미디어 플랫폼과 수백 차례 대화를 나눈 결과, 모두 "AI 크롤러의 콘텐츠 접근은 허용하고 싶지만, 보상은 받고 싶다"고 답했다.
지지자들 입장에서는 'Pay Per Crawl' 모델이 개념적으로 매우 '공정'하다. 창작자에게 수입이 생기고, AI 기업도 법적 리스크를 피할 수 있으므로 장기적으로 전체 산업이 더욱 적법한 콘텐츠 라이선스 방향으로 나아갈 수 있다.
이미지 출처: Cloudflare
물론 AI 기업이 모두 좋아할 리는 없다. 인터넷 데이터가 더 이상 무료가 아니며, 새로운 콘텐츠를 수집하려면 돈을 지불해야 하므로 컴퓨팅 파워 외에도 추가 비용이 발생하기 때문이다.
다만 반대로, 이는 무분별한 수집을 억제하고 AI 모델 개발자들이 데이터 선택에 더 신중해지도록 할 수도 있다. 예를 들어 고가치 콘텐츠만 선택적으로 구매하고, 모든 웹사이트 콘텐츠를 무작위로 모델에 주입하는 방식을 줄이는 것이다.
매튜 프린스는 "AI 엔진은 스위스 치즈와 같다. 이 치즈의 구멍을 실제로 채울 수 있는 새로운 독창적 콘텐츠는 현재 인터넷의 대부분을 차지하는 반복적이고 가치 낮은 콘텐츠보다 훨씬 더 가치 있다"고 말했다.
그의 견해로는 트래픽은 항상 콘텐츠 가치를 정확히 측정하지 못했다. "콘텐츠가 얼마나 많은 트래픽을 발생시켰는지가 아니라, 지식 발전에 얼마나 기여했는지(즉, AI 엔진의 '스위스 치즈' 구멍을 얼마나 많이 메웠는지)로 평가한다면, 우리는 AI 엔진이 더 빠르게 발전하는 것을 도울 수 있을 뿐 아니라, 고가치 콘텐츠 창작의 새로운 황금기를 촉진할 수도 있다."
그러나 디지털 권리 옹호자들은 이렇게 지적할 수 있다. 소규모 AI 스타트업, 연구자, 오픈소스 커뮤니티가 이런 데이터 비용을 감당할 수 있을까? 학술 연구, 공익적 보관 목적의 '착한 크롤러'는 움직이기 어려워져 제한적이고 가치 낮은 데이터 소스만 접근하게 되지는 않을까?
광고 수익이 감소하고 트래픽 비용이 상승하는 현실 속에서, 어느 정도의 웹사이트가 AI 크롤러에게 무료로 콘텐츠를 제공하려 할까? 이것이 인터넷의 자유와 공유 정신을 훼손하는 '폐쇄화'의 시작이 되지는 않을까?
전 인터넷이 기본적으로 차단 및 유료화된다면, 이는 무의식적으로 '대기업 독점'을 심화시키지는 않을까? 결국 대기업이 더 많은 돈을 지불할 수 있기 때문이다.
'Pay Per Crawl' 모델은 AI가 콘텐츠를 흡수만 하고 보답하지 않는 문제를 해결하려는 동시에, 무의식적으로 AI 혁신의 장벽을 높일 수도 있으며, 이는 다시 한번 저작권 보호와 지식 개방이라는 오래된 과제로 돌아간다.
물론 클라우드플레어는 웹사이트에 더 많은 자율성을 부여할 뿐이다. 웹사이트 운영자는 공익, 비영리 프로젝트에는 계속 무료로 개방할 수 있다. 권한은 여전히 창작자 손에 있다. 어쨌든 그들은 '보상'을 받을 자격이 있다.
클라우드플레어 CEO의 말에 따르면, 이 변혁의 목표는 '더 나은 인터넷을 구축하는 것'이다. "우리는 모든 답을 알고 있진 않지만, 일부 최고의 경제학자들과 컴퓨터 과학자들과 함께 답을 찾고 있다."
현재 다른 CDN 및 보안 제공업체(Akamai, Fastly, Amazon CloudFront 등)는 유사한 기능을 발표하지 않았다.
AI 크롤러 봇을 문밖으로 막아냄｜이미지 출처: Cloudflare
클라우드플레어의 'Pay Per Crawl'은 겉보기에 단지 CDN 제품의 새로운 기능일 수 있지만, 어떤 의미에서는
인터넷이 하나의 갈림길에 다다랐다는 신호가 될 수 있다.
검색 시대에는 콘텐츠의 가치가 사용자 방문을 통해 광고 수익으로 전환되었다. 그러나 AI 시대에는 사용자가 웹사이트에 들어가지 않아도 모든 답변이 챗봇 안에서 요약 생성된다. AI 대규모 모델이 인터넷 콘텐츠를 계속 무료로 채굴할 것인가, 아니면 데이터 획득에 있어 '상호 이익'의 원칙으로 돌아가 창작자에게 응당한 보상을 제공할 것인가? 그리고 그 보상은 어느 정도가 되어야 할까?
이 초기 실험이 새로운 AI 시대의 데이터 경제 형태를 위한 길을 열어줄지도 모른다. 성공 여부를 떠나, 그 입장은 명확하다. AI는 '개방'이라는 명목 아래 인간의 노동을 무료 연료로 삼으며 창작자의 인내심을 무제한으로 소진시킬 수 없다는 것이다.
"네트워크는 변하고 있으며, 그 비즈니스 모델도 함께 변하고 있다. 이 과정에서 우리는 지난 30년에서 좋은 점을 배우고, 미래에 그것을 더 나아지게 만들 기회를 갖게 된다."
그렇다면 정말로 일이 나아질 수 있을까? 클라우드플레어 스스로 인정하듯이,
"이건 이제 막 시작일 뿐입니다."
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
极客公园
