«Bồ tát điện tử» phát uy, thời đại «bữa trưa miễn phí» của các ông lớn AI đã chấm dứt
Tuyển chọn TechFlowTuyển chọn TechFlow
«Bồ tát điện tử» phát uy, thời đại «bữa trưa miễn phí» của các ông lớn AI đã chấm dứt
Từ "tường lửa" đến "màn hình chống côn trùng", Cloudflare có thể sẽ viết lại lịch sử thanh toán nội dung mạng.
Chuyên sâu báo cáo Web3
Elon Musk và Donald Trump, cặp đôi "song ca Nhà Trắng" gần đây đã bước vào thời kỳ 2.0 của cuộc chiến "miệng lưỡi". Tương tự như mối quan hệ vừa yêu vừa ghét này, các tập đoàn xuất bản nước ngoài và các gã khổng lồ AI cũng đang trong tình thế vừa hợp tác vừa đối đầu —— một mặt có những nhà xuất bản lớn ký kết hợp tác với công ty AI, mặt khác cũng có những nhà xuất bản thề sẽ kiện các gã khổng lồ AI đến phá sản.
Theo dữ liệu, kể từ khi AI tìm kiếm và ChatGPT xuất hiện, lưu lượng truy cập toàn cầu của các website đều đang giảm; trong khi đó, "bot thu thập dữ liệu AI" của các gã khổng lồ AI bất chấp quy tắc robots.txt, không ngừng xâm nhập và chiếm đoạt dữ liệu của mọi website với tần suất hàng chục ngàn lần.
Trong bối cảnh ấy, cuối cùng cũng có một công ty hạ tầng đứng lên, nắm tay các nhà sáng tạo nội dung tuyên bố: "Chúng ta có thể nói KHÔNG với các gã khổng lồ AI!"
Cloudflare, tập đoàn hạ tầng internet kiểm soát khoảng 20% lưu lượng mạng toàn cầu, được cư dân mạng mệnh danh là "vị Bồ Tát kỹ thuật số", đã ra mắt một sản phẩm thử nghiệm và thị trường giao dịch vào tháng 7 năm 2025: «Pay Per Crawl» —— đặt ra quy tắc mới cho bot AI:
Hoặc phải được cấp phép, hoặc phải trả tiền.
Đơn giản mà nói, bản chất chức năng này là cung cấp một lựa chọn dạng công tắc cho các nhà sáng tạo nội dung: Có thể chọn cho phép bot AI truy cập tự do, tính phí theo lượt thu thập, hoặc trực tiếp chặn truy cập.
Theo lời người đồng sáng lập Cloudflare: «Nội dung chính là nhiên liệu vận hành động cơ AI, vì vậy việc các nhà sáng tạo nội dung nhận được thù lao trực tiếp là điều công bằng.»
Đối với các công ty AI, muốn tiếp tục thu thập nội dung toàn mạng để huấn luyện mô hình, họ không thể nào «ăn miễn phí» như trước nữa. Nhưng điều này cũng không phải không có lợi ích, bởi vì nếu trả tiền minh bạch theo giá niêm yết thì có thể tránh được tranh chấp bản quyền.
Biện pháp «chống sâu hại» lần này của Cloudflare có thực sự làm giảm các cuộc tấn công bừa bãi của bot AI hay không? Quan trọng hơn, liệu công ty này có thể tận dụng vị thế độc đáo của mình để xây dựng một mô hình phân phối và thương mại hóa nội dung hoàn toàn mới trong thời đại AI?
01
Bữa ăn trưa miễn phí của các gã khổng lồ AI
Trong vài thập kỷ qua, hầu hết các trang web mặc định đều «cho phép thu thập». Các công cụ tìm kiếm như Google, Bing mang lại lưu lượng truy cập cho website, rồi website dùng lưu lượng đó để kiếm tiền thông qua quảng cáo hoặc bán đăng ký —— đây là thỏa thuận ngầm thời đại tìm kiếm.
Tuy nhiên, trong thời đại AI, lưu lượng truy cập từ công cụ tìm kiếm truyền thống giảm mạnh, khiến phương trình kinh tế này ngày càng thua lỗ.
Các công ty AI lấy toàn bộ nội dung trên mạng làm nhiên liệu huấn luyện, nhưng hầu như không đền bù gì cho phần lớn các nhà sáng tạo. Khi người dùng đặt câu hỏi trực tiếp với trợ lý AI, câu trả lời thường là tóm tắt nội dung đã có, chứ không phải hàng chục liên kết màu xanh, nên không mang lại lưu lượng truy cập cho website.
Ngay cả các gã khổng lồ tìm kiếm như Google cũng đang thay đổi: trước đây họ cung cấp danh sách liên kết website, nay họ giới thiệu mục «Tổng quan trí tuệ nhân tạo» trên trang tìm kiếm. Theo báo cáo của họ, 75% người dùng truy vấn không cần nhấp vào bất kỳ liên kết nào để có được câu trả lời.
Dữ liệu mới nhất của Cloudflare tháng 7 năm 2025 cho thấy: Bot của Google cứ thu thập khoảng 6-7 lần thì mang lại 1 lượt nhấp chuột cho website, trong khi OpenAI cần tới 1.500 lần mới đổi được 1 lượt chuyển hướng, còn tỷ lệ của Anthropic còn tệ hơn, lên tới mức kinh ngạc 73.300 lần đổi được 1 lần.
Tỷ lệ nhấp chuột mỗi lần thu thập dữ liệu từ bot AI của các công ty lớn | Nguồn ảnh: Cloudflare
Điều này có nghĩa là mô hình «nội dung đổi lấy lưu lượng» truyền thống đã thất bại. So với công cụ tìm kiếm truyền thống, các gã khổng lồ AI tiêu thụ lượng lớn nội dung website nhưng không «dẫn lưu» trở lại, sự mất cân bằng này khiến các nhà sản xuất nội dung ngày càng khó sống sót.
«Với OpenAI, độ khó để website thu hút lưu lượng truy cập cao hơn 750 lần so với thời Google, còn với Anthropic, độ khó tăng vọt lên tới 30.000 lần. Lý do rất đơn giản: Chúng ta ngày càng ít tiêu thụ nội dung gốc, mà thay vào đó là các sản phẩm phái sinh từ chúng.» CEO Cloudflare Matthew Prince viết trong một bài blog, «Đây không phải là một giao dịch công bằng.»
Việc các công ty AI thu thập dữ liệu cũng không phải không tốn kém. Trong hai năm qua, các gã khổng lồ AI liên tục bị cáo buộc «đánh cắp nội dung» để huấn luyện mô hình lớn, dẫn đến làn sóng kiện tụng bản quyền trên toàn cầu, đặc biệt là các cơ quan truyền thông như The New York Times kiện OpenAI liên miên.
Các bot AI hoạt động mạnh từ các công ty lớn | Nguồn ảnh: Cloudflare
Vì vậy, Cloudflare ra mắt «Pay Per Crawl», thiết lập một thị trường «thu thập theo lượt trả tiền», nhằm giải quyết đúng vấn đề này.
Công ty thiết kế một hệ thống cấp quyền và thanh toán, cho phép website trong nền tảng chọn chế độ «cho phép, chặn hoặc thu phí» đối với bot AI. Nếu bot AI muốn thu thập nội dung website, phải đăng ký, xác minh danh tính và hoàn tất thanh toán mỗi lần truy cập.
Nếu thành công, mô hình này có thể giúp nội dung mạng chuyển từ «kiếm tiền bằng quảng cáo» sang «kiếm tiền bằng cấp phép nội dung», mở ra nguồn thu nhập hoàn toàn mới. Dù là truyền thông lớn hay blog nhỏ ít người biết, đều có thể có tiếng nói thương lượng trong thời đại AI, được AI trả tiền sử dụng.
Để nhấn mạnh ý nghĩa, CEO Cloudflare còn gọi ngày ra mắt «Pay Per Crawl» là:
«Ngày Độc lập của Nội dung».
02
Phí «quá đường» AI tính như thế nào?
Tất nhiên, ý tưởng đẹp nhưng làm sao triển khai về mặt kỹ thuật?
Cloudflare khởi nghiệp nhờ cung cấp các dịch vụ CDN, bảo vệ DDoS, DNS, an ninh zero-trust... Công ty triển khai các nút mạng tại hơn 300 thành phố trên toàn cầu, xử lý khoảng 20% lưu lượng Web, điều này thuận tiện để họ đóng vai trò «trung gian».
«Pay Per Crawl» được xây dựng trên lớp trung gian mạng CDN toàn cầu của họ: Họ có thể nhận diện và xử lý bot AI trước khi yêu cầu truy cập đến máy chủ gốc. Quản trị viên website có thể thiết lập ba chế độ trong nền tảng Cloudflare: cho phép, thu phí, hoặc chặn.
Quản trị viên có thể thiết lập cho phép, thu phí hoặc chặn trong nền tảng | Nguồn ảnh: Cloudflare
Mọi website mới tham gia Cloudflare mặc định sẽ chặn bot AI, trừ khi quản trị viên chủ động cho phép. Chỉ những công ty AI hợp tác với Cloudflare mới được tham gia cơ chế thanh toán, nếu không sẽ bị chặn.
Nếu bot AI gửi yêu cầu đến URL thu phí mà chưa thanh toán, Cloudflare sẽ trả về mã trạng thái HTTP 402 Payment Required —— một mã trạng thái gần như không ai dùng trước đây, được dành riêng cho «thanh toán trên mạng». Bot AI có thể đưa thông tin thanh toán vào yêu cầu để biểu thị đồng ý trả giá đã cấu hình, một khi khớp giá sẽ được cấp quyền truy cập trả về 200 OK, và hệ thống tự động thanh toán.
Bản thân Cloudflare đóng vai trò «cái máy thu ngân», chịu trách nhiệm tổng hợp hóa đơn và phân phối lợi nhuận.
Cloudflare sẽ trả về mã trạng thái HTTP 402 Payment Required | Nguồn ảnh: Cloudflare
Bot có thể đưa thông tin thanh toán vào yêu cầu | Nguồn ảnh: Cloudflare
Phản hồi HTTP 200 OK xác nhận đã thu phí | Nguồn ảnh: Cloudflare
Quan trọng hơn, điều này không thể dễ dàng vượt qua bằng cách giả mạo User-Agent. Cloudflare yêu cầu các công ty AI đăng ký khóa và dùng chữ ký số để đảm bảo danh tính, nhằm ngăn chặn các «bot giả mạo» giả dạng kẻ tuân thủ để trốn tránh thanh toán.
Trước đây, robots.txt là một tập tin văn bản thuần ở thư mục gốc website, dùng để thông báo cho bot tìm kiếm những trang nào được thu thập và những trang nào không, nhưng nó chỉ là «lời đề nghị lịch sự» từ phía website, nhiều bot AI hoàn toàn phớt lờ. Giải pháp của Cloudflare thay đổi điều này, biến «ràng buộc mềm» dựa trên robots.txt hiện tại thành «cửa chắn cứng».
Tuy nhiên, theo Cloudflare, trong số 10.000 tên miền xếp hạng cao nhất hiện nay, chỉ khoảng 37% có tệp robots.txt.
Thiết lập rào cản cho bot AI | Nguồn ảnh: Cloudflare
Để tham gia thị trường thu phí thu thập của Cloudflare, bên thu thập và bên bị thu thập đều phải mở tài khoản Cloudflare. Tính đến nay, «Pay Per Crawl» vẫn đang trong giai đoạn thử nghiệm nội bộ, chỉ một số nhà xuất bản lớn tham gia như BuzzFeed, The Atlantic và Fortune, Cloudflare vẫn đang tiếp tục kêu gọi các nhà sáng tạo nội dung và bên thu thập quan tâm đăng ký.
«Chúng tôi dự đoán mô hình trả phí theo lượt sẽ phát triển đáng kể,» Cloudflare khẳng định.
Mặc dù hiện vẫn ở giai đoạn đầu, nhưng công ty còn nhiều ý tưởng cho tương lai. Ví dụ, các nhà xuất bản hoặc tổ chức khác có thể thu phí khác nhau tùy loại nội dung, hoặc định giá động theo số lượng người dùng ứng dụng AI, hoặc áp dụng chiến lược định giá chi tiết hơn theo từng lĩnh vực như huấn luyện, suy luận, tìm kiếm.
Họ còn cho rằng tiềm năng thực sự của việc thu phí theo lượt có thể lộ rõ trong thế giới của các «agent thông minh».
«Nếu bức tường thu phí của agent thông minh có thể hoạt động hoàn toàn theo cách lập trình, thì sao? Hãy tưởng tượng bạn có thể nhờ trợ lý nghiên cứu chuyên sâu của mình tổng hợp các nghiên cứu mới nhất về ung thư, bản tóm tắt pháp lý, hoặc tìm nhà hàng tốt nhất —— rồi cấp một ngân sách cho agent thông minh này để truy cập nội dung hữu ích và phù hợp nhất.»
«Giải pháp đầu tiên dựa trên mã phản hồi HTTP 402 sẽ mở ra một tương lai nơi các agent thông minh có thể thương lượng chương trình hóa để truy cập tài nguyên số.» Cloudflare nói.
03
Ngã tư của Internet
Xét về mặt kinh tế, đây có thể là khởi điểm cho việc «đàm phán lại cơ chế chia sẻ lợi nhuận» giữa AI và đông đảo nhà sáng tạo nội dung.
Hiện nay, chỉ các phương tiện truyền thông lớn mới có khả năng đàm phán cấp phép với công ty AI (ví dụ như The New York Times sau khi kiện OpenAI mới đạt được hòa giải), còn phần lớn các website nhỏ, diễn đàn hay cá nhân tác giả đều bị «thu thập âm thầm» mà không có khả năng hay ý thức phản kháng. Giải pháp của Cloudflare thực tế có thể phổ cập quyền thương lượng này đến phạm vi rộng hơn của các website.
Theo đội ngũ Cloudflare, họ đã tiến hành hàng trăm cuộc trao đổi với các cơ quan báo chí, nhà xuất bản và các nền tảng mạng xã hội lớn, và tất cả đều «muốn cho phép bot AI truy cập nội dung của họ, nhưng mong muốn được trả tiền.»
Đối với những người ủng hộ, mô hình «Pay Per Crawl» rất «công bằng» về mặt nguyên tắc: nhà sáng tạo có thu nhập, công ty AI cũng tránh được rủi ro pháp lý, về lâu dài có thể thúc đẩy toàn ngành hướng tới cấp phép nội dung hợp pháp hơn.
Nguồn ảnh: Cloudflare
Tất nhiên, các công ty AI có thể không hài lòng: dữ liệu Internet không còn miễn phí, muốn thu thập nội dung mới phải trả tiền, điều này có nghĩa là thêm yếu tố chi phí ngoài sức mạnh tính toán.
Nhưng mặt khác, điều này cũng có thể kiềm chế việc thu thập bừa bãi, buộc các nhà phát triển mô hình AI phải chọn lọc dữ liệu hơn —— ví dụ mua có chọn lọc các nội dung giá trị cao, thay vì nhồi nhét mọi nội dung website vào mô hình.
Matthew Prince nói: «Các động cơ AI giống như phô mai Thụy Sĩ, những nội dung gốc mới thực sự có thể lấp đầy các lỗ hổng trong phô mai đó có giá trị hơn nhiều so với các nội dung trùng lặp, giá trị thấp chiếm phần lớn diện tích mạng ngày nay.»
Theo ông, lưu lượng truy cập từ lâu đã không thể đo lường chính xác giá trị nội dung: «Nếu chúng ta có thể bắt đầu đánh giá nội dung, không phải dựa trên lưu lượng nó tạo ra, mà dựa trên mức độ thúc đẩy tri thức (đo bằng việc nó lấp đầy bao nhiêu lỗ hổng hiện có trong động cơ AI ‘phô mai Thụy Sĩ’) —— chúng ta không chỉ có thể giúp động cơ AI tiến bộ nhanh hơn, mà còn có thể thúc đẩy một thời kỳ hoàng kim mới cho sáng tạo nội dung giá trị cao.»
Tuy nhiên, các nhà vận động quyền số có thể đặt câu hỏi: Các nhóm khởi nghiệp AI nhỏ, các nhà nghiên cứu, cộng đồng mã nguồn mở có đủ khả năng chi trả chi phí dữ liệu này không? Các «bot thu thập lành tính» phục vụ nghiên cứu học thuật, lưu trữ công ích có bị đình trệ, chỉ có thể truy cập các nguồn dữ liệu hạn chế, giá trị thấp?
Trong bối cảnh doanh thu quảng cáo sụt giảm và chi phí lưu lượng tăng cao, có bao nhiêu website sẵn sàng mở cửa miễn phí để bot AI «hút máu»? Liệu điều này có đánh dấu khởi đầu của sự «đóng cửa» và làm mất đi tinh thần tự do, chia sẻ của Internet?
Nếu toàn mạng mặc định chặn và thu phí, liệu vô tình có làm trầm trọng thêm «độc quyền của các công ty lớn»? Vì畢竟, các đại gia thì có nhiều tiền hơn.
Mô hình «Pay Per Crawl» một mặt cố gắng giải quyết vấn đề AI hút máu nội dung mà không hoàn trả, nhưng mặt khác cũng có thể vô tình nâng cao rào cản đổi mới AI, quay lại với câu hỏi cũ kỹ giữa bảo vệ bản quyền và mở cửa tri thức.
Tất nhiên, Cloudflare chỉ trao thêm quyền tự chủ cho các website. Chủ sở hữu website hoàn toàn có thể chọn tiếp tục miễn phí cho các dự án công ích, phi lợi nhuận. Quyền lực vẫn nằm trong tay các nhà sáng tạo. Dù sao đi nữa, họ xứng đáng được «bồi thường».
Theo lời CEO Cloudflare, mục tiêu của cuộc cải cách này là «xây dựng một Internet tốt đẹp hơn». «Chúng tôi chưa biết tất cả câu trả lời, nhưng đang hợp tác với một số nhà kinh tế học và nhà khoa học máy tính hàng đầu để tìm kiếm.»
Hiện tại, các nhà cung cấp CDN và bảo mật khác (như Akamai, Fastly, Amazon CloudFront) vẫn chưa công bố chức năng tương tự.
Chặn bot AI ở ngoài cửa | Nguồn ảnh: Cloudflare
Mặc dù «Pay Per Crawl» của Cloudflare dường như chỉ là một tính năng mới của sản phẩm CDN, nhưng xét trên một phương diện nào đó:
Nó có thể trở thành tín hiệu cho thấy Internet đang bước đến một ngã rẽ.
Trong thời đại tìm kiếm, giá trị nội dung được chuyển hóa thành doanh thu quảng cáo thông qua lượt truy cập người dùng. Nhưng trong thời đại AI, người dùng có thể sẽ không bao giờ click vào website nữa —— mọi câu trả lời đều được tổng hợp và tạo ra trong chatbot. Vậy chúng ta nên tiếp tục để các mô hình AI lớn khai thác nội dung mạng miễn phí, hay nên quay lại nguyên tắc «tương hỗ» trong việc truy cập dữ liệu, để nhà sáng tạo nhận được phần bồi thường xứng đáng? Và mức bồi thường đó là bao nhiêu?
Thử nghiệm ban đầu này có thể đang mở đường cho một hình thái kinh tế dữ liệu mới trong thời đại AI, dù thành công hay thất bại, lập trường của nó rất rõ ràng: AI không thể vô hạn độ tiêu hao sự kiên nhẫn của các nhà sáng tạo, và dưới cái名义 là «mở cửa» biến lao động con người thành nhiên liệu miễn phí.
«Mạng Internet đang thay đổi, mô hình kinh doanh của nó cũng sẽ thay đổi theo. Trong quá trình này, chúng ta có cơ hội học hỏi những điều tốt đẹp từ 30 năm qua, để làm cho nó tốt hơn trong tương lai.»
Còn chuyện liệu mọi thứ có thực sự trở nên tốt đẹp hay không, như chính Cloudflare thừa nhận:
«Đây mới chỉ là khởi đầu.»
Chào mừng tham gia cộng đồng chính thức TechFlow
Nhóm Telegram:https://t.me/TechFlowDaily
Tài khoản Twitter chính thức:https://x.com/TechFlowPost
Tài khoản Twitter tiếng Anh:https://x.com/BlockFlow_News
极客公园
