Từ cào dữ liệu tự do sang yêu cầu sự cho phép theo mặc định
Vào ngày 1 tháng 7 năm 2025, Cloudflare đã trở thành nhà cung cấp cơ sở hạ tầng internet lớn đầu tiên chặn các AI crawlers theo mặc định, hỏi mọi tên miền mới khi đăng ký xem có cho phép hay từ chối các AI bots thay vì yêu cầu chủ sở hữu phải chọn không tham gia. Cloudflare xử lý lưu lượng truy cập cho khoảng 20% mạng web, do đó sự chuyển dịch này đưa một lượng lớn trang web từ cơ sở thu thập dữ liệu tự do sang cơ chế dựa trên sự cho phép. Thay đổi này tái định hình quyền truy cập AI là thứ mà nhà xuất bản chủ động cấp quyền, chứ không phải là điều diễn ra trong im lặng. Đối với các chủ sở hữu nội dung, hiệu quả thực tế đối với các tên miền mới tham gia Cloudflare là việc không thực hiện hành động gì giờ đây sẽ mặc định là kiểm soát thay vì bị khai thác dữ liệu, trong khi các trang web hiện tại và các tên miền không thuộc Cloudflare nên xem xét lại và cập nhật cài đặt AI crawler của mình.
Cách thức hoạt động của pay per crawl và phản hồi 402
Pay per crawl, được ra mắt dưới dạng thử nghiệm giới hạn song song với thay đổi chặn theo mặc định, cung cấp cho các nhà xuất bản ba chế độ cài đặt cho mỗi crawler: cho phép truy cập miễn phí, tính phí trên toàn bộ tên miền, hoặc chặn hoàn toàn. Một crawler muốn lấy trang có thể đánh dấu mong muốn trả phí trong tiêu đề yêu cầu để nhận về phản hồi HTTP 200, hoặc bỏ qua bước đó và nhận phản hồi HTTP 402 'Payment Required' hiển thị mức giá thay thế. Cloudflare đóng vai trò trung gian thanh toán, giải quyết các khoản thanh toán giữa các công ty AI và nhà xuất bản. Phản hồi 402 tùy chỉnh hiện đã khả dụng cho tất cả khách hàng trả phí của Cloudflare, và công ty báo cáo rằng các khách hàng của Cloudflare gửi hơn một tỷ phản hồi HTTP 402 mỗi ngày tới các bot và crawler trên toàn mạng lưới của mình, chứ không riêng qua AI Crawl Control.
Vào tháng 7 năm 2025, ClaudeBot của Anthropic đã quét khoảng 38.000 trang cho mỗi khách truy cập chuyển hướng trở lại, một phép tính chênh lệch đằng sau động thái của Cloudflare nhằm cho phép các nhà xuất bản thu phí các bot AI thay vì cung cấp dữ liệu miễn phí.
Khoảng cách giữa việc quét dữ liệu và chuyển hướng lượng truy cập khiến vấn đề này trở nên quan trọng
Dữ liệu của chính Cloudflare cho thấy lý do tại sao các nhà xuất bản đang phản kháng: các AI crawler thu thập nhiều hơn rất nhiều so với những gì họ trả lại. Vào tháng 7 năm 2025, ClaudeBot của Anthropic đã quét khoảng 38.000 trang cho mỗi khách truy cập mà nó chuyển hướng, trong khi GPTBot của OpenAI thường chạy ở tỷ lệ khoảng 900 đến 1.250 trên 1 trong cùng kỳ, đạt đỉnh khoảng 3.700 trên 1 vào tháng 3, và Perplexity chạy ở mức thấp hơn, nhìn chung là dưới 400 trên 1. Tỷ lệ quét trên chuyển hướng (crawl-to-refer) của tìm kiếm truyền thống của Google vẫn ở mức thấp hơn nhiều trong cùng kỳ, nhìn chung dao động từ khoảng 3 trên 1 đến khoảng 30 trên 1 trong suốt năm 2025 và ổn định ở mức khoảng 9 trên 1 vào tháng 7. Hoạt động thu thập dữ liệu bằng AI dựa trên người dùng (user-driven AI crawling), trong đó một bot tìm nạp một trang để phản hồi truy vấn của người dùng thực, đã tăng trưởng hơn 15 lần trong suốt năm 2025 (từ tháng 1 đến đầu tháng 12), vì vậy sự mất cân bằng về mặt lưu lượng đang gia tăng nhanh chóng.
Những điều chủ sở hữu nội dung nên cân nhắc
Quyết định đầu tiên là lập trường hoạt động: chặn, cho phép hoặc thu phí, và liệu có nên đối xử với training crawler khác với search hoặc inference crawler hay không, vì Cloudflare cho phép các công ty AI khai báo mục đích của crawler. Việc thu phí chỉ có ý nghĩa nếu nội dung của bạn đủ độc đáo để một phòng thí nghiệm AI thà trả phí còn hơn bỏ qua, do đó các trang chứa nội dung đại trà có rất ít lợi thế đàm phán trong khi các dữ liệu độc quyền, tài liệu lưu trữ hoặc nội dung chuyên môn lại có nhiều lợi thế hơn. Việc chặn các AI search crawler cũng có thể loại bỏ trang web khỏi các câu trả lời do AI tạo ra, vì vậy các chủ sở hữu muốn tận dụng khả năng hiển thị trên AI nên phân biệt các bot có thể chuyển hướng lượng truy cập với các bot chỉ dùng để đào tạo (training). Đánh giá trung thực là quyền lực định giá vẫn đang được thiết lập và rất ít nhà xuất bản có biểu phí công khai.
Những thông tin mấu chốt
- Cloudflare chặn mặc định các AI crawler đối với các tên miền mới kể từ ngày 1 tháng 7 năm 2025, bao phủ một mạng lưới chiếm khoảng 20% toàn bộ trang web.
- Pay Per Crawl cho phép các nhà xuất bản cho phép, tính phí hoặc chặn các bot AI, sử dụng các phản hồi HTTP 402 và yêu cầu thanh toán trong request header, với Cloudflare là merchant of record; tính năng này vẫn đang trong giai đoạn private beta.
- Khách hàng của Cloudflare gửi hơn một tỷ phản hồi HTTP 402 'payment required' mỗi ngày trên toàn mạng lưới của mình, và hoạt động user-driven AI crawling đã tăng trưởng hơn 15 lần trong suốt năm 2025 (từ tháng 1 đến đầu tháng 12).
- Tỷ lệ quét trên chuyển hướng (crawl-to-refer) đang cực kỳ lệch pha (ClaudeBot gần 38.000:1 vào tháng 7 năm 2025), vì vậy các chủ sở hữu nên quyết định lập trường cho từng crawler và cân nhắc khả năng hiển thị trên AI-search trước khi chặn mọi thứ.
