Các bài viết về AI crawlers.

Tính năng Pay Per Crawl của Cloudflare's biến lưu lượng truy cập từ bot AI thành nguồn doanh thu

Cloudflare hiện mặc định chặn các trình thu thập thông tin (crawler) AI đối với các tên miền mới và theo báo cáo của chính họ, xử lý hơn một tỷ phản hồi HTTP 402 'payment required' mỗi ngày. Tính năng Pay Per Crawl của họ (hiện vẫn đang trong giai đoạn thử nghiệm giới hạn) cung cấp cho các nhà xuất bản giải pháp để cho phép, thu phí hoặc chặn các bot AI. Dưới đây là ý nghĩa của nền kinh tế crawl-to-refer (quét để dẫn nguồn) đang hình thành đối với những người sở hữu nội dung.