AI 爬虫 文章。

Cloudflare 的 Pay Per Crawl 将 AI 机器人流量转化为全新营收渠道

Cloudflare 现在对新域名默认阻止 AI 爬虫，根据其官方报告，每天处理超过 10 亿次 HTTP 402 “需付费” 响应，其 Pay Per Crawl 功能（仍处于私测阶段）为出版商提供了允许、收费或阻止 AI 机器人的途径。以下是这种新兴的 “付费爬取-推荐” 经济模式对内容所有者意味着什么。