📖 AI 总结

Cloudflare 推出新方案，试图解决网站站长长期面临的两难困境：要么允许内容被用于 AI 训练，要么拒绝后连搜索引擎收录也一并失去。问题根源在于大型互联网组织普遍使用“混合用途爬虫”，同一爬虫既做搜索索引又做 AI 训练，导致站长无法单独拒绝其中一项。Cloudflare 的新机制旨在将这两种用途拆分开来，让站长能够在不影响搜索可见度的前提下，单独禁止 AI 训练爬虫抓取内容。这一方案若被广泛采用，有望改变内容创作者与 AI 公司之间的博弈格局，为网站提供更精细的爬虫管理权限，同时也可能推动行业重新审视混合用途爬虫的合理性与边界。