AI爬虫合规率不足5%:Agent时代的规则缺失

ScrapeBench首次系统测试AI Agent是否遵守网站服务条款和robots.txt,发现多数闭源与开源Agent的合规率低于5%。这意味着自动化采集上线前,开发者必须增加规则解析、权限判断、审计和人工兜底。
digital network
问题有多严重
超过95%的AI爬虫,不遵守网站的爬取规则。网站明明写了禁止抓取,Agent还是照抓。这不仅是技术问题,是法律和伦理问题。
为什么会这样
第一,Agent的目标是完成任务,抓取数据是最直接的方式;第二,规则解析麻烦,robots.txt格式不统一;第三,违规成本低,网站很难追责。
对内容网站的影响
内容被无偿抓取,流量和广告收入受损。如果AI用这些内容训练模型,再和网站竞争,等于既拿走了原料,又抢走了生意。这是当前内容行业和AI公司的主要矛盾。
对企业的风险
用Agent抓数据,可能违反服务条款,面临诉讼。欧盟的AI法案、美国各州的立法,都在加强对自动化采集的监管。合规不是可选项。
怎么解决
第一,技术层,Agent要能解析robots.txt和服务条款;第二,协议层,建立机器可读的授权标准;第三,商业层,内容方和AI公司达成许可协议。
更大的问题
AI Agent的自主性越强,越需要规则。现在的互联网,是为人类浏览设计的,不是为Agent设计的。要让Agent守规矩,需要新的基础设施和治理机制。

上一篇 Nebius明年投400亿美元:AI云的新玩家
下一篇 Shadcn improve:强模型动脑,便宜模型动手