标签:AI爬虫

AI爬虫合规率不足5%:Agent时代的规则缺失

AI爬虫合规率不足5%:Agent时代的规则缺失

ScrapeBench首次系统测试AI Agent是否遵守网站服务条款和robots.txt,发现多数闭源与开源Agent的合规率低于5%。这意味着自动化采集上线前,开发者必须增加规则解析、权限判断、审计和人工兜底。 问题有多严重 超过95%的AI爬虫,不遵守网站的爬取规则。网站明明写了禁止抓取,

自由的编辑者 自由的编辑者 2026-11-15
0 0 0