文档

AI 爬虫检查器文档

AI 爬虫检查器会请求爬虫能够观察到的公开信号，并解释这些信号如何作用于常见的搜索、训练和用户触发型代理。

最后更新：2026年11月5日

检查器会查看什么

Scopeva 会请求提交的页面、网站 robots.txt、声明的 sitemap 位置和部分响应头。Google 身份采用 Google 兼容配置，其他提供商采用明确标注的通用近似配置。

检查只基于公开配置，不会登录、执行特权请求或尝试绕过访问控制。

Allowed 表示 Scopeva 没有发现阻止该路径的匹配规则；Blocked 表示按 user-agent 与路径具体性计算后，Disallow 规则胜出；Not specified 表示观察到的 robots.txt 中没有该爬虫的明确策略。

这些标签描述配置，并不保证爬虫实际行为。爬虫还可能使用 Scopeva 无法观察的额外策略、缓存规则或产品控制。

修改生产配置前先检查命中的规则。若结果异常，请测试准确页面路径、检查重定向，并确认 robots.txt 从网站根路径返回。