Scopeva 工具
Robots.txt 测试器
检查 robots.txt 语法、爬虫分组、站点地图声明和特定路径的访问规则。
抓取网站或粘贴 robots.txt 内容，以检查其爬虫规则。
工作原理
这项工具检查什么
- User-agent 分组及其 Allow 与 Disallow 指令
- 爬虫专用分组与通配分组的匹配关系
- 针对测试 URL 路径的通配符和路径结尾匹配
- 最长匹配规则，以及等长时 Allow 优先的处理
- Sitemap 声明和常见语法或分组问题
这项工具不检查什么
- 无法判断搜索引擎是否会收录测试 URL。
- 显示允许访问不代表 AI 系统一定会抓取或引用页面。
- 无法观察已返回 robots.txt 之外的 CDN 或 WAF 行为。
- 不会预测排名决策或爬虫未公开的策略。
- 不能保护私密内容，也不能替代身份验证和访问控制。
解决方案