理解每一次检查。

01

开始使用

每个 Scopeva 工具都采用以证据为先的流程。可行时在浏览器中处理；服务端工具只请求当前诊断所需、范围受限的公开资源。

1. 01输入输入公开 URL，或粘贴所选工具支持的配置内容。
2. 02验证Scopeva 会验证语法，并在服务端处理前拒绝不安全的抓取目标。
3. 03处理工具会在本地解析、抓取受限的公开资源，或组合两种方式。
4. 04解释结果会把状态对应到观察到的规则、响应头、实体或响应。
5. 05建议建议会说明下一步应验证什么，不会静默修改源内容。

工具处理方式

02

爬虫类型

提供商会为搜索、训练、用户触发型检索和产品控制发布不同身份。Scopeva 不会把这些角色混为一谈。

03

Robots 评估

Scopeva 将源站根路径返回的公开文件与提交 URL 的规范化路径和查询串比较，并在比较前移除 fragment。

• 解析指令前会移除以 # 开头的注释。
• 第一条规则前连续的 User-agent 行共享同一分组。Google 兼容模式会选择最具体的产品标识，合并同等具体性的重复分组，且不会把专用分组与 User-agent: * 合并。
• Allow 与 Disallow 对规范化路径和 query string 生效；比较前移除 fragment，路径匹配保持大小写敏感。
• 空的 Disallow 值不会阻止路径。
• * 匹配任意 URL 序列，末尾 $ 将模式锚定到路径和 query string 的结尾。
• 先选择最具体的 user-agent 分组，再比较路径规则。
• 最长匹配路径规则胜出；同等具体性下 Allow 胜过 Disallow。
• Google 兼容模式会比较等价的 percent-encoded URL 形式，同时保留已编码的保留字符。通用模式只是近似，因为不同提供商可能采用不同解析方式。
• Sitemap 指令独立于爬虫分组收集，并解析为公开 URL。
• robots.txt 无法访问或读取时返回未知，而不是假设允许或阻止。

04

结果状态

05

HTTP 诊断

Scopeva 会在受限重定向后报告最终公开响应状态，并显示选定响应头：Content-Type、X-Robots-Tag、Cache-Control、Content-Security-Policy、Strict-Transport-Security、Referrer-Policy、Permissions-Policy、Server。X-Robots-Tag 会被显示，检测到 noindex 时可能生成建议。

06

站点地图

AI 爬虫检查器最多检查 robots.txt 中声明的三个 sitemap URL。若未声明，则尝试常见位置并在得到可读结果后停止。下载和解析条目都有上限，界面只显示代表性 URL 样本。

07

内容安全策略

CSP 调试器在本地解析粘贴的策略或浏览器违规信息，识别指令与被阻止资源，并提示应检查的最小策略范围。建议并非可直接部署的生产策略。

08

结构化数据

粘贴模式在本地分析 JSON-LD。URL 模式由服务器请求公开 HTML，提取 application/ld+json 并检查语法与常见实体字段。通过检查不保证获得增强搜索结果。

10

隐私与安全

客户端工具把粘贴内容留在浏览器中。服务端工具会验证目标、拒绝本地和私有网络、限制重定向、响应大小和请求时间。不要提交密钥、私密链接、凭据或无权检查的内容。