已检查的信号
这项检查分析什么
Scopeva 读取检查时可公开访问的响应。它不会登录、绕过访问控制或推断平台私有数据。
robots.txt 策略
请求源站 robots.txt，选择匹配的 user-agent 分组，并报告测试路径最终生效的 allow 或 disallow 规则。
页面响应
报告有限重定向后的最终公开 URL 和 HTTP 状态；如果返回可读取的 HTML，还会显示页面标题与 canonical URL。
页面级指令
显示 robots meta 内容与 X-Robots-Tag 响应值，以便结合 robots.txt 检查 noindex 等指令。
站点地图发现
检查 robots.txt 中声明的站点地图；若未声明，则检查常见位置，并返回可读取条目的有限样本。
检查器显示的响应头
Content-Type, X-Robots-Tag, Cache-Control, Content-Security-Policy, Strict-Transport-Security, Referrer-Policy, Permissions-Policy, Server。这些响应头用于解释返回的响应；仅存在这些响应头并不代表它们是搜索排名信号。
爬虫角色
同一提供商可以发布多个独立控制项
搜索、训练、用户触发和控制标识不能互换。Scopeva 会分别保留它们公开的 user-agent token。
搜索
4 个标识为搜索体验和答案发现收集或检索公开页面。
- Googlebot
Googlebot构建 Google 搜索索引。
Google 官方来源 （在新标签页中打开）复核日期 2026-10-22 - OAI-SearchBot
OAI-SearchBot让网站能够出现在 ChatGPT 搜索结果中。
OpenAI 官方来源 （在新标签页中打开）复核日期 2026-10-22 - Claude-SearchBot
Claude-SearchBot浏览网络以提高 Claude 搜索响应的相关性和准确性。
Anthropic 官方来源 （在新标签页中打开）复核日期 2026-11-05 - PerplexityBot
PerplexityBot为 Perplexity 搜索结果索引网站。
Perplexity 官方来源 （在新标签页中打开）复核日期 2026-10-22
训练
2 个标识收集可能用于改进基础模型的材料。
- GPTBot
GPTBot收集可能用于改进 OpenAI 基础模型的内容。
OpenAI 官方来源 （在新标签页中打开）复核日期 2026-10-22 - ClaudeBot
ClaudeBot收集可能用于 Anthropic 模型训练的内容。
Anthropic 官方来源 （在新标签页中打开）复核日期 2026-11-05
用户触发
3 个标识响应实时用户操作抓取页面；robots.txt 行为可能因提供商而异。
- ChatGPT-User
ChatGPT-User为用户发起的 ChatGPT 操作抓取页面。
OpenAI 官方来源 （在新标签页中打开）复核日期 2026-10-22 - Claude-User
Claude-User响应 Claude 用户请求检索网页内容。
Anthropic 官方来源 （在新标签页中打开）复核日期 2026-11-05 - Perplexity-User
Perplexity-User为用户发起的 Perplexity 请求抓取页面。
Perplexity 官方来源 （在新标签页中打开）复核日期 2026-10-22
控制标识
1 个标识用于控制相关产品用途的 robots.txt token，并非独立搜索爬虫。
- Google-Extended
Google-Extended控制 Gemini 的训练和 grounding 用途，不影响 Google 搜索收录或排名。
Google 官方来源 （在新标签页中打开）复核日期 2026-10-22
结果解读
将结果理解为某一时点的策略检查
| 结果 | 含义 |
|---|---|
| 允许 | 当前匹配的 robots.txt 规则允许该爬虫访问测试路径。 |
| 阻止 | 当前匹配的 robots.txt 规则阻止该爬虫访问测试路径。 |
| 未指定 | 没有找到针对该爬虫或测试路径的明确匹配规则。 |
| 未知 | 由于 robots.txt 缺失、不可读取或其他检查限制，无法确定访问状态。 |
允许访问只是第一步
- 01允许
- 02收录
- 03检索
- 04引用
- 05访问
允许不代表会被收录；收录不代表会被检索；检索不代表会被引用；引用也不代表会带来用户访问。
限制
Scopeva 无法验证什么
- 私有索引，或某个 URL 是否已被收录。
- 排名位置或专有检索逻辑。
- 内容是否存在于模型训练数据集中。
- 未来的引用、引荐或爬虫行为。
配置示例
从明确的提供商策略开始
这些简短示例展示如何分别控制不同用途，并非通用建议。部署前请测试与你的网站相关的路径和产品。
OpenAI
允许 ChatGPT 搜索发现，同时阻止独立的训练爬虫。
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Anthropic
允许 Claude 搜索发现，同时阻止独立的训练爬虫。
User-agent: Claude-SearchBot
Allow: /
User-agent: ClaudeBot
Disallow: /Perplexity
允许 Perplexity 搜索爬虫。Perplexity-User 由用户触发，其 robots 行为取决于平台。
User-agent: PerplexityBot
Allow: /常见问题
常见的结果解读问题
“允许”是否代表页面会出现在 AI 答案中？
不会。“允许”只描述一次请求观察到的抓取策略。收录、检索、引用和引荐是独立决策，Scopeva 无法观察或保证。
为什么结果会显示“未指定”？
该爬虫可能没有明确的 user-agent 分组或匹配规则。Scopeva 会报告这种缺失，而不会将它视为提供商的承诺。
robots.txt 能保护私密内容吗？
不能。robots.txt 是自愿遵守的抓取信号，不是访问控制。请使用身份验证和授权保护私密内容。
为什么真实爬虫的行为可能不同？
提供商可能使用缓存策略、独立产品、用户触发抓取器或公开即时检查无法观察到的实现规则。
继续了解