Claude-SearchBot、ClaudeBot 与 Claude-User 的区别

Claude-SearchBot 支持 Anthropic 的搜索结果质量，ClaudeBot 收集可能用于模型训练的公开网页内容，Claude-User 则响应用户请求获取内容。 Anthropic 为三者分别记录了 robots.txt 控制方式。

关键结论

• 用 Claude-SearchBot 决定搜索发现策略。
• 用 ClaudeBot 决定模型训练策略。
• 用 Claude-User 决定用户定向检索策略。
• 把 __usage_ai-training 视为单独的内容使用偏好，而不是爬虫身份。
• Anthropic 表示其机器人遵守标准 robots.txt 指令，并记录了对 Crawl-delay 的支持。
• 允许访问并不保证索引、检索、引用、引荐流量或转化。

对比 Anthropic 代理

因为角色不同，仅按公司统一推断并不可靠。网站可以支持 Claude 搜索发现，同时拒绝模型训练收集，也可以对用户定向获取另作选择。

Scopeva 的共享定义见爬虫类型。

示例：允许搜索和用户检索，阻止训练

User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

Anthropic 表示，限制 Claude-SearchBot 可能降低用户搜索结果中的可见性和准确性；限制 ClaudeBot 表示未来网站材料应排除在模型训练数据集之外；Claude-User 则独立控制用户发起的获取。

AI Training Preference 不是爬虫

Anthropic 还识别显式的 __usage_ai-training policy token。它依据 Internet-Draft 表达一般的 AI 训练使用偏好，不会发起 HTTP 请求，也不是通用爬虫访问封锁。该草案不允许用 User-agent: * 替代这一 token。

Anthropic 说明，明确的 ClaudeBot 规则优先于通用偏好。应把两者分开：ClaudeBot 描述爬虫访问，__usage_ai-training 表达预期内容用途。

常见错误

• 把 ClaudeBot 当作所有 Claude 请求的统一标识。
• 阻止 ClaudeBot 后假设 Claude-SearchBot 或 Claude-User 也被阻止。
• 把 __usage_ai-training 当成第四个 Anthropic 爬虫。
• 假设主域规则自动管辖所有子域。
• 把 robots.txt 当作私密内容的安全边界。
• 把 Allowed 解释为 Claude 一定会检索或引用页面。

使用 Scopeva 检查策略

1. 对生产页面运行 AI 爬虫检查器。
2. 分别检查三种 Anthropic 代理。
3. 用 Robots.txt 测试器测试代表性路径。
4. 对照 robots 评估规则。
5. 修改访问控制前阅读诊断限制。

综合策略见如何为 AI 爬虫配置 robots.txt，OpenAI 对应区别见 OAI-SearchBot、GPTBot 与 ChatGPT-User。