如何检查 Claude-SearchBot 对网站的访问权限

理解 Anthropic 的三个代理

Anthropic 记录了三种爬虫身份：Claude-SearchBot 浏览网络以改善搜索结果质量；ClaudeBot 收集用于模型开发的网络内容；Claude-User 在用户要求 Claude 访问网站时支持用户发起的检索。

三者用途不同，因此针对一个 token 的规则不会自动应用到另外两个。排查时应选择与你想控制的行为相对应的代理。

开始前的准备

选择一个真实、公开的 URL，并记录其主机名与路径。robots 规则按主机名发布，因此 www.example.com 上的规则不会自动控制 docs.example.com。请获取线上 /robots.txt，不要只依赖本地副本。

如果使用 Cloudflare、其他 CDN 或 WAF，还要单独检查机器人与防火墙策略。即使 robots.txt 允许，爬虫仍可能在网络层收到挑战、403、连接失败或不同内容。

检查 robots.txt 规则组

最小的明确允许片段如下：

User-agent: Claude-SearchBot
Allow: /

如果希望单独拒绝模型训练抓取，可以加入：

User-agent: ClaudeBot
Disallow: /

这些片段不是完整的 robots.txt。应保留原有规则组、私有路径规则与站点地图声明，并避免创建互相冲突的重复爬虫组。

单独理解 AI Training Preference

Anthropic 还识别 __usage_ai-training policy token，用于表达对 AI 训练用途的一般偏好。它不是爬虫身份，本身不会阻止 HTTP 访问；该机制目前来自 Internet-Draft，而不是最终 RFC。

User-agent: __usage_ai-training
Disallow: /

该草案要求显式使用这一内容使用偏好，User-agent: * 不能替代它。Anthropic 说明，明确的 ClaudeBot 规则优先于这一通用训练偏好，因此应把爬虫访问策略与内容使用偏好分开理解。

测试目标路径

1. 获取精确主机名对应的公开 robots.txt。
2. 找到适用于 Claude-SearchBot 的最具体规则组。
3. 测试精确路径，并考虑大小写与查询字符串行为。
4. 记录命中的 Allow 或 Disallow 规则，不要只保存状态标签。
5. 跟随重定向后检查目标 URL 的最终 HTTP 响应。

使用 AI 爬虫检查器查看各爬虫结果；使用 Robots.txt 测试器选择 Claude-SearchBot，并针对粘贴或获取的规则测试代表性路径。

区分 robots 策略与实际交付

robots.txt 描述爬虫偏好，不会覆盖 CDN 或源站响应。如果 Scopeva 找到 Allow 规则但页面获取失败，应检查防火墙事件、托管机器人规则、IP 限制、速率限制、重定向和身份验证。

Anthropic 在官方文档中提供爬虫信息。如果需要建立网络层允许规则，应使用提供商当前发布的数据，不要复制过时的第三方 IP 列表。

常见错误

• 需要排查搜索发现，却测试了 ClaudeBot。
• 把 __usage_ai-training 当作爬虫或通用访问控制指令。
• 假设通用通配符组会覆盖明确的 Claude-SearchBot 组。
• 在错误的子域名上编辑 robots.txt。
• 把 robots.txt 返回 200 当成目标页面可访问的证明。
• 把“允许”描述成保证索引或引用。
• 部署后忘记 robots 响应可能仍被缓存。

局限

自动检查只观察 Scopeva 网络在某一时刻看到的公开响应，无法证明 Anthropic 如何安排抓取、处理内容或选择来源。依赖地域的 WAF 规则与提供商缓存可能与检测结果不同；需要请求级确认时，请使用源站或 CDN 日志。