如何为 AI 爬虫配置 robots.txt

配置 AI 爬虫时，应把搜索发现与模型训练、数据使用偏好分开处理。允许 AI 搜索爬虫并不要求同时允许同一提供商的训练爬虫；阻止训练 token 也不会自动让网站从传统搜索中消失。

关键结论

• 使用 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 控制各提供商的 AI 搜索发现。
• 使用 GPTBot 和 ClaudeBot 控制模型训练偏好。
• Anthropic 的 __usage_ai-training 是单独的内容使用偏好，不是 HTTP 爬虫；明确的 ClaudeBot 规则优先。
• Google-Extended 是用于 Gemini 训练与 grounding 的 robots.txt 控制 token，并非独立 HTTP 爬虫，也不控制 Google Search 的收录或排名。
• 单独处理用户触发型代理。OpenAI 表示 robots.txt 可能不适用于 ChatGPT-User，Anthropic 则记录了 Claude-User 的 robots.txt 控制。
• 允许抓取并不保证索引、检索、引用、引荐流量或转化。

把每个 token 对应到一个决定

最安全的策略评审从产品结果出发，而不是从公司名称出发。自动发现、模型开发和实时用户请求属于不同操作，因此一个提供商可能发布多个 token。

在把两个代理视作同类之前，请查看共享的爬虫类型定义。

示例：允许 AI 搜索，阻止训练使用

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Disallow: /

这只是策略示例，不是通用建议。部署前应核对发布目标、合同义务和提供商当前文档。

提供商差异

OpenAI

OpenAI 表示 OAI-SearchBot 和 GPTBot 的设置相互独立。网站可以允许前者获得 ChatGPT 搜索可见性，同时通过后者表达不参与模型训练抓取。ChatGPT-User 属于用户触发型请求，OpenAI 说明 robots.txt 可能不适用。

Anthropic

Anthropic 分别记录用于模型开发的 ClaudeBot、搜索优化的 Claude-SearchBot 和用户定向检索的 Claude-User。它还识别 Internet-Draft 中显式的 __usage_ai-training 内容使用偏好；这不是爬虫，而且明确的 ClaudeBot 规则优先。

Perplexity

PerplexityBot 为 Perplexity 搜索索引网站。Perplexity-User 用于用户发起的请求，是另一项独立决定，其 robots 行为可能不同。

Google

Google-Extended 控制现有 Google 爬虫已获取内容能否用于未来 Gemini 训练和 grounding，不影响 Google Search 的收录或排名。

常见错误

• 阻止 GPTBot 后假设 OAI-SearchBot 也被阻止。
• 阻止 Google-Extended 后期待页面从 Google Search 消失。
• 只需限制一个产品行为时却使用 User-agent: *。
• 把 robots.txt 当成访问控制。
• 修改应用路由后忽略 CDN 仍缓存旧的根路径 /robots.txt。
• 只测试 /，没有测试代表性页面和资源路径。

使用 Scopeva 检查已部署策略

1. 用 Robots.txt 测试器验证语法和代表性路径。
2. 对生产 URL 运行 AI 爬虫检查器。
3. 对照 robots 评估规则和结果状态定义。
4. CDN、重定向、主机名或部署发生变化后重新检查。

Allowed 只描述 Scopeva 观察到的公开信号。在推断提供商最终行为之前，请阅读诊断限制。