OAI-SearchBot、GPTBot 与 ChatGPT-User 的区别

OAI-SearchBot 用于 ChatGPT 搜索发现，GPTBot 用于抓取可能被用于改进 OpenAI 生成式 AI 基础模型的内容，ChatGPT-User 则为特定用户操作获取页面。 三者用途和控制方式相互独立。

关键结论

• 若希望合格页面可被 ChatGPT 搜索发现，可允许 OAI-SearchBot。
• 使用 GPTBot 单独控制模型训练抓取。
• 不要用 ChatGPT-User 代替搜索爬虫策略；OpenAI 将其描述为用户触发型代理，并说明 robots.txt 可能不适用。
• 即使允许访问，爬虫仍可能遇到 HTTP 错误、页面级指令、认证或渲染问题。
• 允许访问从不保证索引、检索、引用、引荐流量或转化。

三种 OpenAI 代理承担不同任务

OpenAI 表示自动搜索与训练设置相互独立。为减少重复请求，一次抓取的结果可能被用于所有已获允许的用途，但站长面对的策略选择仍然彼此分开。

Scopeva 使用的标准化定义见爬虫类型。

示例：允许搜索，阻止训练

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

这个示例表达两个决定：允许 OAI-SearchBot 为 ChatGPT 搜索功能抓取，并要求 GPTBot 不为模型训练用途抓取。它不保证页面一定出现在回答中。

不要通过阻止 ChatGPT-User 来控制自动化 ChatGPT 搜索。OpenAI 指示发布者使用 OAI-SearchBot 控制搜索退出，并说明 robots.txt 可能不适用于用户发起的 ChatGPT-User 请求。

常见错误

• 假设一个 OpenAI user-agent 控制所有 OpenAI 产品。
• 阻止 GPTBot 后期待页面从 ChatGPT 搜索中消失。
• 允许 OAI-SearchBot 后把引用描述为必然结果。
• 把 ChatGPT-User 当作持续运行的索引爬虫。
• 忽略子域名自己的 /robots.txt。
• 部署后没有考虑 robots.txt 缓存。

使用 Scopeva 检查策略

1. 用 AI 爬虫检查器检查生产 URL。
2. 确认 OAI-SearchBot、GPTBot 和 ChatGPT-User 作为独立结果显示。
3. 用 Robots.txt 测试器检查代表性路径。
4. 对照 Scopeva 的 robots 评估模型。
5. 修改生产策略前阅读结果状态和限制。

跨提供商配置请继续阅读如何为 AI 爬虫配置 robots.txt，背景知识见什么是 AI 爬虫？。