如何阻止 GPTBot，同时允许 OAI-SearchBot

何时使用此方案

当你希望公开页面可以被 OpenAI 的搜索系统发现，同时又不希望 GPTBot 为可能的模型训练用途抓取这些页面时，可以使用此配置。OpenAI 将 OAI-SearchBot、GPTBot 与 ChatGPT-User 定义为用途不同的独立代理。

这只是爬虫偏好，不是访问控制。即使 robots.txt 允许抓取，服务器、CDN 或 WAF 仍可能拒绝请求；robots.txt 也不能保护机密内容。

开始前的准备

编辑前先下载或复制线上正在使用的 robots.txt。盘点其中已有的 Googlebot、Bingbot、其他 AI 爬虫、私有路径排除规则和 Sitemap 声明。下面的示例只是需要合并进去的片段，不是完整替换文件。

同时检查 CDN 或 WAF 是否针对 OpenAI 公布的 IP 范围设置了机器人规则。robots.txt 与网络层允许/阻止规则属于不同层级，都会影响最终检测结果。

配置两个爬虫组

为两个 OpenAI 自动爬虫添加明确且独立的规则组：

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

OAI-SearchBot 用于搜索发现；GPTBot 抓取的内容可能用于改进 OpenAI 的生成式 AI 基础模型。OpenAI 说明这些站长控制项彼此独立，即使在两种用途都被允许时，服务端可能复用一次抓取的结果。

不要添加 ChatGPT-User 来控制自动搜索抓取。OpenAI 说明它执行的是用户触发的操作，robots.txt 对此类请求的适用方式可能不同，也不会用它来判断内容是否可以出现在搜索中。

合并时保留现有策略

1. 保留线上已有的所有无关 user-agent 组和站点地图声明。
2. 把两个新规则作为完整组加入，并用空行与相邻规则分隔。
3. 如果已经存在 OAI-SearchBot 或 GPTBot 组，直接编辑原组，避免互相矛盾的重复定义。
4. 同时测试代表性的公开路径和受限路径，不要只测试 /。
5. 部署到对应主机名根目录的 /robots.txt，再从公网重新获取并确认最终内容。

不要假设通用的 User-agent: * 会与特定爬虫组自动合并。例如 Google 的解析器会选择最具体的 user-agent 组，而不会把它与通用组组合。不同爬虫在边缘情况上可能存在差异，因此明确规则更容易审查。

验证部署结果

用公开的生产环境 URL 打开 AI 爬虫检查器。分别检查 OAI-SearchBot 和 GPTBot 两行，并查看结果中显示的 robots.txt 来源与匹配规则。

如需按路径测试，可在 Robots.txt 测试器中粘贴或获取文件，依次选择两个爬虫并输入代表性路径。确认 OAI-SearchBot 命中预期的 Allow，GPTBot 命中预期的 Disallow。

“允许”只表示 Scopeva 对当前 robots.txt 和抓取信号的解释。OpenAI 身份采用明确标注的通用兼容配置，因为提供商的边缘行为可能不同于 Google 解析器。该结果不证明 OpenAI 会索引、检索、排名或引用该页面。

常见错误

• 用两段示例覆盖整个 robots.txt，导致原有策略丢失。
• 阻止 GPTBot 后，误以为页面也会从 ChatGPT 搜索中移除。
• 把 ChatGPT-User 当作自动搜索爬虫。
• 只测试首页，忽略深层路径上的更具体规则。
• robots.txt 已允许，但 CDN、WAF 或源站仍阻止请求。
• 发布敏感 URL，并依赖 robots.txt 保密。

局限

Scopeva 只评估请求发生时可见的公开响应。robots.txt 缓存、基于 IP 的机器人控制、地域规则、临时上游故障和提供商内部处理都可能造成不同结果。缓存失效后应重新检查；需要确认真实爬虫请求时，请查看服务器日志。