EN

资源

构建更清晰、更易发现的网络。

通过有第一方来源支持的指南理解爬虫访问、发布信号，以及自动化诊断的边界。

精选指南 · AI 搜索

什么是 AI 爬虫？

AI 产品通常为搜索、模型训练和实时用户请求使用不同代理，因此应分别评估对应控制策略。

阅读指南

按主题浏览

按问题整理的专注指南

AI 搜索

Anthropic · Claude-SearchBot

Claude-SearchBot、ClaudeBot 与 Claude-User 的区别

比较 Anthropic 的搜索、模型开发和用户触发型代理，并分别配置各自的 robots.txt 策略。

核查于 2026年11月5日

阅读指南 →

OpenAI · OAI-SearchBot

OAI-SearchBot、GPTBot 与 ChatGPT-User 的区别

比较 OpenAI 的搜索、训练和用户触发型代理，独立配置 robots.txt，避免阻止错误的产品行为。

核查于 2026年10月22日

阅读指南 →

AI 爬虫 · AI 搜索

什么是 AI 爬虫？

了解 AI 搜索、模型训练和用户触发型爬虫如何发现网站内容并标识自身。

核查于 2026年10月22日

阅读指南 →

抓取与索引

robots.txt · AI 爬虫

如何为 AI 爬虫配置 robots.txt

分别控制 AI 搜索、模型训练和用户触发型检索，避免阻止错误的产品行为。

核查于 2026年11月5日

阅读指南 →

网站诊断

HTTP 响应头 · 抓取

面向抓取、SEO 与安全的 HTTP 响应头

查看影响抓取、缓存、重定向和浏览器安全行为的响应头。

核查于 2026年10月16日

阅读指南 →

最近更新

最新核查的指南

解决方案

将指南用于具体任务

准备开始操作时，使用简洁的配置与故障排查流程。

如何阻止 GPTBot，同时允许 OAI-SearchBot如何检查 Claude-SearchBot 对网站的访问权限如何检查 X-Robots-Tag 与 noindex 指令如何排查 Content Security Policy script-src 错误
浏览全部解决方案

技术参考

需要产品行为说明而不是背景指南？

技术文档定义 Scopeva 的结果状态、匹配规则、处理边界与安全模型。

浏览文档 →