解决方案

完成一项具体的网站任务。

按照有可靠来源支持的步骤，配置爬虫访问、测试指令并诊断公开网站信号。

AI 搜索

AI 爬虫检查器

在不覆盖现有 robots.txt 策略的前提下，分别表达对 OpenAI 搜索发现与模型训练抓取的偏好。

AI 爬虫检查器

将 Anthropic 搜索使用的爬虫与 ClaudeBot 训练内容收集、Claude-User 用户请求分开测试。

HTTP 响应头

检查最终 HTTP 响应中可能不会出现在页面 HTML 里的索引与搜索展示指令。

站点地图分析器

确认索引格式有效、子站点地图文档可访问，并检查其中列出的 URL 是否代表你希望搜索引擎发现的规范页面。

Robots.txt 测试器

通过实际测试爬虫与路径如何命中通配符规则，避免只凭肉眼推断文件行为。

CSP 调试器

从被阻止的脚本追踪到实际生效的 CSP 指令，再测试范围明确的来源、nonce 或 hash 修改，避免削弱整个策略。