什么是 AI 爬虫？

AI 产品会使用多种自动化代理。把所有代理都视作同一种机器人，可能让最终策略偏离你的真实目标。

爬虫用途并不相同

搜索爬虫为索引和问答体验收集或检索页面；训练爬虫收集可能用于改进模型的材料；用户触发型代理则在实时请求发生时抓取页面。同一提供商可能为这些用途发布不同的 user-agent 名称。

应根据希望控制的行为制定策略，不要假设一条指令可以覆盖同一公司的所有产品。

爬虫能够观察的信号

robots.txt 是许多爬虫首先检查的公开策略信号。页面级 robots meta、X-Robots-Tag、canonical、HTTP 状态和 sitemap 发现会提供更多上下文。

• 策略不同时使用明确的 user-agent 分组。
• 让重要公开页面可通过普通链接到达。
• 返回稳定状态码，避免意外的重定向链。

验证实际部署

检查生产环境的协议和主机名，而不只是测试环境。CDN 可能缓存 robots.txt、注入响应头，或让爬虫经历与本地开发不同的重定向。

Allowed 只表示观察到的配置允许该请求，并不承诺索引、引用、训练使用或进入 AI 回答。

继续阅读 OpenAI 爬虫角色对比 和 Anthropic 爬虫角色对比，或查看完整的爬虫类型定义。