Robots.txt 测试器文档

01

抓取网站或粘贴文件

URL 模式从网站源站请求公开 robots.txt；粘贴模式完全在浏览器中运行，适合尚未部署的草稿或配置。

robots.txt 只适用于其所在的协议、主机和端口，请测试爬虫实际访问的同一 origin。

02

规则如何匹配

Google 兼容模式会选择最具体的产品标识，合并同等具体性的重复分组，且不会把专用分组与 User-agent: * 合并。比较对象是区分大小写的路径和查询串，fragment 会先被移除。

末尾 $ 锚定路径和查询串的结尾。较长规则优先；同等具体性下 Allow 胜出。比较前会规范化 percent-encoded URL 形式。

• 测试准确路径和查询串
• 仔细检查通配符与 URL 结尾模式
• 把提供商配置视为兼容模型，而不是通用保证

03

robots.txt 做不到什么

robots.txt 控制抓取请求，不是认证或保密机制。公开 URL 仍可能通过链接被发现，不同服务也可能采用额外策略。

若目标是索引控制，请使用页面级 robots 指令；若内容必须保密，请使用访问控制。