面向抓取、SEO 与安全的 HTTP 响应头

HTTP 响应头会在浏览器或爬虫解析页面正文之前描述响应。少量关键响应头就可能解释索引异常、内容陈旧或安全故障。

面向爬虫的响应信号

状态码和重定向决定爬虫最终收到哪个资源。X-Robots-Tag 可以把索引指令应用到 HTML 与非 HTML 响应，Link 响应头则可以表达 canonical 等关系。

让 HTML canonical、重定向目标和 sitemap URL 保持一致，共同指向同一首选 URL。

缓存与新鲜度

Cache-Control、验证器和 CDN 行为会影响更新后的页面与 robots 策略多久可见。只有在理解失效和新鲜度需求后，激进缓存才真正有用。

• 检查最终生产响应的响应头。
• 检查每一个重定向跳转。
• 确认 robots.txt 和 sitemap 没有继续提供陈旧副本。

安全响应头需要上下文

Content-Security-Policy、HSTS 和 framing 控制可以降低特定浏览器风险，但必须符合应用加载资源和嵌入内容的实际方式。缺少响应头值得评审，却不意味着可以直接复制通用修复。

修改生产配置前，应先确认每个响应头由应用、反向代理还是 CDN 管理。