PDF 下载经过跳转后,如何验证 Noindex 响应头
SEO 指南 发布于 6 分钟阅读

PDF 下载经过跳转后,如何验证 Noindex 响应头

你希望读者可以直接下载 PDF,同时让文件本身不出现在 Google 搜索结果中。第一次检查时,下载地址带有 X-Robots-Tag: noindex。跟随跳转后,最终的 PDF 响应却可能缺少这条指令。下面的样例里,连最终的 HEAD 响应都带有该响应头,但完整下载时却没有。

对 PDF,请把指令放在实际提供文件的 HTTP 响应里。Google 支持用 X-Robots-Tag 控制非 HTML 资源,但必须能抓取该地址才看得到指令。需要保密的文件应通过身份验证限制访问。公开 PDF 加了搜索指令后仍可下载。参阅 Google 的 noindex 指南和收录与摘要控制指南。

修复前后实测的 PDF 响应头。修复前,跳转响应和 HEAD 带有 noindex,完整 GET 和 Range GET 均缺失。修复后,两种 GET 响应都带有该响应头。

1. 用完整 GET 跟随下载链接

从访客实际点击的下载链接开始。下面的命令使用本地测试服务,下载入口和文件由两个不同的源提供。先在一个终端运行 node lab.mjs,再打开另一个终端发送请求。检查自己的网站时,把 URL 换成你可控的公开测试下载地址。

url='http://127.0.0.1:4407/download/before'
curl -sSL --max-redirs 5 --max-time 30 -D get.headers -o sample.pdf \
  -w 'final=%{url_effective} status=%{http_code}\n' "$url"

实测最终地址是 http://127.0.0.1:4408/before/sample.pdf,状态码为 200。响应头文件为链路中的每次响应保存一段记录。第一段是带有 X-Robots-Tag: noindex 的 302。最后一段返回 application/pdf,却没有这条响应头。下载得到的是一个有效的单页 PDF。

查看最后一段,确认它对应预期文件。文件较小时,可以打开下载结果核对内容。即使状态码是 200,如果返回的是登录页或 HTML 错误页,也需要单独排查。链路走到了意外地址时,可参考 HTTP 状态码和跳转链排查实操。

2. 对照 HEAD 和字节范围 GET

对同一个入口分别发送以下请求。

curl -sSIL --max-redirs 5 --max-time 30 -D head.headers -o /dev/null "$url"
curl -sSL --max-redirs 5 --max-time 30 -H 'Range: bytes=0-31' \
  -D range.headers -o sample.part "$url"

这个样例刻意让修复前的 HEAD 和 GET 返回不同的响应头。HTTP 预期两者的响应元数据大体一致,但只有生成正文时才能确定的字段可以例外。服务器也可以忽略 Range 请求,返回 200 和完整文件。因此,请选用你可控的小文件,并记录实际响应。如果服务会返回部分内容,Range 请求可用来检查这条额外的交付路径。完整 GET 仍是主要验收依据。参阅 RFC 9110 的 HEAD 说明和范围请求说明。

文件的最终响应修复前修复后
HEAD,200noindexnoindex
完整 GET,200,589 字节缺少响应头noindex
Range GET,206,32 字节缺少响应头noindex

六次请求都跟随了一个 302。两次 Range 响应均为 Content-Range: bytes 0-31/589。把 url 换成 http://127.0.0.1:4407/download/after,重复请求即可看到修复后的响应。修复前后的完整 PDF 字节一致,变化发生在交付响应头。实测响应来自本机回环环境,使用 curl 8.7.1 抓取。

3. 核对文件所在源的抓取规则

从 GET 输出中找到最终 URL,按它的协议、主机和端口查看根目录下的 /robots.txt。样例中,http://127.0.0.1:4408/robots.txt 返回 200,并在 User-agent: * 下声明 Allow: /。线上下载可能跳到另一个主机,例如公共文件 CDN,规则也可能与链接所在站点不同。参阅 Google 对 robots.txt 作用范围的说明和 robots.txt 指南。

对使用标准 HTTP 或 HTTPS 端口的公开 URL,可用 Fennec robots.txt 检查工具读取该源的规则。把适用的爬虫规则与最终 PDF 路径逐一核对。检查 X-Robots-Tag 时,请回到保存的 GET 响应头。这个工具接收网站或公开资源 URL,返回的是 robots.txt 信息。

另一次检查把 W3C 示例 PDF 地址输入本地运行的 Fennec 检查接口。接口读取了 https://www.w3.org/robots.txt,该请求返回 200 和 text/plain。实测输出记录了检查器实际请求的地址。

交接时,保存入口 URL、最终 URL、最终状态码、内容类型和响应头值。服务使用字节范围时,再附一份 Range 响应。如果完整 GET 缺少响应头,检查实际提供文件的服务策略,然后重复相同请求。如果 Google 已经列出该 PDF,可按收录故障排查流程区分当前响应和 Google 上次处理的版本。本机记录验证的是 HTTP 交付,Google 的抓取和收录结果需要另行取证。

Privacy & Cookies

We use cookies to enhance your experience. By continuing to visit this site you agree to our use of cookies.