百度蜘蛛抓取入口页正常但深层链路失效时先查哪一层
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4df6f88dee53.html
📄
百度蜘蛛抓取入口页正常但深层链路失效时先查哪一层
优先怀疑“链接发现层”而不是“页面内容层”：入口页能被抓取，只说明百度蜘蛛拿到了这一页，并不代表它愿意沿页面里的链接继续走到深层。先用日志或抓取工具确认蜘蛛是否真的请求过第二跳 URL，再决定是修链接结构还是修单页可访问性。若日志显示第二跳 URL 有请求但返回异常，结论就要反过来，断点落在响应层而非发现层。
先分清“没走到”和“走到了但失败”
这两种情况的修复动作完全不同。入口页正常时，深层链路失效通常只有两种表现：
- 没走到：入口页被抓取，但日志里找不到第二跳 URL 的请求记录。问题在链接是否可被跟随。
- 走到了但失败：第二跳 URL 有请求记录，但状态码异常、内容为空或跳转到别处。问题在该 URL 本身的响应。
判断依据是同一时间窗内的服务端访问日志，按百度蜘蛛 UA 过滤后，对比入口页 URL 与深层 URL 的请求条数。如果深层 URL 请求数为零，不要急着改页面正文，先检查入口页里那条链接的写法。
链接可跟随性：最容易被忽略的断点
链接写在 HTML 里不等于蜘蛛会跟随。以下写法会让深层 URL 停在入口页之外：
- 链接由 JavaScript 在点击后才插入 DOM，初始 HTML 中没有
<a href>。 - 链接指向的 URL 需要登录态、Cookie 或特定 Header 才返回正常内容。
- 入口页对蜘蛛返回的 HTML 与对普通用户返回的 HTML 不一致，链接只出现在用户版本里。
- 链接被
rel="nofollow"或 robots meta 限制跟随。
动作：用“以百度蜘蛛 UA 请求入口页”的方式取回原始 HTML，而不是看浏览器渲染后的结果。在返回的 HTML 源码里搜索深层 URL 是否以可点击链接形式存在。若源码中没有该链接，结果就是“没走到”，下一步应把关键深层入口改为服务端输出的 <a href>，再观察日志中第二跳请求是否出现。这一步的结果直接决定后续：链接出现后仍无请求，才需要继续查响应层。
响应层：有请求但拿不到有效内容
如果日志显示第二跳 URL 被请求过，断点通常在响应本身。按代价从低到高排查：
- 看状态码：5xx 说明服务端不稳定，4xx 说明 URL 规则或权限有问题，3xx 要确认最终落点是否仍是目标内容。
- 看返回体：状态码 200 但正文为空、只剩框架代码或提示脚本，等于没有可索引内容。
- 看是否被跳转链消耗：多次跳转后落到首页或错误页，蜘蛛拿到的是替代内容。
这里有一个反例会让上面的顺序失效：如果入口页本身是低频更新的列表页，深层 URL 请求数为零也可能只是抓取预算还没轮到，而不是链路断了。区分方法是换一个已知高频被抓取的入口页做同样测试；若那个入口页的深层 URL 有请求，说明原入口页的问题更可能是优先级或更新频率，而非链接不可跟随。
两种做法的取舍：先修入口还是先修深层
确认断点后，常见取舍是“先补入口链接”还是“先修深层页面响应”。选择条件如下：
- 若日志中深层 URL 请求数为零，且源码里没有可跟随链接，先修入口。代价是改动可能影响入口页布局或渲染逻辑，需要回归测试。
- 若深层 URL 有请求但状态码或内容异常，先修深层响应。代价是若深层页面数量大，需要先按模板归类，避免逐页修改。
- 若两者都不确定，先用一个深层 URL 做最小验证：在入口页加一条服务端输出的直链，等下一次抓取窗口后看该 URL 是否出现请求。这个动作的结果会告诉你断点究竟在哪一层，再决定投入哪一边。
不要用 robots.txt 限制抓取来“清理”失效链路，抓取限制不等于可靠的索引移除；站点地图存在也不保证深层 URL 会被抓取。若深层 URL 依赖 HTTPS，也要知道 HTTPS 不保证安全无漏洞或排名，它只解决传输层问题，不解决链接发现和响应内容问题。
下一步：用一次对照抓取收口
选一个入口页和一个深层 URL，分别记录三件事：入口页对百度蜘蛛返回的源码中是否存在可跟随链接、深层 URL 在同一时间窗内是否有请求、该请求的状态码与正文是否有效。把这三项写成一行结论，例如“源码无链接、深层无请求”或“深层有请求、返回 200 但正文为空”。结论落在哪一项，下一步就只改那一层，改完后用同一组 URL 再取一次日志对照，确认请求记录或响应内容是否发生变化，再决定是否扩大到同类模板。
