📍 WDQWDWQD987AAAAA:216.73.216.254
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /522a5d49cf54.html
📄

死链优化，同一地址因设备或登录状态返回不同内容怎样对照

对照的核心不是比较两段文字，而是固定同一请求条件后逐项记录：先确认返回状态码是否一致，再确认最终URL是否一致，最后才比较可见内容。如果登录态返回404、匿名态返回200，说明这个地址的响应依赖身份，不能只凭一次抓取就判定它已失效或已修复。

先固定变量，再谈内容差异

同一地址出现不同结果，常见来源有三类：请求头不同（Cookie、User-Agent、Accept-Language）、网络路径不同（CDN节点、地区出口）、服务端会话状态不同。对照时要把这些变量分开，否则你看到的内容差异可能只是缓存命中率不同，而不是死链处理本身出了问题。

假设某站把一个旧商品页做了软删除：匿名访问命中缓存，返回200并显示“已下架”；登录后回源，返回404。此时若只看匿名抓取，会误判为正常页；只看登录抓取，会误判为死链未处理。两种结论都成立，但前提不同，必须把条件写进记录。

用一张对照表记录可核对字段

不要只截图页面。每次请求记录以下字段，才能区分“地址真的坏了”和“只是某类访问者看不到”：

• 请求条件：是否带Cookie、User-Agent字符串、Accept-Language
• 返回状态码与重定向链：301、302、404、410、200分别记下
• 最终URL：是否被跳到首页、登录页或错误页
• 响应头中的缓存标记：Cache-Control、Vary、Age
• 可见正文的首段文字与页面标题

如果两次请求的状态码相同、最终URL相同，只有正文不同，优先怀疑缓存或个性化模块；如果状态码本身就不同，问题在服务端路由或权限判断，内容比较可以暂时放下。

设备与登录态的差异，先看Vary和缓存键

响应头里的Vary会告诉中间缓存：这个地址的响应随哪些请求头变化。若Vary: Cookie缺失，而服务端又按登录态输出不同内容，缓存可能把登录用户的404页面发给匿名用户，或反过来。这时的表现是“同一地址时好时坏”，而不是稳定的死链。

一个可执行动作：对同一地址分别发两次请求，一次带登录Cookie，一次不带，比较Vary和Age。若两次Age差异明显且内容不同，先清理该地址的缓存再复测。清理后若两种条件返回一致，说明此前是缓存分层问题；若仍不一致，才需要检查服务端的权限与路由逻辑。这个动作的结果直接决定下一步是改缓存策略还是改应用代码，而不是继续反复抓取。

状态码一致但内容不同，怎样判断是否算死链

死链优化关心的是“这个地址还应不应该存在”。判断依据不是内容长短，而是页面用途：

• 返回200但正文是“内容不存在”“已下架”且没有替代入口：对用户等同于死链，应考虑改为410或301到相关页。
• 返回200且正文针对登录用户显示不同模块，但匿名用户仍能看到主体内容：属于个性化，不是死链。
• 返回404但实际是权限拦截（未登录看不到）：这是把权限问题伪装成死链，应改为302到登录页或返回403，避免被当成失效地址处理。

这里要说明一个边界：robots.txt限制抓取不等于可靠的索引移除，站点地图也不保证收录。所以对照时不要用“已提交站点地图”或“已屏蔽抓取”当作地址有效的证据，它们和这个地址当前返回什么内容没有直接关系。

假设情境：一次误判如何被纠正

假设某地址在桌面浏览器匿名访问返回200，在移动端登录后返回404。第一反应可能是“移动端死链”。按上面的对照法记录后发现：移动端请求带了登录Cookie，且响应头没有Vary: Cookie；匿名桌面请求命中了CDN缓存。清理缓存并补上Vary后，两种条件都返回200，正文一致。此时结论应改为“缓存键配置不完整”，而不是“移动端地址失效”。

反过来，如果补上Vary并清缓存后，登录态仍稳定返回404，而匿名态稳定返回200，那说明服务端确实按身份做了不同处理。下一步要决定：这个地址对登录用户是否应该存在？若不应存在，统一改为410并给出替代入口；若应存在，修复权限判断，让登录用户也能拿到200。两种走向对应不同的改动，不能靠再抓几次来猜。

把结论写成带前提的句子

对照结束后，记录格式建议写成“在X条件下，该地址返回Y，最终URL为Z”。这样后续复查时，只要条件复现，结论就可核对。若只写“该地址已修复”，下次换设备或换登录态复测出现不同结果，就无法判断是回归还是原本就没修对。死链优化的判断依赖条件，条件不写清，证据就无法复用。