先给结论:不要急着删页或改数据,而要先判断“不一致”是同一对象被重复计数,还是报告把非对象页也算进了页数。前者的去重对象是重复记录,后者的去重对象是统计口径。判断依据是抽样核对:从报告里抽几条记录,回到实际对象列表逐条对照,看重复的是同一对象的不同记录,还是同一页里混入了列表页、筛选页、分页或参数页。
报告页数大于实际对象数量,常见原因有两类。第一类是同一对象对应多条记录,例如一个对象同时出现在两个栏目、两个参数版本或两次抓取结果里;第二类是报告把非对象页也计入了页数,例如列表页、筛选组合页、分页和带跟踪参数的地址。两类问题的处理方向相反:前者要合并记录,后者要收窄统计范围。
区分方法是抽样比对,而不是看总数。假设实际对象列表有 80 条,报告显示 120 页,先随机抽 10 条报告记录,逐条标注它是“对应某个对象”“对应多个对象”还是“不对应任何对象”。如果多数记录能对应对象但同一对象反复出现,偏向重复记录;如果大量记录对应的是列表或参数页,偏向口径混入。这个抽样只用于判断方向,不能反过来证明总数一定正确。
当你能确认实际对象清单来自业务系统、且对象标识唯一时,处理动作是让报告向清单对齐。具体做法是给每个对象确定一个稳定标识,例如对象编号或规范化后的地址,再用这个标识在报告记录里做匹配。匹配后只保留每个标识的一条代表记录,其余记录作为重复项单独留存,不直接丢弃。
这样做的结果会直接影响下一步:如果去重后报告页数接近对象数量,说明主要问题是重复记录,接下来应检查记录为什么重复,例如是否来自不同栏目入口或不同参数;如果去重后仍明显多于对象数量,说明口径混入仍然存在,需要继续检查非对象页。把重复项单独留存,是为了在发现误合并时能够回退,而不是为了保留冗余数据。
如果实际对象清单来自人工整理,或者你无法确认它是否覆盖全部对象,就不能直接以清单为准删除报告记录。此时应先在报告内部按稳定标识去重,再把去重后的对象与清单做双向比对:报告里有、清单里没有的对象,先标记为待确认,而不是直接判定为多余;清单里有、报告里没有的对象,也要单独列出。
这个顺序的差别在于风险承担方向。清单可信时,错误主要来自报告重复,删除重复记录风险较低;清单不可信时,错误可能来自清单漏项,先删报告记录会把真实对象一起删掉。待确认列表的作用是把“不确定”集中管理,等确认对象是否真实存在后,再决定合并、保留还是补充进清单。
假设某站点实际有 60 个对象,报告显示 95 页。抽样 10 条后发现:6 条分别对应 6 个不同对象,3 条是同一对象在两个栏目下的重复记录,1 条是筛选参数页。按这个比例,重复记录和口径混入同时存在。此时先按对象编号合并重复记录,再把筛选参数页单独归类,最后重新统计页数。如果新的页数仍高于 60,就继续检查是否还有未识别的非对象页;如果低于 60,则说明合并过度,需要回到原始记录核对被合并的条目是否真的属于同一对象。
需要说明的是,报告页数、抓取量或某项统计归零,都不能单独证明去重处理正确。页数下降也可能是因为报告范围被缩小、抓取未完成或筛选条件变化。判断去重是否成立,最终要回到对象标识和抽样核对,而不是只看总数变化。具体工具当前的统计口径与字段含义,需要以你实际使用的版本和说明为准。