先给结论:去重不要从“页数”下手,而要从“对象身份”下手。报告里的页数通常是抓取或匹配次数,不等于独立URL、独立页面或独立主题。你该先判断不一致来自参数化URL、分页、筛选组合,还是同一内容的多路径入口,再决定是合并到规范对象,还是保留为独立对象分别跟踪。只有确认“多条记录指向同一可索引对象”时才合并;如果它们各自能被用户独立到达并有不同内容,就应保留并分组。
第一种是重复计数:同一篇文章因带追踪参数、排序参数或会话参数被记录多次,报告页数明显大于实际内容数。第二种是对象拆分:列表页的每一页、每个筛选组合、每个分页都是独立URL,工具按URL计数,而你的“实际对象”按内容主题计数。两者处理方式相反。前者要去重合并,后者要保留但归组。
判断依据可以看三点:这些URL返回的内容是否几乎相同;是否只有一个版本能被站内链接稳定指向;用户是否会因为看到另一个版本而认为内容重复。若三条都指向“同一内容”,按重复计数处理;若筛选页各自提供不同商品或不同文章集合,按对象拆分处理。
当重复主要来自已知参数,先建立可复用的规范化规则,而不是逐条手工删。典型动作是把URL按协议、主机名、路径、查询参数白名单做归一化:保留真正影响内容的参数,剔除追踪类、会话类、排序类参数。例如假设某报告把 <a href="/list?page=2&utm_source=x"> 和 <a href="/list?page=2"> 记为两条,归一化后应合并为同一对象。
动作落地后,下一步不是立刻改站内链接,而是把归一化前后的数量差做成对照表,确认差额是否全部由已知参数解释。如果仍有无法解释的差额,说明还有未识别的入口或重定向链,需要进入条件二处理。这个顺序能避免把真实独立页面误删。
当站点有成千上万个筛选组合、分页或地区变体时,规则去重会开始失效,因为参数组合本身可能产生真实不同的内容。此时不要一次性全量合并,先按模板抽样:每个模板抽若干条,人工确认它们是否共享同一规范对象。抽样要覆盖不同层级,而不是只抽首页附近。
验证通过后,实施动作分两步:第一步对确认重复的模板加规范指向或从报告口径中排除;第二步对确认独立的模板建立分组标签,让报告按“对象组”而不是按URL计数。结果如何影响下一步:如果合并后报告页数仍高于预期,说明剩余差额来自对象拆分而非重复计数,应转向分组统计;如果合并后数量低于预期,说明误合并了本应独立跟踪的页面,需要回滚规则并缩小参数白名单。
假设某报告显示1200条URL,而编辑认为实际文章只有800篇。不要直接把1200改成800。先按以下顺序归因:
这个例子的数字仅用于说明比较方法。关键动作是先把差额拆到可解释的类别,再决定每一类去重、保留还是继续排查。只有可解释差额接近零时,报告页数才可作为后续监控的稳定基线。
如果筛选页本身是主要流量入口,且不同组合提供不同商品或不同文章集合,就不能按重复计数合并,否则会丢失真实对象。如果分页是用户浏览路径的一部分,也不应简单删除,而应归组统计。反之,如果多个URL只是同一内容的镜像入口,且站内链接只稳定指向其中一个版本,就应合并。
另一个边界是工具口径差异:不同软件对“页数”的定义可能不同,有的按抓取响应计数,有的按索引候选计数,有的按匹配规则计数。具体某款工具的字段含义需要以该工具当前文档或实际输出为准,不能假设所有报告页数都等价。遇到无法判断的参数或模板,先保留原始记录并标注待验证,不要为了对齐数字而强行合并。
最后,去重后的数量变化本身不能单独证明处理正确。请求量、抓取量或报告页数下降,也可能来自抓取预算变化、屏蔽规则调整或工具口径更新。判断是否处理正确,应回到“每个独立对象是否仍有稳定入口、是否仍能被正确统计”这一标准上。