先给结论:自动导出遗漏分页,通常不是“导出失败”,而是分页边界、去重规则或权限范围在某一页被截断。检查完整性要做的不是重跑一遍,而是先锁定遗漏发生在哪一类分页条件上,再决定保留原导出、改写分页逻辑,还是退出自动导出改走分段核对。
同样表现为“少了几页”,原因不同,处理方式也不同。你可以先用下面这组可区分证据做初判:
如果三种现象混在一起,先不要重跑全量。重跑会把原有证据覆盖掉,反而更难判断是哪一类问题。
不必逐条比对,先建立一张三列的核对表:页码、该页实际条数、该页首条与末条的唯一标识。然后按以下顺序检查:
这一步的实际动作是:先冻结当前导出文件,不要覆盖。核对结果会直接决定下一步——如果只是末页边界缺失,改写分页终止条件即可;如果多页随机缺失,则要转向权限与筛选条件。
保留原导出适用于遗漏只出现在末页,且缺失条数可以用总数减已导出数精确算出。此时把缺失部分单独补导一次,再与主文件合并,比全量重跑更省事,也保留了原有核对痕迹。
改写分页逻辑适用于边界遗漏反复出现,或每页条数固定导致整除时末页被跳过。可把终止条件从“页码达到上限”改为“本页返回条数为零”,并让每页携带稳定的排序字段,避免翻页过程中数据位移造成漏读。改写后要重新做一次上面的三列核对,确认新逻辑下每页条数分布正常。
退出自动导出适用于权限遗漏或多数据源混合遗漏。这类问题往往不在分页参数上,继续调分页只会消耗时间。此时改为按数据源分段导出,每段单独核对条数,再合并。代价是人工步骤增加,但能把不可见的权限边界显性化。
假设某次导出设定每页 50 条,共导出 8 页,末页显示 50 条,但导出界面提示总数 401 条。按上面的方法:8 页共 400 条,与总数差 1 条,说明末页边界吞掉了最后一条。此时保留原文件,只补导排序字段大于末页末条标识的记录即可。若总数显示 400 条,但某目标在核对表中只出现一次且原本应跨页,则应先检查去重规则,而不是补导。这个例子的数字仅用于说明比较方法,不代表任何工具的实际行为。
如果某一页抓取量或导出条数突然归零,不要立刻判定为遗漏已修复。归零还可能来自筛选条件被重置、时间范围被改动、账号权限变化,或数据源本身在该时段没有新增。要区分这些解释,可以固定筛选条件与时间范围后重跑同一页,观察归零是否稳定复现。稳定复现才指向分页或权限问题;偶发归零更可能是条件漂移。
最后一步是把核对结论写回流程:明确本次属于哪类遗漏、采用了保留还是改写、下次触发同类现象时先查哪一列。这样完整性检查才不只是一次性动作,而是能影响后续导出配置的依据。