当页面从几十个涨到几百上千个,手工逐页改标题、提交链接、核对索引状态会迅速变成瓶颈。判断标准不是“手工能不能做完”,而是这项工作是否要求对每个页面做一次性判断。如果答案是肯定的,它就该继续人工;如果它只是在重复同一套规则,就该交给模板、批量脚本或接口处理。下面用一份你手头常见的资料——比如一张记录着全部页面标题和收录状态的表格——逐步拆出可执行的处理方案。
把表格里每一列标上性质。标题、描述、正文主题这类字段,需要结合页面意图和用户搜索习惯来确定,属于判断工作,规模再大也不该完全交给规则,规则只能给候选,人来定稿。而“是否已提交”“上次抓取时间”“当前返回状态码”这类字段,属于搬运工作,它的值来自系统而非来自你的判断,手工复制只会引入误差和延迟。
一个可区分的证据是:当你把同一批页面交给两个人手工处理,搬运类字段的结果应当完全一致,判断类字段则允许出现分歧。如果某列在两个人手里反复对不齐,先别急着定谁对,而要问这列到底该由规则生成还是由人裁定。
以下四类在页面数量上升后,手工的边际成本几乎不下降,而错误率会随疲劳上升。
多个角色对同一事实理解不同,最常见的是运营说“这批页面都提交了”,技术说“日志里没看到抓取”。与其争论,不如把分歧写成一张可核对的清单,每一项都指向一个可观察的对象。
这样做的结果是,讨论从“到底做没做”变成“第三列缺了 40 行,是谁的导出范围没覆盖”。分歧一旦落到具体行,就能被验证,也能被关闭。这一步不需要任何新工具,用现有表格就能完成,关键是先把口径写死在表头里。
假设某站点从 80 个页面扩到 500 个,运营打算继续手工维护全部标题和提交记录。按每页 3 分钟估算,一轮就是约 25 小时,且第二轮还会重来。这里的分工可以这样切:
假设这样做之后,人工时间从 25 小时降到约 3 小时,省下的时间用于那 30 个核心页。注意这只是说明比较方法的假设数字,不是任何真实项目的成果。它的意义在于帮你判断:省下来的时间是否投到了真正需要判断的地方。
把搬运工作交出去之后,不要立刻用“收录量涨没涨”来验收。抓取量、提交量、收录量中的任何一项变化,都可能来自抓取预算调整、站点改版、甚至统计口径变化,单一指标归零或跳升都不能单独证明处理正确。更稳的做法是固定一个观察周期,同时看三件事:异常 URL 是否在减少、模板生成字段是否出现成片语义错误、核心页面的人工改动是否真的落地。
如果异常在减少而核心页面质量没有下降,说明分工切对了,可以继续把更多规则化字段交给模板;如果模板字段开始出现大量不自然表达,说明规则本身需要人重新审定,这时该增加的是规则维护的人力,而不是退回逐页手工。判断的落点始终是:这项工作的产出,究竟来自一次性判断,还是来自一套可复用的规则。