为 balenciaga.com 设计取数证据时,应优先回答“这次返回的是否仍是目标页面”,然后才判断业务字段有没有变化。证据字段的价值在于让 穿云API 的结果可解释,而不是尽可能保存更多数据。
建立最小字段字典
| 字段 | 判断用途 | 异常示例 |
|---|---|---|
| target_url | 记录原始任务范围 | 任务指向未批准路径 |
| final_url | 识别跳转和地区落点 | 落到登录页或无关首页 |
| content_type | 区分 HTML、文件或错误响应 | 预期 HTML 却返回下载文件 |
| body_range | 判断正文是否明显缺失 | 长度突然低于历史下限 |
| page_marker | 确认页面类型 | 标题区或核心模块消失 |
字段不是越多越好
商品列表、产品详情、地区页面和库存展示可能独立变化,因此必须按页面类型建立基线。字段应围绕具体决策设计:如果某个值不会改变重试、暂停、告警或人工检查动作,就不应默认长期保存。这样既降低存储成本,也减少不必要的数据暴露。

基线计算方法
先收集一小段稳定样本,为正文大小、关键区块数量和最终路径建立范围,而不是记录一个绝对值。模板轻微调整可以落入观察区间;页面身份变化、字段整体缺失或持续越界才进入异常队列。
证据记录示例
- 请求时间和规则版本,用于重放当时判断。
- 目标 URL 与最终 URL,用于识别跳转。
- 正文范围和关键区块布尔值,用于快速筛选。
- 异常类别和后续动作,用于避免无效重复请求。
保留与访问控制
正常运行可以只保留摘要字段;失败样本按短期窗口保存,并限制访问人员。规则调试完成后,应删除不再需要的原始页面。对于包含个人信息、权利声明或来源不明的页面,应直接转人工判断。
上线检查清单
- 每个字段都有明确用途和负责人。
- 字段缺失会触发确定的处理动作。
- 阈值来自真实样本,而不是随意设定。
- 日志存在过期时间和删除方式。
常见问题
状态码正常是否代表页面可用?
不代表。还要验证最终 URL、内容类型、正文范围和页面标记。
失败时需要保存完整 HTML 吗?
通常不需要长期保存。可在受控短期窗口保留最小失败样本,完成排查后删除。
