结论： 公开网页取数要稳定，可先用一张“取数检查清单”把问题拆成可验证步骤：最终 URL、正文长度、关键字段完整度、失败分类与重试证据。
这张清单解决什么
很多团队的痛点不是“请求失败”，而是“表面成功但内容不可用”。清单的目标是让每次取数都能留下可复盘的证据，减少争论与盲目重试。
输入项
准备三类输入：授权的 URL 白名单、每个 URL 的关键块哨兵（例如固定标题段落）、以及可接受的正文长度区间（来自历史正常样本）。
判定规则
| 检查项 | 合格信号 | 需要处理 |
| 最终 URL | 落在授权白名单范围 | 跳转到无关落点或异常短页 |
| 正文长度 | 接近历史基线区间 | 显著偏短或波动过大 |
| 关键块哨兵 | 哨兵存在且稳定 | 缺失或频繁变化 |
| 失败分类 | 可归因（重定向/不完整/变体） | 无法归因，需补证据 |
使用示例
- 当正文长度掉出基线区间，先记录证据，再调整超时与回退策略。
- 当最终 URL 偏离白名单，优先处理重定向链路与目标页变化。
- 当哨兵缺失但正文长度正常，优先检查页面变体与解析规则。
FAQ
清单要做到多细才有用？
第一版只要覆盖最终 URL、正文长度与哨兵即可。等流程稳定后再加入更细的分类与分级。
如果页面经常改版怎么办？
把哨兵选择从“具体 DOM 细节”改为“稳定语义块”，并定期复核基线样本。
这会不会造成过度采集？
不会，只要坚持最小证据原则：保存必要的诊断字段，不采集隐私或敏感个人信息。
