死链接，批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /417ee42d5ed3.html
📄
死链接，批量页面只有一部分被发现时怎样划分对照组
先给结论：不要按“已发现”和“未发现”直接分组，而要先固定一个可复现的发现条件，再按该条件把批量页面分成三组——条件内命中组、条件内未命中组、条件外对照组。前两组用来判断是页面本身的问题还是入口的问题，第三组用来排除“这一批本来就不该被发现”的干扰。只有三组都成立，后续对死链接的保留、改写或退出才有比较价值。
为什么“已发现/未发现”二分法会误导判断
批量页面里只有一部分被发现，最容易被理解成“未发现的那部分有问题”。但发现本身受多个变量影响：入口链接是否可达、页面是否返回可抓取状态、站点地图是否覆盖、内部链接是否指向它。这些变量混在一起时，二分法会把入口问题误判成页面问题。
更麻烦的是，未发现也可能是正常的。比如一批页面本来就只打算通过站内搜索触达，不进入主导航和站点地图，那么它们不被常规抓取发现并不异常。把它和真正该被发现的页面放进同一组，结论就不可用。
所以对照组的意义不是“找一批没问题的页面作陪衬”，而是把发现条件固定下来，让命中与未命中在同一前提下比较。
划分对照组前要固定的三个条件
条件不固定，分组就没有意义。建议在动手分组前先写清以下三项，并保证每组都按同一口径执行。
- 入口条件：这一批页面预期通过哪些入口被发现，是主导航、列表页、站点地图，还是仅站内搜索。不同入口对应不同的预期，不能混用。
- 页面状态条件：页面返回什么状态、是否可抓取、是否被 robots.txt 限制。注意 robots.txt 的抓取限制不等于可靠的索引移除，它只约束抓取行为，不能替代移除处理。
- 观察窗口：从入口上线到检查发现情况之间隔了多久。窗口太短，未发现可能只是还没轮到，不代表有问题。
这三项确定后，再决定哪些页面进哪一组。任何一项中途改动，都要重新分组，否则前后数据不可比。
三组的具体划分与各自作用
条件内命中组
满足全部入口条件、页面状态正常、且在观察窗口内被发现的页面。这组是基准，用来确认“按当前条件，发现是能发生的”。如果这组规模极小甚至为空，说明条件本身有问题，先别急着分析未命中组。
条件内未命中组
同样满足全部入口条件、页面状态正常，但在窗口内未被发现。这才是真正需要解释的对象。把它和命中组逐项比对入口、链接层级、状态码，才能定位差异出在哪个变量上。
条件外对照组
不满足全部入口条件的页面，例如本就不打算进入主导航、仅站内搜索可达的页面。它们的作用是提供“本来就不该被发现”的参照。如果条件外对照组里也有大量页面被发现，说明你的入口条件写错了，需要回到上一步修正。
保留、改写还是退出：按组给不同处理
分组完成后，处理动作应随组别不同，而不是对整批页面统一操作。
- 条件内未命中且入口可达：优先改写入口。补一条从命中组页面指向它的内部链接，或确认站点地图是否真的覆盖。站点地图不保证收录，它只是提交线索，不能因为提交了就认定问题已解决。
- 条件内未命中且入口不可达：这时页面本身可能没问题，问题在链接层。先修复入口，再重新观察一个完整窗口，不要立刻判定页面该退出。
- 条件外对照组：维持原状，作为后续比较的锚点。除非业务上决定让它进入常规入口，否则不要为了“让数据好看”而改动它。
- 确认无价值且入口正常的页面：才考虑退出，并做好重定向或返回合适状态，避免产生新的死链接。
一个实际动作是：先只对条件内未命中组补内部链接，然后等待一个完整观察窗口再复查。如果这组的发现情况改善而条件外对照组不变，说明入口是主因；如果两组都没变化，才需要转向页面内容或状态层面的排查。这个动作的结果直接决定下一步是继续修入口，还是改判页面该退出。
一个注明假设的短例子
假设某批 200 个页面，其中 150 个进入主导航和站点地图，50 个仅站内搜索可达。观察两周后发现 150 个里有 90 个被发现，50 个里有 5 个被发现。
按本文口径：90 个进命中组，60 个进条件内未命中组，50 个进条件外对照组。此时不应说“发现率只有 47.5%”，而应先看那 60 个未命中的入口是否都可达。若其中 40 个的内部链接指向了一个已失效的列表页，那么这 40 个的问题在链接层，修复后重新观察即可；剩下 20 个入口正常却仍未发现，才值得进一步查页面状态。条件外对照组里那 5 个被发现，属于预期外的噪声，提示站内搜索入口可能被外部抓取触及，记录即可，不必据此推翻分组。
这个例子里的数字仅用于说明分组和比较方法，不代表任何真实站点的表现，也不构成对发现速度或收录结果的预期。
容易混淆的两点
第一，抓取量或发现量归零，不能单独证明某个处理正确。它也可能是观察窗口太短、入口刚上线、或抓取预算被其他部分占用。要结合命中组和条件外对照组一起看。
第二，不同搜索引擎对入口、站点地图和状态码的支持情况并不一致，需要分别核查。不要用一家的表现推断另一家。HTTPS 也不保证安全无漏洞或排名提升，它只是传输层的一个条件，和本文的发现分组无关。
把发现条件先固定，再按三组划分，最后按组给不同处理，这样批量页面里只有一部分被发现时，你得到的才是一个可比较、可复现的判断，而不是一次凭印象的取舍。
