收录检查工具：改版或迁移时应核对什么
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /bc3359a54b68.html
📄
收录检查工具：改版或迁移时应核对什么
改版或迁移时，收录检查工具要核对的核心不是“新页面有没有被收录”这一件事，而是旧网址是否仍可访问、新网址是否可被抓取、页面是否被错误地设为不可索引，以及站点地图和内部链接是否已经指向新地址。时间和人手有限时，优先处理会直接导致流量丢失的项：旧URL返回状态、robots限制、canonical标签、站点地图和关键入口链接。
先观察：改版后最容易出问题的四个位置
用收录检查工具或服务器日志观察时，先看以下位置，不要一上来就全站逐页检查：
- 旧网址的HTTP状态：返回301、302、404还是200。返回200但内容已换成新页面，通常意味着缺少跳转。
- 新网址的可抓取性：是否被robots.txt屏蔽，页面是否带
noindex。 - canonical指向：新页面是否仍指向旧域名或错误地址。
- 站点地图与内链：站点地图里是否还列着旧URL，导航和正文链接是否仍指向旧地址。
这些位置之所以优先，是因为它们会直接改变搜索引擎对页面的处理结果。样式、速度、图片压缩可以稍后处理，但抓取和索引信号一旦错误，页面可能长期不被正确收录。
判断：哪些现象说明问题已经定位，哪些只是可能原因
收录检查工具给出的结果需要区分“可能原因”和“已经定位的原因”。例如，工具显示某新页面未收录，可能原因包括：页面被robots.txt屏蔽、带noindex、canonical指向其他页面、内部没有入口链接、服务器返回异常状态。只有当你逐项核对后，才能说问题已经定位。不要因为一个现象就断定唯一原因。
一个可执行的判断顺序是：
- 用工具或命令行请求该URL，记录HTTP状态码。
- 查看页面HTML中的
<meta name="robots">和canonical。 - 检查robots.txt是否屏蔽了该路径或整站。
- 检查站点地图是否包含该URL，以及站点地图本身是否可访问。
- 检查至少一个站内入口链接是否指向该URL。
如果第1步返回404或500，先修服务器和跳转；如果第2步发现noindex，先移除；如果第3步发现屏蔽，先调整robots.txt。每一步的结果不同，处理优先级也不同。
处理：时间和人手有限时的最小核对清单
假设一次迁移涉及1000个旧URL，人手只够处理最关键的200个。此时不要平均用力，按以下顺序处理：
- 先处理有外链和自然流量的旧URL：这些地址如果返回404，损失最直接。把它们301到最相关的新URL。
- 再处理栏目页和首页：这些页面通常是抓取入口，确保它们返回200且可索引。
- 然后检查站点地图：只保留新URL，移除旧URL，并确认站点地图地址已在robots.txt中声明。站点地图不保证收录，但它是发现新地址的辅助入口。
- 最后抽查详情页：按模板抽查，而不是逐页看。如果模板正确，多数页面通常一致；如果模板错误，优先修模板。
处理跳转时，301优于302，因为301表示永久迁移。不要用robots.txt屏蔽旧URL来代替跳转：robots.txt限制抓取，不等于可靠的索引移除，旧URL仍可能留在索引中，且新URL也得不到跳转信号。
复查：改版迁移后需要再次核对的项目
处理完成后，隔一段时间用收录检查工具复查以下项目：
- 旧URL是否返回301，且跳转目标返回200。
- 新URL是否可被抓取，是否仍带
noindex。 - canonical是否指向自身或正确的新地址。
- 站点地图是否只包含新URL，且能正常访问。
- 关键内链是否已更新，不再指向旧地址。
复查时不要只看“收录数量”一个数字。收录数量受抓取频率、页面质量和时间影响，短期波动不一定说明迁移失败。更可靠的判断是：关键旧URL是否完成跳转、关键新URL是否可被抓取和索引。
另外，HTTPS不保证安全无漏洞或排名，它只是迁移中需要确认的一项。不同搜索引擎对站点地图、robots.txt和canonical的支持情况须分别核查，不能用一个平台的结果推断所有平台。
下一步：从服务器日志或收录检查工具中导出改版前后各一周的URL列表，按“有外链”“有流量”“栏目页”“详情页”分组，先处理前两组中返回404或缺少跳转的地址。
