百度收录提交，日志中应该核对哪些字段
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1a42c274c564.html
📄
百度收录提交，日志中应该核对哪些字段
在百度收录提交的过程中，日志里最该优先核对的是能区分“百度蜘蛛是否来过、抓的是哪个地址、拿到的状态码是什么、是否被robots.txt拦截”这几类字段。时间和人手有限时，不必逐行读完整个日志，而是按下面的清单逐项查，先确认抓取事实，再决定是否继续提交或调整页面。
先看请求来源：User-Agent 字段
要查的是每行日志开头的 User-Agent 字符串，看其中是否包含百度蜘蛛的标识，例如 Baiduspider 或移动端对应的标识。查法是在日志里按该关键字过滤，统计出现次数和时间分布。
结果说明：如果完全没有匹配，说明百度蜘蛛近期没有抓取记录，此时反复提交地址意义有限，应先检查 robots.txt、服务器防火墙或 CDN 是否拦截了蜘蛛 IP。如果有匹配，说明抓取已发生，问题更可能出在内容质量或状态码上。
核对被抓取的 URL 与请求方法
要查的是请求行中的路径字段和请求方法。路径能告诉你蜘蛛抓的是首页、栏目页还是具体内容页，而不是你提交的那个地址；请求方法通常是 GET，若出现大量 HEAD，说明蜘蛛只取了头部信息。
查法是把日志中的路径与你通过百度收录提交接口提交的 URL 逐条对照，看是否一致。结果说明：路径不一致，可能是站内链接、跳转或站点地图指向了别的地址；请求方法为 HEAD 较多时，页面正文可能没有被完整读取。
状态码字段决定下一步动作
要查的是每行日志末尾的状态码。常见判断如下：
200：抓取成功，说明蜘蛛拿到了页面，重点转向内容是否被索引。301或302：发生了跳转，要确认跳转目标是否为你希望收录的最终地址。404：蜘蛛访问的地址不存在，检查是否链接写错或页面已删除。403或503：被拒绝或服务不可用，可能是防护策略或服务器压力导致。429：请求过于频繁被限流，需要检查抓取频率设置。
结果说明：状态码长期非 200，百度收录提交即使成功，页面也难以进入索引。优先修掉返回 404 和 5xx 的地址，再谈提交。
检查 robots.txt 拦截记录
要查的是日志中针对 /robots.txt 的请求，以及蜘蛛抓取目标 URL 时是否被规则挡住。查法是先看日志里蜘蛛有没有正常获取 robots.txt，再对照当前 robots.txt 内容，确认目标路径是否落在 Disallow 范围内。
结果说明：如果目标 URL 被 robots.txt 禁止抓取，蜘蛛不会读取页面内容，此时提交地址不会带来收录。需要注意，robots.txt 的抓取限制不等于可靠的索引移除，它只控制抓取，不保证页面一定从结果中消失。
时间和人手有限时的处理顺序
- 先按 User-Agent 过滤，确认百度蜘蛛是否来过。没来过，先排查拦截。
- 有抓取记录后，按状态码分组，把非 200 的 URL 列出来优先修。
- 再核对被抓取 URL 与提交 URL 是否一致，处理跳转和错误链接。
- 最后检查 robots.txt 是否误拦，确认站点地图中的地址可被抓取。
这套顺序的逻辑是：先证明抓取发生，再证明抓取成功，最后才判断内容层面的问题。跳过前两步直接反复提交，通常只是重复劳动。
下一步建议：从日志中导出最近一段时间的百度蜘蛛记录，按上述字段做成一张表，标出状态码异常和被拦截的 URL，先修这些地址，再重新通过百度收录提交入口提交修复后的链接。
