2026年一次robots.txt误封导致流量暴跌的排查复盘

背景：一个日均5000UV的企业站，突然只剩300

去年我接手了一个企业*的运维，站点规模不大：日均UV 4800～5200，核心词在百度PC端排第3，移动端第7。服务器是阿里云2核4G，装了宝塔面板，跑WordPress 6.4，主题是正版买断的。按理说这种配置日常没什么大问题，直到今年3月的一天，运营在群里甩了张图：百度统计实时访客掉到300出头，搜索流量几乎归零。

我先确认了两件事：服务器没挂——SSH能连，Nginx返回200；CDN没欠费。但百度站长平台的抓取频次从日均4000次跌到两位数，索引量开始往下掉。这基本可以锁定不是死机，而是搜索引擎主动不来了。

更多信息请查看 全国信息分布。

排查：从状态码到robots.txt的逐层定位

我的排查顺序是这样的，也推荐你按这个走：

• curl -I https://www.example.com 看返回头，确认HTTP状态码是200而不是403/503。
• 看Nginx日志里百度蜘蛛的UA（Baiduspider）请求量，我拉了一天日志发现蜘蛛请求几乎为零。
• 去百度站长平台“抓取诊断”跑一个首页，工具直接报“robots.txt 禁止抓取”。

到这就定位了：问题出在robots.txt。我打开https://www.example.com/robots.txt一看，第一行赫然写着：

User-agent: *
Disallow: /

下面还跟着几行Disallow: /wp-admin/之类。也就是说，全局禁止所有蜘蛛抓取。这个文件根本不是我们写的——大概率是某个“SEO插件”升级后，或者主题里预置的默认配置被自动生成了。更坑的是，这个文件是3天前被修改的，而那天正好有个新同事在后台点了一个“一键优化”按钮。

解决：清理误封并恢复抓取

处理动作分三步：

第一步，修正robots.txt。把全局禁止改成只屏蔽后台和动态参数：

User-agent: *
Disallow: /wp-admin/
Disallow: /*?s=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap.xml

注意Sitemap行要写绝对地址，且必须用https。改完用curl https://www.example.com/robots.txt验证返回内容，别只信后台预览。

第二步，主动推送。在百度站长平台提交sitemap，并用“普通收录”的API推送最新URL。当天推了约200条，配合抓取诊断重新申请。

第三步，观察日志。改完第2天，Baiduspider的请求量回升到1200次/天；第5天恢复到3000+；第8天搜索流量回到原来的85%。索引量大概用了12天才完全恢复。

有个细节：如果robots.txt误封超过30天，搜索引擎可能大幅降低对你站点的信任度，恢复周期会拉长到1～2个月。所以越早发现越好。

踩过的坑与检查清单

这次踩的坑主要有三个：一是太相信后台“一键优化”，没看它到底改了什么文件；二是没给robots.txt做版本备份，出事后只能靠记忆还原；三是没有监控蜘蛛抓取量，等流量掉了才发现，滞后了3天。

整理一份robots.txt自查清单，建议存到运维笔记里：

• 打开/robots.txt，确认没有Disallow: /这种全局禁止。
• 检查User-agent是否有针对Baiduspider或Googlebot的特殊规则。
• Sitemap地址是否可访问，返回200且内容为XML。
• robots.txt本身不能被密码保护或返回403。
• 后台安装的SEO插件若带“自动生成robots”功能，关掉或锁死文件权限（chmod 644，属主非Web进程）。
• 每周用curl -I抽查一次，或者接入百度站长平台的抓取异常提醒。

FAQ：关于robots.txt的几个高频疑问

Q：robots.txt写错了，搜索引擎多久会重新抓？
A：没有固定时间。百度通常几小时到一天内会重新抓取robots.txt，但重新收录页面要更久。主动在站长平台提交能加速。

Q：用Disallow: /屏蔽测试站，上线后忘了改，会怎样？
A：这就是我这次的情况。上线后如果蜘蛛来过并读到禁止规则，它会停止抓取，索引会逐步消失，流量会断崖式下跌。

Q：robots.txt能屏蔽具体目录吗？
A：可以，比如Disallow: /tmp/。但注意它不支持正则，别写*通配符去匹配路径，容易误伤。

总结建议

robots.txt是个几行文本就能决定整站流量生死的东西，但它太容易被忽略。我的建议是：把robots.txt纳入变更管理，任何修改都记录时间和内容；关掉插件自动生成权限；把蜘蛛抓取量加入日常监控。这次从流量暴跌到恢复用了8天，如果没及时发现，损失会大得多。别等流量归零了才去翻这个文件。