robots.txt 是什么？SEO 必备的爬虫协议详解

📍 WDQWDWQD987AAAAA:216.73.217.58
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c0aaf5dde929.html
📄

robots.txt 是网站根目录下的纯文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它遵循“爬虫排除协议”，是 SEO 基础配置中成本最低、收益最直接的一环。

robots.txt 的核心作用

搜索引擎爬虫在抓取站点前，通常会先请求 /robots.txt。通过其中的 User-agent 与 Disallow 指令，站长可以限制后台、搜索结果页、重复内容等路径被索引，从而把抓取配额留给重要页面。

常见指令与写法

• User-agent：指定规则适用的爬虫，如 * 表示全部。
• Disallow：禁止抓取的路径，如 /admin/。
• Allow：在整体禁止下开放特定路径。
• Sitemap：声明站点地图地址，便于爬虫发现内容。

配置时的注意事项

1. robots.txt 必须放在域名根目录，且文件名大小写敏感。
2. 禁止抓取不等于禁止收录，若页面已被外链引用，仍可能出现在结果中。
3. 不要用 robots.txt 屏蔽 CSS、JS 等渲染资源，否则会影响移动友好性评估。
4. 敏感内容应使用登录或 noindex 处理，而非仅依赖 robots.txt。

检查与优化建议

上线前可用搜索引擎站长工具测试 robots.txt 是否生效；同时结合抓取统计，确认重要栏目未被误屏蔽。定期审查规则，避免因路径变更导致旧规则失效。

合理使用 robots.txt，能减少无效抓取、保护站点资源，是每个网站上线前的必做检查项。