robotstxt 是什么?一文讲清 robots.txt 作用与写法

📍 WDQWDWQD987AAAAA:216.73.217.58
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9d2b25016519.html
📄

robotstxt(即 robots.txt)是放在网站根目录下的纯文本协议文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应该避开。它虽然简单,却是网站 SEO 与抓取管理的基础配置。

robots.txt 的核心作用

爬虫访问站点时,会先读取 https://example.com/robots.txt,再按规则决定抓取路径。合理配置能减少无效抓取、保护后台目录、引导爬虫优先访问重要内容。需注意:robots.txt 是建议性协议,不能阻止恶意爬虫,也不应依赖它隐藏敏感信息。

基本写法与示例

示例:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

常见误区与优化建议

  1. 误用 Disallow 屏蔽 CSS、JS,影响搜索引擎渲染理解。
  2. 用 robots.txt 屏蔽整站,导致索引被逐步移除。
  3. 规则冲突时,爬虫通常以更具体的 Allow 优先。

建议上线前用搜索引擎的 robots.txt 测试工具验证,并定期检查文件是否可正常访问。把 robotstxt 与 sitemap、canonical 配合使用,才能让抓取与索引更高效。

图1 图2

nginx