robots.txt 是什么？网站抓取规则与配置入门指南

📍 WDQWDWQD987AAAAA:216.73.217.58
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6f96faab3679.html
📄

robots.txt 是放在网站根目录下的纯文本文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它属于爬虫协议的一部分，虽然不具强制力，但主流搜索引擎都会自觉遵守，因此是网站 SEO 基础配置中不可忽视的一环。

robots.txt 的基本语法

文件由若干条记录组成，每条记录以 User-agent 开头，配合 Allow 和 Disallow 指令指定路径规则。例如禁止所有爬虫抓取后台目录，可以写成：User-agent: * 与 Disallow: /admin/。需要特别注意的是，Disallow 后留空表示允许抓取全部内容，而写为斜杠则表示屏蔽整站。

常见配置场景

• 屏蔽后台、购物车、搜索结果等无收录价值的动态页面。
• 通过 Sitemap 指令声明站点地图位置，帮助爬虫快速发现内容。
• 开发测试环境用 Disallow: / 阻止搜索引擎收录，上线后及时移除。

使用 robots.txt 的注意事项

robots.txt 只能控制抓取，不能阻止页面被收录。如果页面已被外链指向，搜索引擎仍可能将其收录，此时应配合 noindex 元标签处理。此外，robots.txt 文件必须可公开访问，且不能用来隐藏敏感信息，因为它本身对所有人可见。

合理配置 robots.txt 能减少爬虫无效抓取、集中权重到重要页面。建议上线前用搜索引擎的抓取测试工具验证规则，避免误屏蔽造成流量损失。