robots文件怎么写？robots文件作用与配置完整指南

📍 WDQWDWQD987AAAAA:216.73.217.165
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /40f38ef86a92.html
📄

robots文件是网站与搜索引擎爬虫之间的第一道沟通桥梁。正确配置robots文件，既能引导爬虫高效抓取重要页面，也能避免敏感目录被收录。本文围绕robots文件的作用、写法与常见误区展开，帮助站长快速掌握这一基础配置。

robots文件的作用

robots文件（robots.txt）位于网站根目录，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。搜索引擎在访问网站时通常会先请求该文件，再根据其中的规则决定抓取范围。不过robots文件只是建议性协议，并不能阻止恶意爬虫访问，也不能替代内容加密或权限控制。

robots文件的基本写法

robots文件语法简单，主要由User-agent、Allow、Disallow、Sitemap等字段组成。常见示例：

写规则时需要注意顺序，Allow与Disallow同时存在时，匹配更精确的规则通常优先生效，不同搜索引擎的处理细节可能略有差异。

配置robots文件的注意事项

  1. 文件必须放置在域名根目录，文件名全小写，且返回200状态码。
  2. 不要使用Disallow: /封禁整站，除非网站正在维护或需要彻底下线。
  3. 避免把CSS、JS等渲染资源屏蔽，否则可能影响页面收录与排名。
  4. robots文件不能替代noindex，需要移除已收录页面时应配合meta robots使用。

建议每次修改后使用搜索引擎官方工具验证规则，并定期检查robots文件是否被误改。合理配置robots文件，才能让网站抓取更高效、收录更健康。

图1 图2
nginx