robots文件怎么写：robots.txt 基础语法与常见误区

📍 WDQWDWQD987AAAAA:216.73.216.191
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /660ef62d45f3.html
📄

robots文件（通常命名为 robots.txt）是网站与搜索引擎爬虫之间的一份“君子协定”，它告诉爬虫哪些目录可以抓取、哪些应当避开。正确配置 robots.txt 能减少无效抓取、保护后台目录，但配置错误也可能导致页面无法被收录。

robots文件的基本语法

robots.txt 是纯文本文件，必须放在网站根目录下，通过 https://example.com/robots.txt 访问。其核心指令包括：

• User-agent：指定规则适用的爬虫，如 Googlebot、Baiduspider，用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，值留空表示允许全部抓取。
• Allow：在禁止目录中开放特定路径，优先级通常高于 Disallow。
• Sitemap：声明站点地图地址，便于爬虫发现重要页面。

常见误区

1. 把 robots.txt 当作禁止收录的工具。Disallow 只阻止抓取，被禁止的 URL 仍可能因外链被索引，正确做法是结合 noindex。
2. 误用通配符与结尾符。* 匹配任意字符，$ 表示路径结尾，规则顺序和匹配长度会影响最终结果。
3. 忽视大小写与路径层级。路径区分大小写，Disallow: /admin 不会阻止 /Admin。
4. 在 robots.txt 中泄露敏感目录，反而给攻击者提供线索。

实践建议

上线前使用搜索引擎的 robots 测试工具验证规则；不要在 robots.txt 中屏蔽 CSS、JS 等影响渲染的资源；定期检查文件是否因误操作返回 404 或 500。对于电商、内容站点，建议配合 Sitemap 与规范化标签，形成完整的抓取与索引策略。