robots.txt 是网站与搜索引擎爬虫之间的“君子协定”,它告诉爬虫哪些页面可以抓取、哪些应当避开。正确编写 robots.txt 是 SEO 的基础工作之一,但很多站长对其语法和细节理解不足,容易造成误屏蔽或规则失效。本文围绕 robots.txt 编写展开,帮助你掌握核心方法。
robots.txt 采用纯文本格式,核心指令包括 User-agent、Allow、Disallow、Sitemap 和 Crawl-delay。每条指令单独成行,冒号后紧跟空格和值。编写时应注意:User-agent 必须与规则分组配对,多个 User-agent 可共用一组规则;Allow 与 Disallow 的优先级按最长匹配原则处理,而非简单的先后顺序。
编写前先梳理网站目录结构,明确哪些是后台、用户中心、搜索结果页等无需收录的路径。建议采用“先禁止全站,再逐条放行”的保守策略,避免遗漏敏感页面。同时,在文件末尾添加 Sitemap 地址,方便爬虫发现内容。对于大型站点,可结合 Crawl-delay 控制抓取频率,但需注意该指令并非所有搜索引擎都支持。
编写完成后,使用搜索引擎站长工具中的 robots.txt 测试功能验证规则是否生效。上线后定期检查文件是否被误改,尤其是网站改版或新增目录时。robots.txt 只是建议性协议,不能替代权限控制,敏感数据仍需通过登录验证或服务器配置保护。
掌握 robots.txt 编写技巧,既能提升爬虫抓取效率,又能避免内容被错误索引。从清晰的结构规划开始,配合持续验证,让这一小文件发挥大作用。