robot txt怎么用?robots.txt基础写法与常见避坑指南
📍 WDQWDWQD987AAAAA:57.141.24.20
📱 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
🔗 /0035520ff35e.html
📄
robot txt(通常写作 robots.txt)是网站根目录下的纯文本文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它虽然简单,却是SEO技术配置中最容易出错的一环。
robots.txt 的基本结构
一个标准的 robots.txt 由若干条记录组成,每条记录以 User-agent 开头,后跟 Allow 或 Disallow 规则。例如:
- User-agent: * 表示规则适用于所有爬虫;
- Disallow: /admin/ 表示禁止抓取 admin 目录;
- Allow: /admin/public/ 可以覆盖上级禁止规则,放行特定路径。
需要强调:robots.txt 只是抓取协议,不是安全措施,被禁止的URL仍可能通过外链被索引。
常见写法与避坑要点
- 文件必须放在域名根目录,路径为 https://example.com/robots.txt,不能放在子目录。
- 规则区分大小写,路径匹配遵循前缀原则,写错斜杠可能失效。
- 不要用 Disallow: / 屏蔽整站,除非网站正在维护;恢复后要及时删除。
- 使用 Sitemap 指令声明站点地图,方便爬虫发现重要页面。
- 测试时借助搜索引擎官方工具验证规则,避免误屏蔽CSS、JS资源。
robot txt 与 SEO 的关系
合理配置 robots.txt 能减少无效抓取、节省服务器资源,并引导爬虫优先访问高价值页面。但过度屏蔽会导致页面无法被发现,影响收录与排名。建议上线前检查规则,定期审查日志,确保 robots.txt 与网站结构保持一致。