robot txt怎么用?robots.txt基础写法与常见避坑指南

📍 WDQWDWQD987AAAAA:57.141.24.20
📱 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
🔗 /0035520ff35e.html
📄

robot txt(通常写作 robots.txt)是网站根目录下的纯文本文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避开。它虽然简单,却是SEO技术配置中最容易出错的一环。

robots.txt 的基本结构

一个标准的 robots.txt 由若干条记录组成,每条记录以 User-agent 开头,后跟 Allow 或 Disallow 规则。例如:

需要强调:robots.txt 只是抓取协议,不是安全措施,被禁止的URL仍可能通过外链被索引。

常见写法与避坑要点

  1. 文件必须放在域名根目录,路径为 https://example.com/robots.txt,不能放在子目录。
  2. 规则区分大小写,路径匹配遵循前缀原则,写错斜杠可能失效。
  3. 不要用 Disallow: / 屏蔽整站,除非网站正在维护;恢复后要及时删除。
  4. 使用 Sitemap 指令声明站点地图,方便爬虫发现重要页面。
  5. 测试时借助搜索引擎官方工具验证规则,避免误屏蔽CSS、JS资源。

robot txt 与 SEO 的关系

合理配置 robots.txt 能减少无效抓取、节省服务器资源,并引导爬虫优先访问高价值页面。但过度屏蔽会导致页面无法被发现,影响收录与排名。建议上线前检查规则,定期审查日志,确保 robots.txt 与网站结构保持一致。

图1 图2

nginx