面向 AI 爬虫的 robots.txt 检测器

输入页面地址：我们会读取该网站的 robots.txt，并针对每个 AI 和搜索爬虫显示它是否可以抓取该页面。你也可以粘贴 robots.txt，在发布前先测试。

robots.txt 只是一种请求。即使 robots.txt 允许某个爬虫，防火墙或机器人防护仍可能将其拦截；完整检测会测试这一点。 运行完整检测 →

AI 爬虫如何读取 robots.txt

每个爬虫遵循点名其标识（例如 GPTBot 或 PerplexityBot）的分组；只有在没有这样的分组时，才遵循 User-agent: *。在同一分组内，匹配最长的规则优先，长度相同时 Allow 优先。屏蔽 GPTBot、ClaudeBot 或 Google-Extended 等训练爬虫，可以让你的内容不被用于模型训练；屏蔽 OAI-SearchBot、ChatGPT-User 或 PerplexityBot 等搜索和用户爬虫，则会让你的页面不出现在 AI 回答中。