AI 爬虫 robots.txt 生成器

选择哪些 AI 爬虫可以读取你的网站，并复制生成的 robots.txt。常见的做法是屏蔽 GPTBot、ClaudeBot 等 AI 训练爬虫，但允许 OAI-SearchBot、PerplexityBot 等 AI 搜索爬虫，这样你的页面仍可出现在 AI 答案中并被引用。

屏蔽用户请求的抓取器效果有限：一些厂商表示，这些代理因为是用户要求获取页面，可能不遵守 robots.txt。发布之前，请用 robots.txt 检测工具测试结果。面向 AI 爬虫的 robots.txt 检测器 →

使用方法

把文件放在域名根目录（https://example.com/robots.txt）。如果你已经有针对其他爬虫的规则，请保留它们，只添加 AI 分组。更改会在每个爬虫下次读取该文件时生效，通常在一天之内。