改了 robots.txt?看看每个 AI 爬虫如何读取它

你本想只拦截 AI 训练,但写错组的一行就可能拦掉 ChatGPT 搜索。检测 16 个爬虫的结果。

免费 · 无需注册 · 30 秒出结果

哪个组生效

爬虫遵循点名它的那个组,而不是 * 组,这让很多网站所有者感到意外。

搜索与训练

如果愿意,可以拦截训练爬虫,同时保留那些让你出现在 AI 搜索回答中的爬虫。

精确的修复

需要修改的行,可直接粘贴,再加一次复检来确认。

获取完整套餐

迁移到 Cloudflare 之后 · 网站改版之后 · 迁移到 Shopify 之后