改了 robots.txt?看看每个 AI 爬虫如何读取它
你本想只拦截 AI 训练,但写错组的一行就可能拦掉 ChatGPT 搜索。检测 16 个爬虫的结果。
免费 · 无需注册 · 30 秒出结果
哪个组生效
爬虫遵循点名它的那个组,而不是 * 组,这让很多网站所有者感到意外。
搜索与训练
如果愿意,可以拦截训练爬虫,同时保留那些让你出现在 AI 搜索回答中的爬虫。
精确的修复
需要修改的行,可直接粘贴,再加一次复检来确认。
你本想只拦截 AI 训练,但写错组的一行就可能拦掉 ChatGPT 搜索。检测 16 个爬虫的结果。
免费 · 无需注册 · 30 秒出结果
爬虫遵循点名它的那个组,而不是 * 组,这让很多网站所有者感到意外。
如果愿意,可以拦截训练爬虫,同时保留那些让你出现在 AI 搜索回答中的爬虫。
需要修改的行,可直接粘贴,再加一次复检来确认。