Изменили сте robots.txt? Погледајте како га чита сваки AI краулер
Један ред у погрешној групи може да блокира ChatGPT претрагу, а хтели сте да блокирате само тренирање AI. Проверите резултат за 16 краулера.
Бесплатно · Без регистрације · Резултат за 30 секунди
Која група важи
Краулер прати групу која га именује, а не групу *, што изненади многе власнике сајтова.
Претрага или тренирање
Блокирајте краулере за тренирање ако желите, а задржите оне који вас стављају у одговоре AI претраге.
Тачна исправка
Редови које треба изменити, спремни за лепљење, и поновна провера као потврда.
После преласка на Cloudflare · После редизајна · После преласка на Shopify