Генератор robots.txt за AI краулере

Изаберите који AI краулери смеју да читају ваш сајт и копирајте генерисани robots.txt. Чест избор је да се блокирају краулери за обуку AI модела, као што су GPTBot и ClaudeBot, а дозволе краулери AI претраге, као што су OAI-SearchBot и PerplexityBot, да би се ваше странице и даље појављивале и цитирале у AI одговорима.

Почните од
AI обука
AI претрага
Преузимање на захтев корисника
Content-Signal (необавезно): означите шта дозвољавате

Блокирање агената који преузимају на захтев корисника има ограничен ефекат: неки произвођачи наводе да ти агенти можда не поштују robots.txt, јер је страницу тражила особа. Тестирајте резултат проверивачем robots.txt пре објављивања. robots.txt тестер и провера за AI краулере →

Како да га користите

Поставите датотеку у корен домена (https://example.com/robots.txt). Ако већ имате правила за друге краулере, задржите их и додајте само AI групе. Измене почињу да важе када сваки краулер следећи пут прочита датотеку, обично у року од једног дана.

Покрени потпуну проверу →

Водич

Како да користите генератор robots.txt

Овај текст је машински преведен са енглеског.

Шта генератор пише

Означите краулере који смеју да читају ваш сајт и уклоните ознаку са оних које желите да блокирате. Генератор пише robots.txt са по једном групом за сваки блокирани краулер, User-agent: <token> иза чега следи Disallow: /, затим завршну групу User-agent: * која дозвољава све остало. Додајте адресу мапе сајта и он додаје ред Sitemap. Означите опције Content-Signal и он додаје ред Content-Signal који наводи како се ваш садржај сме користити.

Ништа не напушта ваш прегледач: датотека се гради на страници док кликћете, а копирате је из излазног поља.

Од ког шаблона кренути

Пример: блокирај обуку, дозволи AI претрагу

Сваки блокирани краулер има сопствену групу, па се његов Disallow: / односи само на њега. Сви остали краулери, укључујући OAI-SearchBot и Googlebot, падају на User-agent: * и смеју да читају све. Ред Content-Signal понавља исту намеру за краулере који га читају: претрага и одговори у реалном времену да, обука не.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Пре објављивања

Честе грешке

Честа питања

Да ли ће блокирање GPTBot-а уклонити мој сајт из ChatGPT-а?

Не. GPTBot прикупља податке за обуку. ChatGPT претрага користи OAI-SearchBot, а ChatGPT-User отвара странице које људи затраже. Њих оставите дозвољеним ако желите да будете цитирани.

Шта је Content-Signal?

Ред у robots.txt који наводи како се ваш садржај сме користити: search, ai-input (одговори у реалном времену) и ai-train (обука), сваки да или не. Подршка се разликује од добављача до добављача; групе за појединачне краулере остају правило које краулери прате.

Да ли Google-Extended утиче на Google претрагу?

Не. То је токен само за robots.txt који одређује да ли Google сме да користи ваше странице за своје AI моделе; не мења преузимање ни рангирање у Google претрази.

Да ли се мој избор негде шаље?

Не. Генератор ради у вашем прегледачу и ништа се не шаље на наш сервер док не одлучите да тестирате датотеку.

Повезани алати и водичи