Изаберите који AI краулери смеју да читају ваш сајт и копирајте генерисани robots.txt. Чест избор је да се блокирају краулери за обуку AI модела, као што су GPTBot и ClaudeBot, а дозволе краулери AI претраге, као што су OAI-SearchBot и PerplexityBot, да би се ваше странице и даље појављивале и цитирале у AI одговорима.
Блокирање агената који преузимају на захтев корисника има ограничен ефекат: неки произвођачи наводе да ти агенти можда не поштују robots.txt, јер је страницу тражила особа. Тестирајте резултат проверивачем robots.txt пре објављивања. robots.txt тестер и провера за AI краулере →
Како да га користите
Поставите датотеку у корен домена (https://example.com/robots.txt). Ако већ имате правила за друге краулере, задржите их и додајте само AI групе. Измене почињу да важе када сваки краулер следећи пут прочита датотеку, обично у року од једног дана.
Означите краулере који смеју да читају ваш сајт и уклоните ознаку са оних које желите да блокирате. Генератор пише robots.txt са по једном групом за сваки блокирани краулер, User-agent: <token> иза чега следи Disallow: /, затим завршну групу User-agent: * која дозвољава све остало. Додајте адресу мапе сајта и он додаје ред Sitemap. Означите опције Content-Signal и он додаје ред Content-Signal који наводи како се ваш садржај сме користити.
Ништа не напушта ваш прегледач: датотека се гради на страници док кликћете, а копирате је из излазног поља.
Од ког шаблона кренути
Дозволи све: сваки краулер сме да чита сваку страницу. Прави избор за већину сајтова који желе да буду пронађени и цитирани.
Блокирај обуку, дозволи AI претрагу: краулери за обуку као што су GPTBot, ClaudeBot, CCBot и Google-Extended су блокирани; краулери претраге и кориснички краулери као што су OAI-SearchBot, Claude-SearchBot, PerplexityBot и ChatGPT-User остају дозвољени. Ваше странице и даље могу да се појаве и буду цитиране у AI одговорима.
Блокирај све AI краулере: сваки AI краулер са списка је блокиран. Ти краулери неће преузимати ваше странице за AI одговоре, што обично значи мање цитата и мање саобраћаја од асистената.
Пример: блокирај обуку, дозволи AI претрагу
Сваки блокирани краулер има сопствену групу, па се његов Disallow: / односи само на њега. Сви остали краулери, укључујући OAI-SearchBot и Googlebot, падају на User-agent: * и смеју да читају све. Ред Content-Signal понавља исту намеру за краулере који га читају: претрага и одговори у реалном времену да, обука не.
Спојите, не замењујте. Ако ваш тренутни robots.txt има правила за административне делове, корпе или странице претраге, копирајте их у групу User-agent: * нове датотеке, иначе ћете те делове отворити свим краулерима.
Ставите датотеку у корен сваког хоста: https://example.com/robots.txt. Поддомену треба сопствена датотека.
Сервирајте је као обичан текст са статусом 200. HTML страница или грешка на тој адреси не раде као robots.txt.
Налепите резултат у robots.txt тестер и проверите неколико стварних путања за краулере који су вам важни.
Имајте на уму да је robots.txt молба. Ако заштитни зид блокира краулер који дозвољавате, датотека то не може да поправи; потпуна провера то показује.
Честе грешке
Блокирање OAI-SearchBot или PerplexityBot да бисте зауставили обуку. То су краулери претраге; њихово блокирање вас уклања из одговора.
Писање неколико редова User-agent изнад једног Disallow: / када сте хтели да блокирате само један од њих: узастопни редови чине једну групу.
Очекивање да ће преузимачи на захтев корисника као што је ChatGPT-User поштовати блокаду. Неки добављачи кажу да ти агенти можда не прате robots.txt када је особа затражила страницу.
Додавање редова Crawl-delay или Noindex. Нису део RFC 9309 и Google занемарује оба.
Честа питања
Да ли ће блокирање GPTBot-а уклонити мој сајт из ChatGPT-а?
Не. GPTBot прикупља податке за обуку. ChatGPT претрага користи OAI-SearchBot, а ChatGPT-User отвара странице које људи затраже. Њих оставите дозвољеним ако желите да будете цитирани.
Шта је Content-Signal?
Ред у robots.txt који наводи како се ваш садржај сме користити: search, ai-input (одговори у реалном времену) и ai-train (обука), сваки да или не. Подршка се разликује од добављача до добављача; групе за појединачне краулере остају правило које краулери прате.
Да ли Google-Extended утиче на Google претрагу?
Не. То је токен само за robots.txt који одређује да ли Google сме да користи ваше странице за своје AI моделе; не мења преузимање ни рангирање у Google претрази.
Да ли се мој избор негде шаље?
Не. Генератор ради у вашем прегледачу и ништа се не шаље на наш сервер док не одлучите да тестирате датотеку.