Унесите адресу странице: прочитаћемо robots.txt сајта и за сваки AI краулер и краулер претраживача показати да ли сме да преузме ту страницу. Или налепите robots.txt да бисте га тестирали пре објављивања.
robots.txt је само молба. Заштитни зид или заштита од ботова и даље може да блокира краулер који robots.txt дозвољава; потпуна провера то тестира. Покрени потпуну проверу →
Сваки краулер прати групу која наводи његов токен (на пример GPTBot или PerplexityBot); само ако таква не постоји, прати User-agent: *. Унутар групе побеђује најдуже правило које се поклапа, а при нерешеном исходу побеђује Allow. Блокирање краулера за обуку као што су GPTBot, ClaudeBot или Google-Extended држи ваш садржај ван обуке модела; блокирање краулера претраге и корисничких краулера као што су OAI-SearchBot, ChatGPT-User или PerplexityBot држи ваше странице ван AI одговора.
Водич
Како да користите robots.txt тестер
Овај текст је машински преведен са енглеског.
Шта овај robots.txt тестер проверава
Унесите адресу странице. Тестер узима шему и хост те адресе, чита /robots.txt из корена тог хоста и примењује његова правила на путању ваше странице. За сваки од 16 краулера одговара на једно питање: да ли овај краулер сме да преузме ову страницу?
Краулери су груписани према ономе што раде. Краулери за обуку прикупљају странице за AI моделе: GPTBot, ClaudeBot, CCBot, Bytespider и Meta-ExternalAgent, као и токени Google-Extended и Applebot-Extended, који постоје само у robots.txt: они никада сами не долазе, већ Google-у и Apple-у говоре да ли смеју да користе странице које су већ преузели. Краулери претраживача граде индексе које цитирају AI одговори и резултати претраге: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot и Applebot. Кориснички агенти преузимају страницу када особа замоли асистента да је отвори: ChatGPT-User, Claude-User и Perplexity-User.
Уместо адресе можете и да налепите robots.txt. Тада се ништа не преузима: тестер процењује текст који сте налепили, па промену можете да испробате пре објављивања. Налепљени текст се користи за одговор и не чува се.
Како да читате резултате
Табела има један ред по краулеру. Колона за вашу путању каже Дозвољено или Блокирано. Последња колона каже који део датотеке је одлучио:
Сопствена група: датотека има ред User-agent са токеном овог краулера и за њега важе само правила те групе.
User-agent: *: ниједна група не наводи краулер, па он прати општу групу.
Нема правила: не примењује се ниједна група, па је страница дозвољена.
Испод табеле видите редове Sitemap које датотека наводи и њен ред Content-Signal, ако га има. Ако је адреса вратила веб-страницу уместо текстуалне датотеке или није вратила никакву датотеку, тестер то каже: краулери HTML страницу на /robots.txt третирају као датотеку која недостаје.
Ред са ознаком Дозвољено значи само да robots.txt не зауставља тај краулер. Не значи да ће краулер доћи и не говори ништа о вашем заштитном зиду.
Како краулер бира своја правила
RFC 9309, стандард за robots.txt, поставља три правила која објашњавају скоро сваки изненађујући резултат. Краулер прво тражи групе чији се User-agent поклапа са његовим токеном, без обзира на велика и мала слова. Ако их нађе, прати само те групе и потпуно занемарује User-agent: *. Унутар изабране групе побеђује правило са најдужом путањом која се поклапа, а ако се Allow и Disallow поклапају истом дужином, побеђује Allow.
Са овом датотеком GPTBot је блокиран за све странице, јер има сопствену групу. Сваки други краулер сме да преузме /private/press/kit.pdf, јер је Allow: /private/press/ дуже од Disallow: /private/, а блокиран је за /private/notes/. Тестирајте обе путање у тестеру и видећете како одлука прелази са једне групе на другу.
Честе грешке, са примерима
Узастопни редови User-agent деле једну групу. Датотека са User-agent: GPTBot, затим User-agent: OAI-SearchBot, па Disallow: / блокира оба краулера, па сајт који је хтео да заустави обуку нестаје и из ChatGPT претраге.
Блокирање погрешног OpenAI токена. GPTBot прикупља податке за обуку; OAI-SearchBot одлучује да ли ChatGPT претрага може да вас прикаже и цитира. Блокирање OAI-SearchBot или ChatGPT-User да бисте зауставили обуку уместо тога вас уклања из одговора.
Један знак окреће правило. Disallow: без ичега иза дозвољава све; Disallow: / блокира све.
Путање разликују велика и мала слова. Disallow: /Blog/ не блокира /blog/.
Џокер знакови траже опрез. Disallow: /*.pdf блокира и /file.pdf?download=1; Disallow: /*.pdf$ блокира само адресе које се завршавају на .pdf.
Датотека је на погрешном хосту. robots.txt важи само за шему и хост са којих се сервира, па www.example.com, example.com и shop.example.com сваки треба своју датотеку.
Сервер одговара грешком. Одговор 4xx значи да краулери смеју да преузимају све. Одговор 5xx или истек времена значи да морају да претпоставе да је све забрањено док се датотека поново не може прочитати, па неисправан /robots.txt може да заустави свако индексирање.
Правила која краулери не прате. Noindex: и Crawl-delay: нису део RFC 9309, а Google занемарује оба.
Очекивање да robots.txt уклони страницу из претраге. Он зауставља преузимање, а не индексирање: блокирана адреса и даље може бити наведена без свог текста. Да страница остане ван индекса, дозволите преузимање и користите мета ознаку или заглавље noindex.
Краулери за обуку, претрагу и кориснике: шта доноси блокирање сваког од њих
Блокирање краулера за обуку је питање политике. Оно држи ваше странице ван будуће обуке модела и не утиче на то да ли вас AI претрага данас може цитирати. Блокирање краулера претраге као што су OAI-SearchBot, Claude-SearchBot или PerplexityBot држи ваше странице ван одговора тог асистента. Блокирање Googlebot или Bingbot вас уклања из тих претраживача и из AI функција изграђених на њима.
Кориснички агенти као што је ChatGPT-User делују за особу која је затражила вашу страницу. Неки добављачи кажу да ти агенти за такве захтеве можда не прате robots.txt, па је правило за њих молба, а не гаранција. Ако желите да искључите обуку, а задржите AI претрагу, блокирајте токене за обуку, а токене за претрагу и кориснике оставите на миру.
Тестирајте пре објављивања, па онда поново
Налепите нацрт у тестер, поставите путању важне странице, на пример странице производа или цена, и прочитајте ред сваког краулера који вам је важан. Поновите са путањом коју сте хтели да блокирате. Када резултати одговарају вашој намери, објавите датотеку и поново покрените тестер са стварном адресом, чиме доказујете да сервер враћа датотеку коју сте изменили.
Краулери кеширају robots.txt; Google, на пример, обично освежава своју копију у року од 24 сата. Промена може да се покаже у њиховом понашању тек за дан, а извештај robots.txt у Google Search Console приказује копију коју је Google последњу преузео.
Када robots.txt дозвољава краулер, а он је и даље блокиран
robots.txt је само молба. Заштитни зид, услуга заштите од ботова или CDN правило и даље могу краулеру да одговоре са 403 или страницом са изазовом, док људи добијају страницу. Тестер то не може да види, јер чита само једну датотеку. Потпуна провера преузима вашу страницу са user agent-ом сваког краулера уз обичан прегледач и показује који краулер добија другачији одговор, са HTTP статусом и потписом заштитног зида.
Честа питања
Да ли је ово исто што и Google-ов robots.txt Tester?
Не. Google је 2023. угасио свој самостални robots.txt Tester; извештај robots.txt у Search Console сада приказује датотеку коју је Google преузео и евентуалне грешке рашчлањивања, само за Google-ове краулере. Овај тестер примењује иста правила RFC 9309 на 16 AI краулера и краулера претраживача одједном.
Да ли Дозвољено значи да ће краулер прочитати или цитирати моју страницу?
Не. Значи да robots.txt то не забрањује. Да ли ће краулер добити страницу зависи од вашег сервера и заштитног зида, а да ли ће је асистент цитирати зависи од вашег садржаја и постављеног питања.
Зашто краулер приказује „нема правила”?
Ваша датотека нема групу за његов токен ни групу User-agent: *, па се на њега ништа не примењује и свака путања је дозвољена.
Могу ли да тестирам robots.txt који још није објављен?
Да. Налепите текст у друго поље и унесите путању за тестирање. Са вашег сајта се ништа не преузима, а налепљени текст се не чува.
Да ли тестер шаље захтеве као GPTBot или други краулери?
Не. Само чита ваш robots.txt и примењује правила. Да бисте видели шта сваки краулер заиста добија од вашег сервера, покрените потпуну проверу.
Колико често могу да га користим?
Бесплатан је и не тражи налог. Да би остао доступан свима, свака мрежа може да покрене ограничен број тестова на сат.