Како да тестирам robots.txt правила за URL и одређени краулер?
Да бисте тестирали URL за један краулер, пронађите групу која наводи токен тог краулера (или User-agent: * ако га ниједна не наводи), сакупите сва правила Allow и Disallow у њој која се поклапају са путањом URL-а и примените најдуже; при истој дужини побеђује Allow. То можете да урадите ручно, Google-овим парсером отвореног кода или алатом за проверу који приказује резултат за сваки краулер. Стари robots.txt Tester у Google Search Console-у више не постоји, а извештај robots.txt који га је заменио приказује шта је Google преузео, а не резултат за URL.
Фајл robots.txt делује једноставно док вам не затреба прецизан одговор: да ли GPTBot сме да преузме ову страницу, а да ли OAI-SearchBot? Одговор зависи од тога коју групу краулер бира и које правило у тој групи побеђује, а у оба корака је лако погрешити. Ево како поклапање функционише према RFC 9309, четири решена примера и три начина да сами тестирате фајл.
На овој страници
- Шта се десило са алатом robots.txt Tester у Google Search Console-у?
- Како краулер одлучује да ли је URL дозвољен?
- Можете ли да покажете пример тестирања robots.txt?
- Како да покренем Google-ов парсер за robots.txt отвореног кода?
- Могу ли да тестирам robots.txt помоћу Python-овог urllib.robotparser?
- Зашто тест robots.txt пролази, а краулер је и даље блокиран?
- Како да проверим robots.txt за све AI краулере одједном?
Шта се десило са алатом robots.txt Tester у Google Search Console-у?
У новембру 2023. Google је у Search Console додао извештај robots.txt и најавио гашење алата robots.txt tester. Извештај се налази под Settings и покрива само Google-ове краулере. Приказује:
- Фајлове robots.txt које је Google пронашао за 20 највећих хостова вашег својства.
- Статус преузимања сваког фајла (
Fetched,Not Fetched - Not found (404)илиNot Fetched - Any other reason), када га је Google последњи пут проверио и његову величину у бајтовима. - Проблеме у фајлу. Google каже да грешке спречавају да се правило користи, а упозорења не.
- Верзије које је Google преузео у последњих 30 дана и дугме за захтев за поновно индексирање након што исправите фајл.
Извештај не прима URL и не враћа „дозвољено“ или „блокирано“. За проверу једног URL-а за Googlebot Google упућује на алат URL Inspection, а за локално тестирање на своју библиотеку robots.txt отвореног кода. Ниједно вам ништа не говори о AI краулерима као што су GPTBot или ClaudeBot.
Како краулер одлучује да ли је URL дозвољен?
RFC 9309, Robots Exclusion Protocol, дефинише поклапање. Google документује исто понашање за своје краулере.
- Изаберите групу. Поклапање user agent-а не разликује велика и мала слова. Ако једна или више група наводи токен краулера, њихова правила се спајају, а група
User-agent: *се потпуно занемарује. Само краулер без именоване групе прати*. - Изаберите правило. Међу правилима
AllowиDisallowчија се путања поклапа са URL-ом побеђује оно са највише знакова. Ако суAllowиDisallowисте дужине, треба да победиAllow. - Прочитајте обрасце.
*се поклапа са било којим низом знакова, а$означава крај URL-а. Путање разликују велика и мала слова, па се/Admin/не поклапа са/admin/. - Ако се ниједно правило не поклапа, URL је дозвољен. Сам
/robots.txtје увек дозвољен.
Код одговора за robots.txt важан је колико и његова правила. Одговор 4xx значи да краулер сме да преузме све; Google сваки 4xx осим 429 третира као да фајл не постоји. Одговор 5xx значи да краулер мора да претпостави да је цео сајт забрањен. Google прекида индексирање првих 12 сати, а затим до 30 дана користи последњу исправну копију. RFC 9309 захтева да краулери обраде најмање 500 KiB, а Google занемарује све после 500 KiB.
Можете ли да покажете пример тестирања robots.txt?
Ево малог robots.txt са подразумеваном групом и два именована AI краулера:
Googlebotи/search/help/billing: дозвољено. Нема групе за Googlebot, па се примењује група*. Поклапају се иDisallow: /searchиAllow: /search/help, а правилоAllowје дуже.GPTBotи/blog/post: блокирано. GPTBot има своју групу, аDisallow: /се поклапа са сваком путањом.OAI-SearchBotи/admin/settings: дозвољено. OAI-SearchBot има своју групу, па сеDisallow: /admin/из групе*на њега не примењује. Ово је најчешће изненађење; заједничка правила поновите у свакој именованој групи.OAI-SearchBotи/files/report.pdf: блокирано.Allow: /се поклапа са једним знаком,Disallow: /*.pdf$са седам, а дуже правило побеђује.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Изједначења су ређа, али прате исту логику. Google-ова документација наводи случај allow: /folder и disallow: /folder за URL /folder/page: оба су исте дужине, па је URL дозвољен.
Како да покренем Google-ов парсер за robots.txt отвореног кода?
Google објављује C++ библиотеку коју у продукцији користи за поклапање robots.txt правила, са малим програмом за командну линију за тестирање једног URL-а и једног user agent-а у односу на локални фајл. Са инсталираним Bazel-ом:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Репозиторијум документује и CMake компилацију, која прави извршни фајл robots са истим аргументима. Алат само парсира и пореди; не преузима robots.txt, па прво сачувајте фајл са сајта. Његов README напомиње и да понашање специфично за краулере ван парсирања и поклапања није део библиотеке.
Могу ли да тестирам robots.txt помоћу Python-овог urllib.robotparser?
Стандардна библиотека Python-а садржи парсер који одговара „дозвољено“ или „блокирано“ за user agent и URL. Ова скрипта тестира горњи пример:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Проверите верзију Python-а пре него што поверујете резултату. Подршка за поклапање по RFC 9309 додата је у CPython 2026. и први пут је објављена у Python-у 3.13.14 и 3.14.5. Старије верзије, укључујући цео 3.12 и старије, примењују прво правило по редоследу у фајлу које се поклапа, а не најдуже, и не разумеју * ни $ унутар путања. На тим верзијама скрипта први и четврти тест приказује обрнуто: Googlebot блокиран за /search/help/billing, а OAI-SearchBot-у дозвољено да преузме PDF.
Још две разлике важе за сваку верзију. RobotFileParser.read() одговор 401 или 403 за robots.txt третира као забрану свега, док RFC 9309 каже да 4xx значи да се све сме преузети. А read() преузима фајл са подразумеваним Python user agent-ом, који неки заштитни зидови блокирају, па тест може да пријави блокаду из разлога који немају везе са вашим правилима. Ако фајл преузмете сами и проследите га у parse(), као горе, избегавате оба проблема.
Зашто тест robots.txt пролази, а краулер је и даље блокиран?
Тестер одговара на једно питање: да ли правила дозвољавају овај URL? Неколико ствари је ван тог одговора:
- Фајл на сајту се разликује од оног који сте тестирали или краулер и даље користи кеширану копију. RFC 9309 каже да краулери не би требало да користе кеширану копију дуже од 24 сата, а Google уопштено кешира до 24 сата.
- URL robots.txt враћа HTML страницу или грешку. HTML страница са статусом 200 не садржи важећа правила, а одговор 5xx блокира цео сајт.
- robots.txt је молба, а не контрола приступа. Заштитни зид, CDN или заштита од ботова и даље могу краулеру да одговоре са 403 или страницом са изазовом.
Како да проверим robots.txt за све AI краулере одједном?
Бесплатна провера robots.txt у AISeeWhy-ју прима адресу странице или налепљен robots.txt и за сваки AI краулер и краулер претраживача приказује да ли та страница сме да се преузме. Бесплатни генератор robots.txt пише фајл према вашим изборима, а бесплатна провера преузима страницу као 16 краулера и показује да ли заштитни зид блокира оно што robots.txt дозвољава.
Исправке за овај проблем
- robots.txt дозвољава GPTBot, али га сервер блокира
- robots.txt забрањује OAI-SearchBot
- robots.txt је HTML страница
- robots.txt не може да се преузме
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли у Google Search Console-у још постоји robots.txt tester?
Не. Google га је у новембру 2023. заменио извештајем robots.txt, који приказује фајлове које је Google преузео, њихов статус и евентуалне грешке. Да бисте проверили да ли Googlebot сме да индексира одређени URL, користите алат URL Inspection.
Да ли Allow надјачава Disallow у robots.txt?
Само када је правило Allow дуже или тачно исте дужине. Побеђује правило са најдужом путањом која се поклапа, без обзира на врсту, а Allow побеђује при истој дужини.
Да ли robots.txt разликује велика и мала слова?
Делимично. Вредност User-agent се поклапа без обзира на велика и мала слова, па gptbot и GPTBot означавају исту групу. Путање разликују велика и мала слова, па Disallow: /Private/ не блокира /private/.
Шта проверава валидатор за robots.txt?
Валидатор проверава да је фајл доступан, послужен као текст и написан исправном синтаксом. Тестер иде даље и даје резултат за одређени URL и краулер. Обично вам треба обоје, јер исправан фајл и даље може да блокира страницу коју сте хтели да дозволите.
Ако краулер има своју групу, да ли и даље прати User-agent: *?
Не. Именована група за тај краулер потпуно замењује групу *. Свако правило које желите да важи за све морате да поновите у свакој именованој групи.
Извори
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py