Како да тестирам robots.txt правила за URL и одређени краулер?

Објављено

Кратак одговор

Да бисте тестирали URL за један краулер, пронађите групу која наводи токен тог краулера (или User-agent: * ако га ниједна не наводи), сакупите сва правила Allow и Disallow у њој која се поклапају са путањом URL-а и примените најдуже; при истој дужини побеђује Allow. То можете да урадите ручно, Google-овим парсером отвореног кода или алатом за проверу који приказује резултат за сваки краулер. Стари robots.txt Tester у Google Search Console-у више не постоји, а извештај robots.txt који га је заменио приказује шта је Google преузео, а не резултат за URL.

Фајл robots.txt делује једноставно док вам не затреба прецизан одговор: да ли GPTBot сме да преузме ову страницу, а да ли OAI-SearchBot? Одговор зависи од тога коју групу краулер бира и које правило у тој групи побеђује, а у оба корака је лако погрешити. Ево како поклапање функционише према RFC 9309, четири решена примера и три начина да сами тестирате фајл.

На овој страници
  1. Шта се десило са алатом robots.txt Tester у Google Search Console-у?
  2. Како краулер одлучује да ли је URL дозвољен?
  3. Можете ли да покажете пример тестирања robots.txt?
  4. Како да покренем Google-ов парсер за robots.txt отвореног кода?
  5. Могу ли да тестирам robots.txt помоћу Python-овог urllib.robotparser?
  6. Зашто тест robots.txt пролази, а краулер је и даље блокиран?
  7. Како да проверим robots.txt за све AI краулере одједном?

Шта се десило са алатом robots.txt Tester у Google Search Console-у?

У новембру 2023. Google је у Search Console додао извештај robots.txt и најавио гашење алата robots.txt tester. Извештај се налази под Settings и покрива само Google-ове краулере. Приказује:

Извештај не прима URL и не враћа „дозвољено“ или „блокирано“. За проверу једног URL-а за Googlebot Google упућује на алат URL Inspection, а за локално тестирање на своју библиотеку robots.txt отвореног кода. Ниједно вам ништа не говори о AI краулерима као што су GPTBot или ClaudeBot.

Како краулер одлучује да ли је URL дозвољен?

RFC 9309, Robots Exclusion Protocol, дефинише поклапање. Google документује исто понашање за своје краулере.

Код одговора за robots.txt важан је колико и његова правила. Одговор 4xx значи да краулер сме да преузме све; Google сваки 4xx осим 429 третира као да фајл не постоји. Одговор 5xx значи да краулер мора да претпостави да је цео сајт забрањен. Google прекида индексирање првих 12 сати, а затим до 30 дана користи последњу исправну копију. RFC 9309 захтева да краулери обраде најмање 500 KiB, а Google занемарује све после 500 KiB.

Можете ли да покажете пример тестирања robots.txt?

Ево малог robots.txt са подразумеваном групом и два именована AI краулера:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Изједначења су ређа, али прате исту логику. Google-ова документација наводи случај allow: /folder и disallow: /folder за URL /folder/page: оба су исте дужине, па је URL дозвољен.

Како да покренем Google-ов парсер за robots.txt отвореног кода?

Google објављује C++ библиотеку коју у продукцији користи за поклапање robots.txt правила, са малим програмом за командну линију за тестирање једног URL-а и једног user agent-а у односу на локални фајл. Са инсталираним Bazel-ом:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Репозиторијум документује и CMake компилацију, која прави извршни фајл robots са истим аргументима. Алат само парсира и пореди; не преузима robots.txt, па прво сачувајте фајл са сајта. Његов README напомиње и да понашање специфично за краулере ван парсирања и поклапања није део библиотеке.

Могу ли да тестирам robots.txt помоћу Python-овог urllib.robotparser?

Стандардна библиотека Python-а садржи парсер који одговара „дозвољено“ или „блокирано“ за user agent и URL. Ова скрипта тестира горњи пример:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Проверите верзију Python-а пре него што поверујете резултату. Подршка за поклапање по RFC 9309 додата је у CPython 2026. и први пут је објављена у Python-у 3.13.14 и 3.14.5. Старије верзије, укључујући цео 3.12 и старије, примењују прво правило по редоследу у фајлу које се поклапа, а не најдуже, и не разумеју * ни $ унутар путања. На тим верзијама скрипта први и четврти тест приказује обрнуто: Googlebot блокиран за /search/help/billing, а OAI-SearchBot-у дозвољено да преузме PDF.

Још две разлике важе за сваку верзију. RobotFileParser.read() одговор 401 или 403 за robots.txt третира као забрану свега, док RFC 9309 каже да 4xx значи да се све сме преузети. А read() преузима фајл са подразумеваним Python user agent-ом, који неки заштитни зидови блокирају, па тест може да пријави блокаду из разлога који немају везе са вашим правилима. Ако фајл преузмете сами и проследите га у parse(), као горе, избегавате оба проблема.

Зашто тест robots.txt пролази, а краулер је и даље блокиран?

Тестер одговара на једно питање: да ли правила дозвољавају овај URL? Неколико ствари је ван тог одговора:

Како да проверим robots.txt за све AI краулере одједном?

Бесплатна провера robots.txt у AISeeWhy-ју прима адресу странице или налепљен robots.txt и за сваки AI краулер и краулер претраживача приказује да ли та страница сме да се преузме. Бесплатни генератор robots.txt пише фајл према вашим изборима, а бесплатна провера преузима страницу као 16 краулера и показује да ли заштитни зид блокира оно што robots.txt дозвољава.

Исправке за овај проблем

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли у Google Search Console-у још постоји robots.txt tester?

Не. Google га је у новембру 2023. заменио извештајем robots.txt, који приказује фајлове које је Google преузео, њихов статус и евентуалне грешке. Да бисте проверили да ли Googlebot сме да индексира одређени URL, користите алат URL Inspection.

Да ли Allow надјачава Disallow у robots.txt?

Само када је правило Allow дуже или тачно исте дужине. Побеђује правило са најдужом путањом која се поклапа, без обзира на врсту, а Allow побеђује при истој дужини.

Да ли robots.txt разликује велика и мала слова?

Делимично. Вредност User-agent се поклапа без обзира на велика и мала слова, па gptbot и GPTBot означавају исту групу. Путање разликују велика и мала слова, па Disallow: /Private/ не блокира /private/.

Шта проверава валидатор за robots.txt?

Валидатор проверава да је фајл доступан, послужен као текст и написан исправном синтаксом. Тестер иде даље и даје резултат за одређени URL и краулер. Обично вам треба обоје, јер исправан фајл и даље може да блокира страницу коју сте хтели да дозволите.

Ако краулер има своју групу, да ли и даље прати User-agent: *?

Не. Именована група за тај краулер потпуно замењује групу *. Свако правило које желите да важи за све морате да поновите у свакој именованој групи.

Извори

Још чланака