Как да тествам правилата на robots.txt за URL адрес и конкретен бот?

Публикувано

Кратък отговор

За да тествате URL адрес за един бот, намерете групата, която назовава токена на бота (или User-agent: *, ако няма такава), съберете всички правила Allow и Disallow в нея, които съвпадат с пътя на URL адреса, и приложете най-дългото; при равенство печели Allow. Можете да го направите ръчно, с парсера на Google с отворен код или с инструмент за проверка, който дава отговор за всеки бот. Старият robots.txt Tester в Search Console вече го няма, а отчетът за robots.txt, който го замени, показва какво е изтеглил Google, а не отговор за конкретен URL.

Файлът robots.txt изглежда прост, докато не ви потрябва категоричен отговор: може ли GPTBot да изтегли тази страница, а OAI-SearchBot? Отговорът зависи от това коя група избира ботът и кое правило в нея печели, а и в двете стъпки лесно се греши. Ето как работи съпоставянето според RFC 9309, четири разгледани примера и три начина сами да тествате файл.

На тази страница
  1. Какво стана с robots.txt Tester в Google Search Console?
  2. Как ботът решава дали даден URL е разрешен?
  3. Можете ли да покажете пример за тест на robots.txt?
  4. Как да стартирам парсера на robots.txt на Google с отворен код?
  5. Мога ли да тествам robots.txt с urllib.robotparser на Python?
  6. Защо тестът на robots.txt минава, а ботът все още е блокиран?
  7. Как да проверя robots.txt за всички AI ботове наведнъж?

Какво стана с robots.txt Tester в Google Search Console?

През ноември 2023 г. Google добави отчет за robots.txt в Search Console и обяви, че спира robots.txt тестера. Отчетът е в „Настройки“ и покрива само ботовете на Google. Той показва:

Отчетът не приема URL адрес и не връща „разрешено“ или „блокирано“. За проверка на един URL за Googlebot Google насочва към инструмента за проверка на URL адреси, а за локално тестване – към своята библиотека за robots.txt с отворен код. Нито един от двата не ви казва нищо за AI ботове като GPTBot или ClaudeBot.

Как ботът решава дали даден URL е разрешен?

RFC 9309, Robots Exclusion Protocol, определя съпоставянето. Google документира същото поведение за своите ботове.

Кодът на отговора за robots.txt е толкова важен, колкото и правилата му. Отговор 4xx означава, че ботът може да изтегля всичко; Google третира всеки 4xx освен 429 така, сякаш файлът не съществува. Отговор 5xx означава, че ботът трябва да приеме, че целият сайт е забранен. Google спира обхождането за първите 12 часа, а след това използва последното добро копие до 30 дни. RFC 9309 изисква ботовете да обработват поне 500 KiB, а Google пренебрегва всичко след 500 KiB.

Можете ли да покажете пример за тест на robots.txt?

Ето малък robots.txt с група по подразбиране и два AI бота със собствени групи:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Равенствата са по-редки, но следват същата логика. Документацията на Google дава случая с allow: /folder и disallow: /folder за URL адреса /folder/page: двете са с еднаква дължина, така че URL адресът е разрешен.

Как да стартирам парсера на robots.txt на Google с отворен код?

Google публикува библиотеката на C++, която използва в продукция за съпоставяне на правилата на robots.txt, с малка програма за команден ред за тестване на един URL и един user agent срещу локален файл. С инсталиран Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Хранилището документира и компилация с CMake, която създава изпълним файл robots със същите аргументи. Инструментът само анализира и съпоставя; не изтегля robots.txt, затова първо запишете актуалния файл. Неговият README отбелязва също, че специфичното за ботовете поведение извън анализа и съпоставянето не е част от библиотеката.

Мога ли да тествам robots.txt с urllib.robotparser на Python?

Стандартната библиотека на Python съдържа парсер, който отговаря „разрешено“ или „блокирано“ за даден user agent и URL. Този скрипт тества примера по-горе:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Проверете версията на Python, преди да се доверите на резултата. Поддръжката на съпоставяне по RFC 9309 беше добавена в CPython през 2026 г. и се появи за първи път в Python 3.13.14 и 3.14.5. По-старите версии, включително цялата 3.12 и по-ранните, прилагат първото съвпадащо правило по реда във файла, а не най-дългото, и не разбират * и $ в пътищата. При тези версии скриптът дава обратен резултат за първия и четвъртия тест: Googlebot е блокиран за /search/help/billing, а OAI-SearchBot има право да изтегли PDF файла.

Още две разлики важат за всяка версия. RobotFileParser.read() третира отговор 401 или 403 за robots.txt като пълна забрана, докато според RFC 9309 4xx означава, че всичко може да се изтегля. А read() изтегля файла с user agent по подразбиране на Python, който някои защитни стени блокират, така че тестът може да покаже „блокирано“ по причини, несвързани с правилата ви. Ако изтеглите файла сами и го подадете на parse(), както по-горе, избягвате и двата проблема.

Защо тестът на robots.txt минава, а ботът все още е блокиран?

Тестерът отговаря на един въпрос: позволяват ли правилата този URL? Няколко неща остават извън този отговор:

Как да проверя robots.txt за всички AI ботове наведнъж?

Безплатната проверка на robots.txt на AISeeWhy приема адрес на страница или поставен robots.txt и показва за всеки AI бот и бот на търсачка дали може да изтегли тази страница. Безплатният генератор на robots.txt създава файл според вашия избор, а безплатната проверка изтегля страницата като 16 бота, за да покаже дали защитна стена блокира това, което robots.txt позволява.

Корекции за този проблем

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Има ли все още robots.txt тестер в Google Search Console?

Не. През ноември 2023 г. Google го замени с отчета за robots.txt, който показва изтеглените от Google файлове, статуса им и евентуалните грешки. За да проверите дали Googlebot може да обхожда конкретен URL адрес, използвайте инструмента за проверка на URL адреси.

Има ли Allow предимство пред Disallow в robots.txt?

Само когато правилото Allow е по-дълго или точно толкова дълго. Печели правилото с най-дълъг съвпадащ път, независимо от вида му, а при равенство печели Allow.

Различава ли robots.txt главни и малки букви?

Отчасти. Стойността на User-agent се съпоставя без значение на регистъра, така че gptbot и GPTBot назовават една и съща група. Пътищата различават главни и малки букви, така че Disallow: /Private/ не блокира /private/.

Какво проверява валидаторът на robots.txt?

Валидаторът проверява дали файлът е достъпен, връща се като текст и е написан с валиден синтаксис. Тестерът отива по-далеч и дава отговор за конкретен URL адрес и бот. Обикновено ви трябват и двата, защото валиден файл все пак може да блокира страница, която сте искали да разрешите.

Ако ботът има собствена група, следва ли все още User-agent: *?

Не. Именуваната група заменя напълно групата * за този бот. Всяко правило, което искате да важи за всички, трябва да се повтори във всяка именувана група.

Източници

Още статии