Как проверить правила robots.txt для URL и конкретного краулера?

Опубликовано

Короткий ответ

Чтобы проверить URL для одного краулера, найдите группу, где назван токен этого краулера (или User-agent: *, если такой нет), соберите в ней все правила Allow и Disallow, совпадающие с путём URL, и примените самое длинное; при равной длине побеждает Allow. Это можно сделать вручную, с помощью открытого парсера Google или инструментом, который выдаёт вердикт для каждого краулера. Старого инструмента проверки robots.txt в Search Console больше нет, а заменивший его отчёт о файлах robots.txt показывает, что загрузил Google, а не вердикт для URL.

Файл robots.txt выглядит простым, пока не нужен точный ответ: можно ли GPTBot загрузить эту страницу, а OAI-SearchBot? Ответ зависит от того, какую группу выберет краулер и какое правило внутри неё победит, и на обоих шагах легко ошибиться. Ниже — как работает сопоставление по RFC 9309, четыре разобранных примера и три способа проверить файл самостоятельно.

На этой странице
  1. Что случилось с инструментом проверки robots.txt в Google Search Console?
  2. Как краулер решает, разрешён ли URL?
  3. Можно ли разобрать пример проверки robots.txt?
  4. Как запустить открытый парсер robots.txt от Google?
  5. Можно ли проверить robots.txt через urllib.robotparser в Python?
  6. Почему проверка robots.txt проходит, а краулер всё равно заблокирован?
  7. Как проверить robots.txt сразу для всех AI-краулеров?

Что случилось с инструментом проверки robots.txt в Google Search Console?

В ноябре 2023 года Google добавил в Search Console отчёт о файлах robots.txt и объявил, что прекращает поддержку инструмента проверки robots.txt. Отчёт находится в разделе «Настройки» и касается только краулеров Google. Он показывает:

Отчёт не принимает URL и не отвечает «разрешено» или «заблокировано». Чтобы проверить один URL для Googlebot, Google предлагает инструмент проверки URL, а для локальной проверки — свою открытую библиотеку robots.txt. Ни то ни другое ничего не говорит об AI-краулерах вроде GPTBot или ClaudeBot.

Как краулер решает, разрешён ли URL?

Сопоставление определяет RFC 9309, Robots Exclusion Protocol. Google описывает такое же поведение своих краулеров.

Код ответа robots.txt важен не меньше его правил. Ответ 4xx означает, что краулер может загружать всё; Google считает любой 4xx, кроме 429, отсутствием файла. Ответ 5xx означает, что краулер должен считать весь сайт запрещённым. Google прекращает сканирование на первые 12 часов, затем до 30 дней использует последнюю удачную копию. RFC 9309 требует от краулеров разбирать не менее 500 KiB, а Google игнорирует всё, что идёт после 500 KiB.

Можно ли разобрать пример проверки robots.txt?

Вот небольшой robots.txt с группой по умолчанию и двумя именными AI-краулерами:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Равенство встречается реже, но подчиняется той же логике. В документации Google разобран случай allow: /folder и disallow: /folder для URL /folder/page: оба правила одинаковой длины, поэтому URL разрешён.

Как запустить открытый парсер robots.txt от Google?

Google публикует библиотеку на C++, которую использует в продакшене для сопоставления правил robots.txt, с небольшой консольной программой для проверки одного URL и одного user agent по локальному файлу. С установленным Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

В репозитории описана и сборка через CMake, которая создаёт бинарный файл robots с теми же аргументами. Инструмент только разбирает и сопоставляет; robots.txt он не скачивает, поэтому сначала сохраните рабочий файл. В README также отмечено, что поведение конкретных краулеров за пределами разбора и сопоставления в библиотеку не входит.

Можно ли проверить robots.txt через urllib.robotparser в Python?

В стандартной библиотеке Python есть парсер, который отвечает «разрешено» или «заблокировано» для user agent и URL. Этот скрипт проверяет пример выше:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Прежде чем доверять результату, проверьте версию Python. Поддержку сопоставления по RFC 9309 добавили в CPython в 2026 году, и впервые она вышла в Python 3.13.14 и 3.14.5. Более старые выпуски, включая все 3.12 и раньше, применяют первое совпавшее правило в порядке файла, а не самое длинное, и не понимают * и $ внутри путей. В этих версиях скрипт выдаёт первый и четвёртый тесты наоборот: Googlebot заблокирован для /search/help/billing, а OAI-SearchBot может загрузить PDF.

Ещё два отличия касаются всех версий. RobotFileParser.read() считает ответ 401 или 403 на robots.txt запретом всего, тогда как RFC 9309 говорит, что 4xx означает: загружать можно всё. А read() скачивает файл с user agent Python по умолчанию, который некоторые файрволы блокируют, так что тест может показать блокировку по причинам, не связанным с вашими правилами. Если загрузить файл самостоятельно и передать его в parse(), как выше, обе проблемы исчезают.

Почему проверка robots.txt проходит, а краулер всё равно заблокирован?

Тестер отвечает на один вопрос: разрешают ли правила этот URL? Многое остаётся за пределами этого ответа:

Как проверить robots.txt сразу для всех AI-краулеров?

Бесплатная проверка robots.txt в AISeeWhy принимает адрес страницы или вставленный текст robots.txt и показывает для каждого AI- и поискового краулера, можно ли ему загружать эту страницу. Бесплатный генератор robots.txt составляет файл по вашему выбору, а бесплатная проверка сайта загружает страницу как 16 краулеров и показывает, не блокирует ли файрвол то, что разрешает robots.txt.

Исправления для этой проблемы

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Есть ли ещё инструмент проверки robots.txt в Google Search Console?

Нет. В ноябре 2023 года Google заменил его отчётом о файлах robots.txt, который показывает загруженные Google файлы, их статус и ошибки. Чтобы проверить, может ли Googlebot сканировать конкретный URL, используйте инструмент проверки URL.

Перекрывает ли Allow правило Disallow в robots.txt?

Только если правило Allow длиннее или точно такой же длины. Побеждает правило с самым длинным совпавшим путём, какого бы типа оно ни было, а при равенстве побеждает Allow.

Чувствителен ли robots.txt к регистру?

Отчасти. Значение User-agent сравнивается без учёта регистра, поэтому gptbot и GPTBot называют одну и ту же группу. Пути чувствительны к регистру, поэтому Disallow: /Private/ не блокирует /private/.

Что проверяет валидатор robots.txt?

Валидатор проверяет, что файл доступен, отдаётся как текст и написан с правильным синтаксисом. Тестер идёт дальше и выдаёт вердикт для конкретного URL и краулера. Обычно нужно и то и другое, потому что и правильный файл может заблокировать страницу, которую вы хотели разрешить.

Если у краулера есть своя группа, следует ли он ещё User-agent: *?

Нет. Именная группа полностью заменяет для этого краулера группу *. Любое правило, которое должно действовать для всех, нужно повторить в каждой именной группе.

Источники

Другие статьи