Как проверить правила robots.txt для URL и конкретного краулера?
Чтобы проверить URL для одного краулера, найдите группу, где назван токен этого краулера (или User-agent: *, если такой нет), соберите в ней все правила Allow и Disallow, совпадающие с путём URL, и примените самое длинное; при равной длине побеждает Allow. Это можно сделать вручную, с помощью открытого парсера Google или инструментом, который выдаёт вердикт для каждого краулера. Старого инструмента проверки robots.txt в Search Console больше нет, а заменивший его отчёт о файлах robots.txt показывает, что загрузил Google, а не вердикт для URL.
Файл robots.txt выглядит простым, пока не нужен точный ответ: можно ли GPTBot загрузить эту страницу, а OAI-SearchBot? Ответ зависит от того, какую группу выберет краулер и какое правило внутри неё победит, и на обоих шагах легко ошибиться. Ниже — как работает сопоставление по RFC 9309, четыре разобранных примера и три способа проверить файл самостоятельно.
На этой странице
- Что случилось с инструментом проверки robots.txt в Google Search Console?
- Как краулер решает, разрешён ли URL?
- Можно ли разобрать пример проверки robots.txt?
- Как запустить открытый парсер robots.txt от Google?
- Можно ли проверить robots.txt через urllib.robotparser в Python?
- Почему проверка robots.txt проходит, а краулер всё равно заблокирован?
- Как проверить robots.txt сразу для всех AI-краулеров?
Что случилось с инструментом проверки robots.txt в Google Search Console?
В ноябре 2023 года Google добавил в Search Console отчёт о файлах robots.txt и объявил, что прекращает поддержку инструмента проверки robots.txt. Отчёт находится в разделе «Настройки» и касается только краулеров Google. Он показывает:
- Файлы robots.txt, которые Google нашёл для 20 основных хостов вашего ресурса.
- Статус загрузки каждого файла (
Fetched,Not Fetched - Not found (404)илиNot Fetched - Any other reason), время последней проверки Google и размер в байтах. - Проблемы в файле. Google сообщает, что ошибки не дают применить правило, а предупреждения — нет.
- Версии, загруженные Google за последние 30 дней, и кнопку запроса повторного сканирования после исправления файла.
Отчёт не принимает URL и не отвечает «разрешено» или «заблокировано». Чтобы проверить один URL для Googlebot, Google предлагает инструмент проверки URL, а для локальной проверки — свою открытую библиотеку robots.txt. Ни то ни другое ничего не говорит об AI-краулерах вроде GPTBot или ClaudeBot.
Как краулер решает, разрешён ли URL?
Сопоставление определяет RFC 9309, Robots Exclusion Protocol. Google описывает такое же поведение своих краулеров.
- Выбор группы. User-agent сравнивается без учёта регистра. Если одна или несколько групп называют токен краулера, их правила объединяются, а группа
User-agent: *полностью игнорируется. Группе*следует только краулер, для которого нет именной группы. - Выбор правила. Среди правил
AllowиDisallow, путь которых совпадает с URL, побеждает правило с наибольшим числом символов. ЕслиAllowиDisallowодинаковой длины, должно победитьAllow. - Чтение шаблонов.
*совпадает с любой последовательностью символов, а$обозначает конец URL. Пути чувствительны к регистру, поэтому/Admin/не совпадает с/admin/. - Нет совпавшего правила — значит, разрешено. Сам
/robots.txtразрешён всегда.
Код ответа robots.txt важен не меньше его правил. Ответ 4xx означает, что краулер может загружать всё; Google считает любой 4xx, кроме 429, отсутствием файла. Ответ 5xx означает, что краулер должен считать весь сайт запрещённым. Google прекращает сканирование на первые 12 часов, затем до 30 дней использует последнюю удачную копию. RFC 9309 требует от краулеров разбирать не менее 500 KiB, а Google игнорирует всё, что идёт после 500 KiB.
Можно ли разобрать пример проверки robots.txt?
Вот небольшой robots.txt с группой по умолчанию и двумя именными AI-краулерами:
Googlebotи/search/help/billing: разрешено. Группы для Googlebot нет, поэтому действует группа*. Совпадают иDisallow: /search, иAllow: /search/help, а правилоAllowдлиннее.GPTBotи/blog/post: заблокировано. У GPTBot своя группа, иDisallow: /совпадает с любым путём.OAI-SearchBotи/admin/settings: разрешено. У OAI-SearchBot своя группа, поэтомуDisallow: /admin/из группы*к нему не применяется. Это самый частый сюрприз: повторяйте общие правила в каждой именной группе.OAI-SearchBotи/files/report.pdf: заблокировано.Allow: /совпадает одним символом,Disallow: /*.pdf$— семью, и побеждает более длинное правило.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Равенство встречается реже, но подчиняется той же логике. В документации Google разобран случай allow: /folder и disallow: /folder для URL /folder/page: оба правила одинаковой длины, поэтому URL разрешён.
Как запустить открытый парсер robots.txt от Google?
Google публикует библиотеку на C++, которую использует в продакшене для сопоставления правил robots.txt, с небольшой консольной программой для проверки одного URL и одного user agent по локальному файлу. С установленным Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed В репозитории описана и сборка через CMake, которая создаёт бинарный файл robots с теми же аргументами. Инструмент только разбирает и сопоставляет; robots.txt он не скачивает, поэтому сначала сохраните рабочий файл. В README также отмечено, что поведение конкретных краулеров за пределами разбора и сопоставления в библиотеку не входит.
Можно ли проверить robots.txt через urllib.robotparser в Python?
В стандартной библиотеке Python есть парсер, который отвечает «разрешено» или «заблокировано» для user agent и URL. Этот скрипт проверяет пример выше:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Прежде чем доверять результату, проверьте версию Python. Поддержку сопоставления по RFC 9309 добавили в CPython в 2026 году, и впервые она вышла в Python 3.13.14 и 3.14.5. Более старые выпуски, включая все 3.12 и раньше, применяют первое совпавшее правило в порядке файла, а не самое длинное, и не понимают * и $ внутри путей. В этих версиях скрипт выдаёт первый и четвёртый тесты наоборот: Googlebot заблокирован для /search/help/billing, а OAI-SearchBot может загрузить PDF.
Ещё два отличия касаются всех версий. RobotFileParser.read() считает ответ 401 или 403 на robots.txt запретом всего, тогда как RFC 9309 говорит, что 4xx означает: загружать можно всё. А read() скачивает файл с user agent Python по умолчанию, который некоторые файрволы блокируют, так что тест может показать блокировку по причинам, не связанным с вашими правилами. Если загрузить файл самостоятельно и передать его в parse(), как выше, обе проблемы исчезают.
Почему проверка robots.txt проходит, а краулер всё равно заблокирован?
Тестер отвечает на один вопрос: разрешают ли правила этот URL? Многое остаётся за пределами этого ответа:
- Рабочий файл отличается от проверенного, или краулер всё ещё использует кэшированную копию. RFC 9309 говорит, что краулерам не следует использовать кэшированную копию дольше 24 часов, а Google в общем случае кэширует до 24 часов.
- URL robots.txt отдаёт HTML-страницу или ошибку. HTML-страница со статусом 200 не содержит допустимых правил, а ответ 5xx блокирует весь сайт.
- robots.txt — это просьба, а не контроль доступа. Файрвол, CDN или защита от ботов всё равно могут ответить краулеру кодом 403 или страницей-проверкой.
Как проверить robots.txt сразу для всех AI-краулеров?
Бесплатная проверка robots.txt в AISeeWhy принимает адрес страницы или вставленный текст robots.txt и показывает для каждого AI- и поискового краулера, можно ли ему загружать эту страницу. Бесплатный генератор robots.txt составляет файл по вашему выбору, а бесплатная проверка сайта загружает страницу как 16 краулеров и показывает, не блокирует ли файрвол то, что разрешает robots.txt.
Исправления для этой проблемы
- robots.txt разрешает GPTBot, но сервер его блокирует
- robots.txt запрещает OAI-SearchBot
- robots.txt оказался HTML-страницей
- robots.txt недоступен
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Краулеры в этой статье
Частые вопросы
Есть ли ещё инструмент проверки robots.txt в Google Search Console?
Нет. В ноябре 2023 года Google заменил его отчётом о файлах robots.txt, который показывает загруженные Google файлы, их статус и ошибки. Чтобы проверить, может ли Googlebot сканировать конкретный URL, используйте инструмент проверки URL.
Перекрывает ли Allow правило Disallow в robots.txt?
Только если правило Allow длиннее или точно такой же длины. Побеждает правило с самым длинным совпавшим путём, какого бы типа оно ни было, а при равенстве побеждает Allow.
Чувствителен ли robots.txt к регистру?
Отчасти. Значение User-agent сравнивается без учёта регистра, поэтому gptbot и GPTBot называют одну и ту же группу. Пути чувствительны к регистру, поэтому Disallow: /Private/ не блокирует /private/.
Что проверяет валидатор robots.txt?
Валидатор проверяет, что файл доступен, отдаётся как текст и написан с правильным синтаксисом. Тестер идёт дальше и выдаёт вердикт для конкретного URL и краулера. Обычно нужно и то и другое, потому что и правильный файл может заблокировать страницу, которую вы хотели разрешить.
Если у краулера есть своя группа, следует ли он ещё User-agent: *?
Нет. Именная группа полностью заменяет для этого краулера группу *. Любое правило, которое должно действовать для всех, нужно повторить в каждой именной группе.
Источники
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py