Як перевірити правила robots.txt для URL і конкретного краулера?

Опубліковано

Коротка відповідь

Щоб перевірити URL для одного краулера, знайдіть групу, де названо токен краулера (або User-agent: *, якщо такої немає), зберіть у ній усі правила Allow і Disallow, що збігаються зі шляхом URL, і застосуйте найдовше; за рівної довжини перемагає Allow. Це можна зробити вручну, парсером Google з відкритим кодом або інструментом перевірки, який показує вердикт для кожного краулера. Старого тестера robots.txt у Search Console більше немає, а звіт robots.txt, що його замінив, показує, що отримав Google, а не вердикт для URL.

Файл robots.txt здається простим, доки не потрібна точна відповідь: чи може GPTBot завантажити цю сторінку, а OAI-SearchBot? Відповідь залежить від того, яку групу вибере краулер і яке правило в цій групі переможе, і на обох кроках легко помилитися. Нижче — як працює зіставлення за RFC 9309, чотири розібрані приклади і три способи перевірити файл самостійно.

На цій сторінці
  1. Що сталося з тестером robots.txt у Google Search Console?
  2. Як краулер вирішує, чи дозволено URL?
  3. Чи можна розібрати приклад перевірки robots.txt?
  4. Як запустити парсер robots.txt від Google з відкритим кодом?
  5. Чи можна перевірити robots.txt за допомогою urllib.robotparser у Python?
  6. Чому перевірка robots.txt проходить, а краулер усе одно заблокований?
  7. Як перевірити robots.txt одразу для всіх AI-краулерів?

Що сталося з тестером robots.txt у Google Search Console?

У листопаді 2023 року Google додав у Search Console звіт robots.txt і оголосив, що виводить з ужитку тестер robots.txt. Звіт розташований у розділі «Налаштування» і стосується лише краулерів Google. Він показує:

Звіт не приймає URL і не повертає «дозволено» чи «заблоковано». Щоб перевірити один URL для Googlebot, Google радить інструмент перевірки URL, а для локального тестування — свою бібліотеку robots.txt з відкритим кодом. Жоден із них нічого не скаже про AI-краулери, як-от GPTBot чи ClaudeBot.

Як краулер вирішує, чи дозволено URL?

Зіставлення визначає RFC 9309, Robots Exclusion Protocol. Google документує таку саму поведінку своїх краулерів.

Код відповіді robots.txt важить не менше, ніж його правила. Відповідь 4xx означає, що краулер може завантажувати все; Google трактує кожен 4xx, крім 429, так, ніби файлу немає. Відповідь 5xx означає, що краулер має вважати весь сайт забороненим. Google припиняє сканування на перші 12 годин, а потім до 30 днів використовує останню справну копію. RFC 9309 вимагає, щоб краулери розбирали щонайменше 500 KiB, а Google ігнорує все, що йде після 500 KiB.

Чи можна розібрати приклад перевірки robots.txt?

Ось невеликий robots.txt із групою за замовчуванням і двома названими AI-краулерами:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Нічиї трапляються рідше, але підкоряються тій самій логіці. Документація Google наводить випадок allow: /folder і disallow: /folder для URL /folder/page: обидва правила однакової довжини, тож URL дозволено.

Як запустити парсер robots.txt від Google з відкритим кодом?

Google публікує бібліотеку C++, яку використовує в продакшені для зіставлення правил robots.txt, з невеликою консольною програмою, що перевіряє один URL і один user agent за локальним файлом. Якщо встановлено Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Репозиторій також описує збірку через CMake, яка створює бінарний файл robots з тими самими аргументами. Інструмент лише розбирає й зіставляє; він не завантажує robots.txt, тож спершу збережіть живий файл. У README також зазначено, що специфічна для краулерів поведінка поза розбором і зіставленням не входить у бібліотеку.

Чи можна перевірити robots.txt за допомогою urllib.robotparser у Python?

Стандартна бібліотека Python містить парсер, який відповідає «дозволено» чи «заблоковано» для user agent і URL. Цей скрипт перевіряє приклад вище:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Перш ніж довіряти результату, перевірте версію Python. Підтримку зіставлення за RFC 9309 додали в CPython у 2026 році, і вперше вона вийшла в Python 3.13.14 і 3.14.5. Старіші випуски, зокрема всі 3.12 і раніші, застосовують перше за порядком у файлі правило, що збігається, а не найдовше, і не розуміють * чи $ у шляхах. На цих версіях скрипт дає навпаки результати першої й четвертої перевірки: Googlebot заблоковано для /search/help/billing, а OAI-SearchBot дозволено завантажити PDF.

Ще дві відмінності стосуються всіх версій. RobotFileParser.read() трактує відповідь 401 чи 403 на robots.txt як заборону всього, тоді як RFC 9309 каже, що 4xx дозволяє завантажувати все. А read() завантажує файл зі стандартним user agent Python, який деякі файрволи блокують, тож перевірка може показати блокування з причин, не пов’язаних із вашими правилами. Якщо самостійно завантажити файл і передати його в parse(), як вище, обидві проблеми зникають.

Чому перевірка robots.txt проходить, а краулер усе одно заблокований?

Тестер відповідає на одне запитання: чи дозволяють правила цей URL? Кілька речей лежать поза цією відповіддю:

Як перевірити robots.txt одразу для всіх AI-краулерів?

Безкоштовна перевірка robots.txt від AISeeWhy приймає адресу сторінки або вставлений robots.txt і показує для кожного AI- та пошукового краулера, чи можна завантажити цю сторінку. Безкоштовний генератор robots.txt складає файл за вашим вибором, а безкоштовна перевірка завантажує сторінку як 16 краулерів і показує, чи блокує файрвол те, що дозволяє robots.txt.

Виправлення для цієї проблеми

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Чи є ще тестер robots.txt у Google Search Console?

Ні. У листопаді 2023 року Google замінив його звітом robots.txt, який показує отримані Google файли, їхній статус і помилки. Щоб перевірити, чи може Googlebot сканувати конкретний URL, скористайтеся інструментом перевірки URL.

Чи переважає Allow над Disallow у robots.txt?

Лише тоді, коли правило Allow довше або точно такої самої довжини. Перемагає правило з найдовшим шляхом, що збігається, хоч якого воно типу, а за рівності перемагає Allow.

Чи чутливий robots.txt до регістру?

Частково. Значення User-agent зіставляється без урахування регістру, тож gptbot і GPTBot позначають ту саму групу. Шляхи чутливі до регістру, тож Disallow: /Private/ не блокує /private/.

Що перевіряє валідатор robots.txt?

Валідатор перевіряє, що файл доступний, віддається як текст і має правильний синтаксис. Тестер іде далі й дає вердикт для конкретного URL і краулера. Зазвичай потрібні обидва, бо коректний файл усе одно може блокувати сторінку, яку ви хотіли дозволити.

Якщо в краулера є власна група, чи дотримується він User-agent: *?

Ні. Названа група повністю замінює для цього краулера групу *. Будь-яке правило, яке має діяти для всіх, доведеться повторити в кожній названій групі.

Джерела

Інші статті