Як перевірити правила robots.txt для URL і конкретного краулера?
Щоб перевірити URL для одного краулера, знайдіть групу, де названо токен краулера (або User-agent: *, якщо такої немає), зберіть у ній усі правила Allow і Disallow, що збігаються зі шляхом URL, і застосуйте найдовше; за рівної довжини перемагає Allow. Це можна зробити вручну, парсером Google з відкритим кодом або інструментом перевірки, який показує вердикт для кожного краулера. Старого тестера robots.txt у Search Console більше немає, а звіт robots.txt, що його замінив, показує, що отримав Google, а не вердикт для URL.
Файл robots.txt здається простим, доки не потрібна точна відповідь: чи може GPTBot завантажити цю сторінку, а OAI-SearchBot? Відповідь залежить від того, яку групу вибере краулер і яке правило в цій групі переможе, і на обох кроках легко помилитися. Нижче — як працює зіставлення за RFC 9309, чотири розібрані приклади і три способи перевірити файл самостійно.
На цій сторінці
- Що сталося з тестером robots.txt у Google Search Console?
- Як краулер вирішує, чи дозволено URL?
- Чи можна розібрати приклад перевірки robots.txt?
- Як запустити парсер robots.txt від Google з відкритим кодом?
- Чи можна перевірити robots.txt за допомогою urllib.robotparser у Python?
- Чому перевірка robots.txt проходить, а краулер усе одно заблокований?
- Як перевірити robots.txt одразу для всіх AI-краулерів?
Що сталося з тестером robots.txt у Google Search Console?
У листопаді 2023 року Google додав у Search Console звіт robots.txt і оголосив, що виводить з ужитку тестер robots.txt. Звіт розташований у розділі «Налаштування» і стосується лише краулерів Google. Він показує:
- Файли robots.txt, які Google знайшов для 20 основних хостів вашого ресурсу.
- Статус завантаження кожного файлу (
Fetched,Not Fetched - Not found (404)абоNot Fetched - Any other reason), коли Google востаннє його перевіряв, і розмір у байтах. - Проблеми у файлі. Google зазначає, що помилки не дають використати правило, а попередження — ні.
- Версії, які Google отримав за останні 30 днів, і кнопку, щоб запросити повторне сканування після виправлення файлу.
Звіт не приймає URL і не повертає «дозволено» чи «заблоковано». Щоб перевірити один URL для Googlebot, Google радить інструмент перевірки URL, а для локального тестування — свою бібліотеку robots.txt з відкритим кодом. Жоден із них нічого не скаже про AI-краулери, як-от GPTBot чи ClaudeBot.
Як краулер вирішує, чи дозволено URL?
Зіставлення визначає RFC 9309, Robots Exclusion Protocol. Google документує таку саму поведінку своїх краулерів.
- Вибір групи. User-agent зіставляється без урахування регістру. Якщо одна чи кілька груп називають токен краулера, їхні правила об’єднуються, а група
User-agent: *повністю ігнорується. Групи*дотримується лише краулер, для якого немає названої групи. - Вибір правила. Серед правил
AllowіDisallow, шлях яких збігається з URL, перемагає те, у якому найбільше символів. ЯкщоAllowіDisallowоднакової довжини, має перемогтиAllow. - Читання шаблонів.
*відповідає будь-якій послідовності символів, а$позначає кінець URL. Шляхи чутливі до регістру, тож/Admin/не збігається з/admin/. - Немає відповідного правила — отже, дозволено. Сам
/robots.txtдозволений завжди.
Код відповіді robots.txt важить не менше, ніж його правила. Відповідь 4xx означає, що краулер може завантажувати все; Google трактує кожен 4xx, крім 429, так, ніби файлу немає. Відповідь 5xx означає, що краулер має вважати весь сайт забороненим. Google припиняє сканування на перші 12 годин, а потім до 30 днів використовує останню справну копію. RFC 9309 вимагає, щоб краулери розбирали щонайменше 500 KiB, а Google ігнорує все, що йде після 500 KiB.
Чи можна розібрати приклад перевірки robots.txt?
Ось невеликий robots.txt із групою за замовчуванням і двома названими AI-краулерами:
Googlebotі/search/help/billing: дозволено. Групи для Googlebot немає, тож діє група*. Збігаються іDisallow: /search, іAllow: /search/help, а правилоAllowдовше.GPTBotі/blog/post: заблоковано. У GPTBot власна група, іDisallow: /збігається з будь-яким шляхом.OAI-SearchBotі/admin/settings: дозволено. В OAI-SearchBot власна група, тожDisallow: /admin/із групи*до нього не застосовується. Це найчастіша несподіванка; повторюйте спільні правила в кожній названій групі.OAI-SearchBotі/files/report.pdf: заблоковано.Allow: /збігається одним символом,Disallow: /*.pdf$— сімома, і перемагає довше правило.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Нічиї трапляються рідше, але підкоряються тій самій логіці. Документація Google наводить випадок allow: /folder і disallow: /folder для URL /folder/page: обидва правила однакової довжини, тож URL дозволено.
Як запустити парсер robots.txt від Google з відкритим кодом?
Google публікує бібліотеку C++, яку використовує в продакшені для зіставлення правил robots.txt, з невеликою консольною програмою, що перевіряє один URL і один user agent за локальним файлом. Якщо встановлено Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Репозиторій також описує збірку через CMake, яка створює бінарний файл robots з тими самими аргументами. Інструмент лише розбирає й зіставляє; він не завантажує robots.txt, тож спершу збережіть живий файл. У README також зазначено, що специфічна для краулерів поведінка поза розбором і зіставленням не входить у бібліотеку.
Чи можна перевірити robots.txt за допомогою urllib.robotparser у Python?
Стандартна бібліотека Python містить парсер, який відповідає «дозволено» чи «заблоковано» для user agent і URL. Цей скрипт перевіряє приклад вище:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Перш ніж довіряти результату, перевірте версію Python. Підтримку зіставлення за RFC 9309 додали в CPython у 2026 році, і вперше вона вийшла в Python 3.13.14 і 3.14.5. Старіші випуски, зокрема всі 3.12 і раніші, застосовують перше за порядком у файлі правило, що збігається, а не найдовше, і не розуміють * чи $ у шляхах. На цих версіях скрипт дає навпаки результати першої й четвертої перевірки: Googlebot заблоковано для /search/help/billing, а OAI-SearchBot дозволено завантажити PDF.
Ще дві відмінності стосуються всіх версій. RobotFileParser.read() трактує відповідь 401 чи 403 на robots.txt як заборону всього, тоді як RFC 9309 каже, що 4xx дозволяє завантажувати все. А read() завантажує файл зі стандартним user agent Python, який деякі файрволи блокують, тож перевірка може показати блокування з причин, не пов’язаних із вашими правилами. Якщо самостійно завантажити файл і передати його в parse(), як вище, обидві проблеми зникають.
Чому перевірка robots.txt проходить, а краулер усе одно заблокований?
Тестер відповідає на одне запитання: чи дозволяють правила цей URL? Кілька речей лежать поза цією відповіддю:
- Живий файл відрізняється від того, який ви перевіряли, або краулер ще використовує кешовану копію. RFC 9309 каже, що краулерам не слід використовувати кешовану копію довше 24 годин, а Google загалом кешує до 24 годин.
- URL robots.txt повертає HTML-сторінку або помилку. HTML-сторінка зі статусом 200 не містить дійсних правил, а відповідь 5xx блокує весь сайт.
- robots.txt — це прохання, а не контроль доступу. Файрвол, CDN чи захист від ботів усе одно можуть відповісти краулеру кодом 403 або сторінкою-перевіркою.
Як перевірити robots.txt одразу для всіх AI-краулерів?
Безкоштовна перевірка robots.txt від AISeeWhy приймає адресу сторінки або вставлений robots.txt і показує для кожного AI- та пошукового краулера, чи можна завантажити цю сторінку. Безкоштовний генератор robots.txt складає файл за вашим вибором, а безкоштовна перевірка завантажує сторінку як 16 краулерів і показує, чи блокує файрвол те, що дозволяє robots.txt.
Виправлення для цієї проблеми
- robots.txt дозволяє GPTBot, але сервер блокує його
- robots.txt забороняє OAI-SearchBot
- robots.txt — це HTML-сторінка
- robots.txt не вдається отримати
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Чи є ще тестер robots.txt у Google Search Console?
Ні. У листопаді 2023 року Google замінив його звітом robots.txt, який показує отримані Google файли, їхній статус і помилки. Щоб перевірити, чи може Googlebot сканувати конкретний URL, скористайтеся інструментом перевірки URL.
Чи переважає Allow над Disallow у robots.txt?
Лише тоді, коли правило Allow довше або точно такої самої довжини. Перемагає правило з найдовшим шляхом, що збігається, хоч якого воно типу, а за рівності перемагає Allow.
Чи чутливий robots.txt до регістру?
Частково. Значення User-agent зіставляється без урахування регістру, тож gptbot і GPTBot позначають ту саму групу. Шляхи чутливі до регістру, тож Disallow: /Private/ не блокує /private/.
Що перевіряє валідатор robots.txt?
Валідатор перевіряє, що файл доступний, віддається як текст і має правильний синтаксис. Тестер іде далі й дає вердикт для конкретного URL і краулера. Зазвичай потрібні обидва, бо коректний файл усе одно може блокувати сторінку, яку ви хотіли дозволити.
Якщо в краулера є власна група, чи дотримується він User-agent: *?
Ні. Названа група повністю замінює для цього краулера групу *. Будь-яке правило, яке має діяти для всіх, доведеться повторити в кожній названій групі.
Джерела
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Документація Python: urllib.robotparser
- Вихідний код CPython: Lib/urllib/robotparser.py