Как да тествам правилата на robots.txt за URL адрес и конкретен бот?
За да тествате URL адрес за един бот, намерете групата, която назовава токена на бота (или User-agent: *, ако няма такава), съберете всички правила Allow и Disallow в нея, които съвпадат с пътя на URL адреса, и приложете най-дългото; при равенство печели Allow. Можете да го направите ръчно, с парсера на Google с отворен код или с инструмент за проверка, който дава отговор за всеки бот. Старият robots.txt Tester в Search Console вече го няма, а отчетът за robots.txt, който го замени, показва какво е изтеглил Google, а не отговор за конкретен URL.
Файлът robots.txt изглежда прост, докато не ви потрябва категоричен отговор: може ли GPTBot да изтегли тази страница, а OAI-SearchBot? Отговорът зависи от това коя група избира ботът и кое правило в нея печели, а и в двете стъпки лесно се греши. Ето как работи съпоставянето според RFC 9309, четири разгледани примера и три начина сами да тествате файл.
На тази страница
- Какво стана с robots.txt Tester в Google Search Console?
- Как ботът решава дали даден URL е разрешен?
- Можете ли да покажете пример за тест на robots.txt?
- Как да стартирам парсера на robots.txt на Google с отворен код?
- Мога ли да тествам robots.txt с urllib.robotparser на Python?
- Защо тестът на robots.txt минава, а ботът все още е блокиран?
- Как да проверя robots.txt за всички AI ботове наведнъж?
Какво стана с robots.txt Tester в Google Search Console?
През ноември 2023 г. Google добави отчет за robots.txt в Search Console и обяви, че спира robots.txt тестера. Отчетът е в „Настройки“ и покрива само ботовете на Google. Той показва:
- Файловете robots.txt, които Google е намерил за първите 20 хоста на вашето свойство.
- Статуса на изтегляне на всеки файл (
Fetched,Not Fetched - Not found (404)илиNot Fetched - Any other reason), кога Google го е проверил за последно и размера му в байтове. - Проблемите във файла. Google казва, че грешките пречат дадено правило да се използва, а предупрежденията – не.
- Версиите, изтеглени от Google през последните 30 дни, и бутон за заявка за повторно обхождане, след като поправите файла.
Отчетът не приема URL адрес и не връща „разрешено“ или „блокирано“. За проверка на един URL за Googlebot Google насочва към инструмента за проверка на URL адреси, а за локално тестване – към своята библиотека за robots.txt с отворен код. Нито един от двата не ви казва нищо за AI ботове като GPTBot или ClaudeBot.
Как ботът решава дали даден URL е разрешен?
RFC 9309, Robots Exclusion Protocol, определя съпоставянето. Google документира същото поведение за своите ботове.
- Изберете групата. Съпоставянето на User-agent не различава главни и малки букви. Ако една или повече групи назовават токена на бота, правилата им се обединяват, а групата
User-agent: *се пренебрегва изцяло. Само бот без собствена група следва*. - Изберете правилото. Сред правилата
AllowиDisallow, чийто път съвпада с URL адреса, печели това с най-много знаци. АкоAllowиDisallowса еднакво дълги, трябва да спечелиAllow. - Прочетете шаблоните.
*съвпада с произволна поредица от знаци, а$отбелязва края на URL адреса. Пътищата различават главни и малки букви, така че/Admin/не съвпада с/admin/. - Няма съвпадащо правило – значи е разрешено. Самият
/robots.txtвинаги е разрешен.
Кодът на отговора за robots.txt е толкова важен, колкото и правилата му. Отговор 4xx означава, че ботът може да изтегля всичко; Google третира всеки 4xx освен 429 така, сякаш файлът не съществува. Отговор 5xx означава, че ботът трябва да приеме, че целият сайт е забранен. Google спира обхождането за първите 12 часа, а след това използва последното добро копие до 30 дни. RFC 9309 изисква ботовете да обработват поне 500 KiB, а Google пренебрегва всичко след 500 KiB.
Можете ли да покажете пример за тест на robots.txt?
Ето малък robots.txt с група по подразбиране и два AI бота със собствени групи:
Googlebotи/search/help/billing: разрешено. Няма група за Googlebot, затова се прилага групата*. Съвпадат иDisallow: /search, иAllow: /search/help, а правилотоAllowе по-дълго.GPTBotи/blog/post: блокирано. GPTBot има собствена група иDisallow: /съвпада с всеки път.OAI-SearchBotи/admin/settings: разрешено. OAI-SearchBot има собствена група, така чеDisallow: /admin/от групата*не се прилага за него. Това е най-честата изненада; повтаряйте общите правила във всяка именувана група.OAI-SearchBotи/files/report.pdf: блокирано.Allow: /съвпада с един знак,Disallow: /*.pdf$– със седем, и по-дългото правило печели.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Равенствата са по-редки, но следват същата логика. Документацията на Google дава случая с allow: /folder и disallow: /folder за URL адреса /folder/page: двете са с еднаква дължина, така че URL адресът е разрешен.
Как да стартирам парсера на robots.txt на Google с отворен код?
Google публикува библиотеката на C++, която използва в продукция за съпоставяне на правилата на robots.txt, с малка програма за команден ред за тестване на един URL и един user agent срещу локален файл. С инсталиран Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Хранилището документира и компилация с CMake, която създава изпълним файл robots със същите аргументи. Инструментът само анализира и съпоставя; не изтегля robots.txt, затова първо запишете актуалния файл. Неговият README отбелязва също, че специфичното за ботовете поведение извън анализа и съпоставянето не е част от библиотеката.
Мога ли да тествам robots.txt с urllib.robotparser на Python?
Стандартната библиотека на Python съдържа парсер, който отговаря „разрешено“ или „блокирано“ за даден user agent и URL. Този скрипт тества примера по-горе:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Проверете версията на Python, преди да се доверите на резултата. Поддръжката на съпоставяне по RFC 9309 беше добавена в CPython през 2026 г. и се появи за първи път в Python 3.13.14 и 3.14.5. По-старите версии, включително цялата 3.12 и по-ранните, прилагат първото съвпадащо правило по реда във файла, а не най-дългото, и не разбират * и $ в пътищата. При тези версии скриптът дава обратен резултат за първия и четвъртия тест: Googlebot е блокиран за /search/help/billing, а OAI-SearchBot има право да изтегли PDF файла.
Още две разлики важат за всяка версия. RobotFileParser.read() третира отговор 401 или 403 за robots.txt като пълна забрана, докато според RFC 9309 4xx означава, че всичко може да се изтегля. А read() изтегля файла с user agent по подразбиране на Python, който някои защитни стени блокират, така че тестът може да покаже „блокирано“ по причини, несвързани с правилата ви. Ако изтеглите файла сами и го подадете на parse(), както по-горе, избягвате и двата проблема.
Защо тестът на robots.txt минава, а ботът все още е блокиран?
Тестерът отговаря на един въпрос: позволяват ли правилата този URL? Няколко неща остават извън този отговор:
- Актуалният файл се различава от тествания или ботът още използва кеширано копие. RFC 9309 казва, че ботовете не бива да използват кеширано копие повече от 24 часа, а Google по принцип кешира до 24 часа.
- URL адресът на robots.txt връща HTML страница или грешка. HTML страница със статус 200 не съдържа валидни правила, а отговор 5xx блокира целия сайт.
- robots.txt е молба, а не контрол на достъпа. Защитна стена, CDN или защита от ботове все пак може да отговори на бота с 403 или страница за проверка.
Как да проверя robots.txt за всички AI ботове наведнъж?
Безплатната проверка на robots.txt на AISeeWhy приема адрес на страница или поставен robots.txt и показва за всеки AI бот и бот на търсачка дали може да изтегли тази страница. Безплатният генератор на robots.txt създава файл според вашия избор, а безплатната проверка изтегля страницата като 16 бота, за да покаже дали защитна стена блокира това, което robots.txt позволява.
Корекции за този проблем
- robots.txt позволява GPTBot, но сървърът го блокира
- robots.txt забранява OAI-SearchBot
- robots.txt е HTML страница
- robots.txt не може да бъде изтеглен
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Има ли все още robots.txt тестер в Google Search Console?
Не. През ноември 2023 г. Google го замени с отчета за robots.txt, който показва изтеглените от Google файлове, статуса им и евентуалните грешки. За да проверите дали Googlebot може да обхожда конкретен URL адрес, използвайте инструмента за проверка на URL адреси.
Има ли Allow предимство пред Disallow в robots.txt?
Само когато правилото Allow е по-дълго или точно толкова дълго. Печели правилото с най-дълъг съвпадащ път, независимо от вида му, а при равенство печели Allow.
Различава ли robots.txt главни и малки букви?
Отчасти. Стойността на User-agent се съпоставя без значение на регистъра, така че gptbot и GPTBot назовават една и съща група. Пътищата различават главни и малки букви, така че Disallow: /Private/ не блокира /private/.
Какво проверява валидаторът на robots.txt?
Валидаторът проверява дали файлът е достъпен, връща се като текст и е написан с валиден синтаксис. Тестерът отива по-далеч и дава отговор за конкретен URL адрес и бот. Обикновено ви трябват и двата, защото валиден файл все пак може да блокира страница, която сте искали да разрешите.
Ако ботът има собствена група, следва ли все още User-agent: *?
Не. Именуваната група заменя напълно групата * за този бот. Всяко правило, което искате да важи за всички, трябва да се повтори във всяка именувана група.
Източници
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py