Како да ги тестирам правилата на robots.txt за URL и одреден краулер?
За да тестирате URL за еден краулер, најдете ја групата што ја именува ознаката на краулерот (или User-agent: * ако ниедна не го именува), соберете ги сите правила Allow и Disallow во неа што се совпаѓаат со патеката на URL и применете го најдолгото; при еднаква должина победува Allow. Ова можете да го направите рачно, со парсерот со отворен код на Google или со алатка за проверка што дава пресуда за секој краулер. Стариот robots.txt Tester на Google во Search Console повеќе не постои, а извештајот robots.txt што го замени покажува што преземал Google, а не пресуда за URL.
Датотеката robots.txt изгледа едноставно сè додека не ви треба дефинитивен одговор: смее ли GPTBot да ја преземе оваа страница, а смее ли OAI-SearchBot? Одговорот зависи од тоа која група ја избира краулерот и кое правило во таа група победува, а во двата чекора лесно се греши. Еве како функционира совпаѓањето според RFC 9309, четири решени примери и три начини сами да тестирате датотека.
На оваа страница
- Што се случи со robots.txt Tester во Google Search Console?
- Како краулерот одлучува дали URL е дозволен?
- Можете ли да покажете пример за тестирање на robots.txt?
- Како да го пуштам парсерот за robots.txt со отворен код на Google?
- Можам ли да го тестирам robots.txt со urllib.robotparser во Python?
- Зошто тестот на robots.txt поминува, а краулерот сè уште е блокиран?
- Како да го проверам robots.txt за сите AI краулери одеднаш?
Што се случи со robots.txt Tester во Google Search Console?
Во ноември 2023 Google додаде извештај robots.txt во Search Console и соопшти дека го укинува тестерот за robots.txt. Извештајот се наоѓа под Settings и ги опфаќа само краулерите на Google. Тој покажува:
- Датотеките robots.txt што Google ги нашол за првите 20 хостови на вашето својство.
- Статусот на преземање на секоја датотека (
Fetched,Not Fetched - Not found (404)илиNot Fetched - Any other reason), кога Google последен пат ја проверил и нејзината големина во бајти. - Проблемите во датотеката. Google наведува дека грешките спречуваат правилото да се користи, а предупредувањата не.
- Верзиите што Google ги преземал во последните 30 дена и копче за барање повторно обиколување откако ќе ја поправите датотеката.
Извештајот не прима URL и не враќа „дозволено“ или „блокирано“. За проверка на еден URL за Googlebot, Google упатува на алатката URL Inspection, а за локално тестирање на својата библиотека за robots.txt со отворен код. Ниту едното не ви кажува ништо за AI краулерите како GPTBot или ClaudeBot.
Како краулерот одлучува дали URL е дозволен?
RFC 9309, Robots Exclusion Protocol, го дефинира совпаѓањето. Google го документира истото однесување за своите краулери.
- Избор на група. Совпаѓањето на User-agent не прави разлика меѓу големи и мали букви. Ако една или повеќе групи ја именуваат ознаката на краулерот, нивните правила се комбинираат, а групата
User-agent: *целосно се игнорира. Само краулер без именувана група го следи*. - Избор на правило. Меѓу правилата
AllowиDisallowчија патека се совпаѓа со URL, победува она со најмногу знаци. АкоAllowиDisallowсе еднакво долги, треба да победиAllow. - Читање на шаблоните.
*се совпаѓа со која било низа знаци, а$го означува крајот на URL. Патеките разликуваат големи и мали букви, па/Admin/не се совпаѓа со/admin/. - Ако нема правило што се совпаѓа, URL е дозволен. Самиот
/robots.txtе секогаш дозволен.
Кодот на одговорот за robots.txt е важен колку и неговите правила. Одговор 4xx значи дека краулерот смее да презема сè; Google го третира секој 4xx освен 429 како датотеката да не постои. Одговор 5xx значи дека краулерот мора да претпостави дека целиот сајт е забранет. Google прекинува со обиколување првите 12 часа, а потоа ја користи последната добра копија најмногу 30 дена. RFC 9309 бара краулерите да анализираат најмалку 500 KiB, а Google игнорира сè по 500 KiB.
Можете ли да покажете пример за тестирање на robots.txt?
Еве мал robots.txt со стандардна група и два именувани AI краулери:
Googlebotи/search/help/billing: дозволено. Нема група за Googlebot, па се применува групата*. ИDisallow: /searchиAllow: /search/helpсе совпаѓаат, а правилотоAllowе подолго.GPTBotи/blog/post: блокирано. GPTBot има своја група, аDisallow: /се совпаѓа со секоја патека.OAI-SearchBotи/admin/settings: дозволено. OAI-SearchBot има своја група, паDisallow: /admin/од групата*не се однесува на него. Ова е најчестото изненадување; повторете ги заедничките правила во секоја именувана група.OAI-SearchBotи/files/report.pdf: блокирано.Allow: /се совпаѓа со еден знак,Disallow: /*.pdf$со седум, а подолгото правило победува.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Изедначувањата се поретки, но ја следат истата логика. Документацијата на Google го дава примерот со allow: /folder и disallow: /folder за URL /folder/page: двете се исто долги, па URL е дозволен.
Како да го пуштам парсерот за robots.txt со отворен код на Google?
Google ја објавува C++ библиотеката што ја користи во продукција за совпаѓање на правилата од robots.txt, со мала програма од командна линија за тестирање на еден URL и еден кориснички агент наспроти локална датотека. Со инсталиран Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Репозиториумот документира и изградба со CMake, која создава извршна датотека со име robots со истите аргументи. Алатката само анализира и совпаѓа; не го презема robots.txt, па прво зачувајте ја живата датотека. Нејзиниот README исто така напоменува дека однесувањето специфично за краулерите надвор од анализата и совпаѓањето не е дел од библиотеката.
Можам ли да го тестирам robots.txt со urllib.robotparser во Python?
Стандардната библиотека на Python вклучува парсер што одговара „дозволено“ или „блокирано“ за кориснички агент и URL. Оваа скрипта го тестира примерот погоре:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Проверете ја верзијата на Python пред да му верувате на излезот. Поддршката за совпаѓање според RFC 9309 е додадена во CPython во 2026 и првпат е испорачана во Python 3.13.14 и 3.14.5. Постарите изданија, вклучително сите од 3.12 и постари, го применуваат првото правило по редослед во датотеката што се совпаѓа, а не најдолгото, и не ги разбираат * и $ во патеките. На тие верзии скриптата ги пријавува првиот и четвртиот тест обратно: Googlebot блокиран од /search/help/billing, а OAI-SearchBot со дозвола да го преземе PDF-от.
Уште две разлики важат за секоја верзија. RobotFileParser.read() одговорот 401 или 403 за robots.txt го третира како забрана за сè, додека RFC 9309 вели дека 4xx значи дека сè смее да се презема. А read() ја презема датотеката со стандардниот кориснички агент на Python, кој некои заштитни ѕидови го блокираат, па тестот може да пријави блокирање од причини што немаат врска со вашите правила. Ако сами ја преземете датотеката и ја предадете на parse(), како погоре, ги избегнувате и двете.
Зошто тестот на robots.txt поминува, а краулерот сè уште е блокиран?
Тестерот одговара на едно прашање: дали правилата го дозволуваат овој URL? Неколку работи се надвор од тој одговор:
- Живата датотека се разликува од онаа што ја тестиравте или краулерот сè уште користи кеширана копија. RFC 9309 вели дека краулерите не треба да користат кеширана копија подолго од 24 часа, а Google генерално кешира најмногу 24 часа.
- URL на robots.txt враќа HTML-страница или грешка. HTML-страница со статус 200 не содржи валидни правила, а одговор 5xx го блокира целиот сајт.
- robots.txt е барање, а не контрола на пристапот. Заштитен ѕид, CDN или заштита од ботови сè уште може да му одговори на краулерот со 403 или страница со предизвик.
Како да го проверам robots.txt за сите AI краулери одеднаш?
Бесплатната проверка на robots.txt на AISeeWhy прима адреса на страница или залепен robots.txt и покажува, за секој AI краулер и краулер за пребарување, дали таа страница смее да се преземе. Бесплатниот генератор на robots.txt пишува датотека според вашиот избор, а бесплатната проверка ја презема страницата како 16 краулери за да покаже дали заштитниот ѕид блокира нешто што robots.txt го дозволува.
Поправки за овој проблем
- robots.txt го дозволува GPTBot, но серверот го блокира
- robots.txt го забранува OAI-SearchBot
- robots.txt е HTML страница
- robots.txt не може да се преземе
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали сè уште постои тестер за robots.txt во Google Search Console?
Не. Google го замени во ноември 2023 со извештајот robots.txt, кој ги покажува датотеките што Google ги преземал, нивниот статус и евентуалните грешки. За да проверите дали Googlebot смее да обиколи одреден URL, користете ја алатката URL Inspection.
Дали Allow има предност пред Disallow во robots.txt?
Само кога правилото Allow е подолго или точно исто толку долго. Победува правилото со најдолгата патека што се совпаѓа, без оглед на видот, а при еднаква должина победува Allow.
Дали robots.txt разликува големи и мали букви?
Делумно. Вредноста на User-agent се совпаѓа без оглед на големината на буквите, па gptbot и GPTBot ја именуваат истата група. Патеките разликуваат големи и мали букви, па Disallow: /Private/ не го блокира /private/.
Што проверува валидаторот за robots.txt?
Валидаторот проверува дали датотеката е достапна, дали се служи како текст и дали е напишана со валидна синтакса. Тестерот оди подалеку и дава пресуда за одреден URL и краулер. Обично ви требаат и двата, бидејќи валидна датотека сепак може да блокира страница што сакавте да ја дозволите.
Ако краулерот има своја група, дали сè уште го следи User-agent: *?
Не. Именуваната група целосно ја заменува групата * за тој краулер. Секое правило што сакате да важи за сите мора да се повтори во секоја именувана група.
Извори
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py