robots.txt ережелерін URL мен нақты краулер үшін қалай тексеруге болады?

Жарияланды

Қысқа жауап

URL-ді бір краулер үшін тексеру үшін краулер токенін атайтын топты табыңыз (ондай болмаса — User-agent: *), ондағы URL жолына сәйкес келетін барлық Allow және Disallow ережелерін жинаңыз да, ең ұзынын қолданыңыз; тең болса, Allow жеңеді. Мұны қолмен, Google-дың ашық бастапқы кодты парсерімен немесе әр краулер бойынша шешім көрсететін тексерушімен жасауға болады. Search Console-дағы ескі robots.txt Tester жойылды, ал оны алмастырған robots.txt есебі URL үшін шешімді емес, Google нені алғанын көрсетеді.

robots.txt файлы нақты жауап керек болғанша қарапайым көрінеді: GPTBot бұл бетті ала ма, ал OAI-SearchBot ше? Жауап краулер қай топты таңдайтынына және сол топтағы қай ереже жеңетініне байланысты, екі қадамда да қателесу оңай. Төменде RFC 9309 бойынша сәйкестік қалай жұмыс істейтіні, төрт талданған мысал және файлды өзіңіз тексерудің үш жолы берілген.

Осы бетте
  1. Google Search Console-дағы robots.txt Tester-ге не болды?
  2. Краулер URL-ге рұқсат бар-жоғын қалай шешеді?
  3. robots.txt тексеру мысалын қадам бойынша көрсете аласыз ба?
  4. Google-дың ашық бастапқы кодты robots.txt парсерін қалай іске қосамын?
  5. robots.txt-ті Python-дағы urllib.robotparser арқылы тексеруге бола ма?
  6. Неге robots.txt тесті өтеді, ал краулер бәрібір бұғатталған?
  7. robots.txt-ті барлық ЖИ краулерлері үшін бірден қалай тексеремін?

Google Search Console-дағы robots.txt Tester-ге не болды?

2023 жылғы қарашада Google Search Console-ға robots.txt есебін қосып, robots.txt tester құралын тоқтататынын хабарлады. Есеп Settings бөлімінде орналасқан және тек Google краулерлерін қамтиды. Ол мыналарды көрсетеді:

Есеп URL қабылдап, «рұқсат» не «бұғатталған» деп жауап бермейді. Googlebot үшін бір URL-ді тексеруге Google URL Inspection құралына, ал жергілікті тексеруге ашық бастапқы кодты robots.txt кітапханасына сілтейді. Екеуі де GPTBot немесе ClaudeBot сияқты ЖИ краулерлері туралы ештеңе айтпайды.

Краулер URL-ге рұқсат бар-жоғын қалай шешеді?

Сәйкестікті RFC 9309, яғни Robots Exclusion Protocol анықтайды. Google өз краулерлері үшін дәл осындай мінез-құлықты сипаттайды.

robots.txt жауап коды оның ережелері сияқты маңызды. 4xx жауабы краулер бәрін ала алатынын білдіреді; Google 429-дан басқа әр 4xx кодын файл жоқ сияқты қабылдайды. 5xx жауабы краулер бүкіл сайтқа тыйым салынған деп есептеуі керек екенін білдіреді. Google алғашқы 12 сағат сканерлеуді тоқтатады, содан кейін 30 күнге дейін соңғы дұрыс көшірмені пайдаланады. RFC 9309 краулерлерден кемінде 500 KiB талдауды талап етеді, ал Google 500 KiB-тан кейінгінің бәрін елемейді.

robots.txt тексеру мысалын қадам бойынша көрсете аласыз ба?

Міне, әдепкі тобы және аталған екі ЖИ краулері бар шағын robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Теңдік сирек болады, бірақ сол логикамен шешіледі. Google құжаттамасында /folder/page URL-і үшін allow: /folder пен disallow: /folder мысалы келтірілген: екеуінің ұзындығы бірдей, сондықтан URL-ге рұқсат.

Google-дың ашық бастапқы кодты robots.txt парсерін қалай іске қосамын?

Google robots.txt ережелерін сәйкестендіру үшін өндірісте пайдаланатын C++ кітапханасын бір URL мен бір user agent-ті жергілікті файлмен тексеруге арналған шағын командалық жол бағдарламасымен бірге жариялайды. Bazel орнатылған болса:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Репозиторийде CMake арқылы құрастыру да сипатталған, ол дәл сондай аргументтері бар robots деген бинарлық файл жасайды. Құрал тек талдайды және сәйкестендіреді; robots.txt файлын жүктемейді, сондықтан алдымен нақты файлды сақтап алыңыз. Оның README файлында талдау мен сәйкестендіруден тыс краулерге тән мінез-құлық кітапханаға кірмейтіні де айтылған.

robots.txt-ті Python-дағы urllib.robotparser арқылы тексеруге бола ма?

Python стандартты кітапханасында user agent пен URL үшін «рұқсат» не «бұғатталған» деп жауап беретін парсер бар. Бұл скрипт жоғарыдағы мысалды тексереді:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Нәтижеге сенбес бұрын Python нұсқасын тексеріңіз. RFC 9309 бойынша сәйкестендіру қолдауы CPython-ға 2026 жылы қосылып, алғаш рет Python 3.13.14 және 3.14.5 нұсқаларында шықты. Ескі нұсқалар, соның ішінде бүкіл 3.12 және одан ертерегі, ең ұзын ережені емес, файл ретіндегі бірінші сәйкес ережені қолданады және жолдардағы * пен $ таңбаларын түсінбейді. Бұл нұсқаларда скрипт бірінші және төртінші тестті керісінше шешеді: Googlebot /search/help/billing үшін бұғатталады, ал OAI-SearchBot PDF-ті алуға рұқсат алады.

Тағы екі айырмашылық барлық нұсқаға қатысты. RobotFileParser.read() robots.txt үшін 401 немесе 403 жауабын бәріне тыйым деп қабылдайды, ал RFC 9309 бойынша 4xx бәрін алуға болатынын білдіреді. Ал read() файлды Python-ның әдепкі user agent-імен жүктейді, оны кейбір файрволдар бұғаттайды, сондықтан тест ережелеріңізге қатысы жоқ себептермен «бұғатталған» деп көрсетуі мүмкін. Файлды өзіңіз алып, жоғарыдағыдай parse() функциясына берсеңіз, екеуінен де құтыласыз.

Неге robots.txt тесті өтеді, ал краулер бәрібір бұғатталған?

Тестер бір сұраққа жауап береді: ережелер бұл URL-ге рұқсат бере ме? Бірнеше нәрсе бұл жауаптан тыс қалады:

robots.txt-ті барлық ЖИ краулерлері үшін бірден қалай тексеремін?

Тегін AISeeWhy robots.txt тексерушісі бет мекенжайын немесе қойылған robots.txt-ті қабылдап, әр ЖИ және іздеу краулері үшін сол бетті алуға бола ма, соны көрсетеді. Тегін robots.txt генераторы таңдауларыңыз бойынша файл жазады, ал тегін тексеру бетті 16 краулер ретінде алып, robots.txt рұқсат еткенді файрвол бұғаттамай ма, соны көрсетеді.

Бұл мәселені түзету жолдары

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Google Search Console-да robots.txt тестері әлі бар ма?

Жоқ. Google оны 2023 жылғы қарашада robots.txt есебімен алмастырды, ол Google алған файлдарды, олардың күйін және қателерді көрсетеді. Googlebot нақты URL-ді сканерлей ала ма, соны тексеру үшін URL Inspection құралын пайдаланыңыз.

robots.txt-те Allow ережесі Disallow ережесінен басым бола ма?

Тек Allow ережесі ұзынырақ немесе дәл сондай ұзын болса ғана. Түріне қарамастан, сәйкес жолы ең ұзын ереже жеңеді, ал тең болса Allow жеңеді.

robots.txt бас және кіші әріпті ажырата ма?

Ішінара. User-agent мәні әріп регистріне қарамай салыстырылады, сондықтан gptbot пен GPTBot бір топты білдіреді. Жолдар регистрді ажыратады, сондықтан Disallow: /Private/ ережесі /private/ жолын бұғаттамайды.

robots.txt валидаторы нені тексереді?

Валидатор файлдың қолжетімді екенін, мәтін ретінде берілетінін және жарамды синтаксиспен жазылғанын тексереді. Тестер одан әрі барып, нақты URL мен краулер үшін шешім береді. Әдетте екеуі де керек, өйткені жарамды файл да сіз рұқсат етпек болған бетті бұғаттап қоюы мүмкін.

Краулердің өз тобы болса, ол User-agent: * тобын да ұстана ма?

Жоқ. Аталған топ сол краулер үшін * тобын толығымен алмастырады. Барлығына қолданылуы тиіс кез келген ережені әр аталған топта қайталау керек.

Дереккөздер

Басқа мақалалар