robots.txt ережелерін URL мен нақты краулер үшін қалай тексеруге болады?
URL-ді бір краулер үшін тексеру үшін краулер токенін атайтын топты табыңыз (ондай болмаса — User-agent: *), ондағы URL жолына сәйкес келетін барлық Allow және Disallow ережелерін жинаңыз да, ең ұзынын қолданыңыз; тең болса, Allow жеңеді. Мұны қолмен, Google-дың ашық бастапқы кодты парсерімен немесе әр краулер бойынша шешім көрсететін тексерушімен жасауға болады. Search Console-дағы ескі robots.txt Tester жойылды, ал оны алмастырған robots.txt есебі URL үшін шешімді емес, Google нені алғанын көрсетеді.
robots.txt файлы нақты жауап керек болғанша қарапайым көрінеді: GPTBot бұл бетті ала ма, ал OAI-SearchBot ше? Жауап краулер қай топты таңдайтынына және сол топтағы қай ереже жеңетініне байланысты, екі қадамда да қателесу оңай. Төменде RFC 9309 бойынша сәйкестік қалай жұмыс істейтіні, төрт талданған мысал және файлды өзіңіз тексерудің үш жолы берілген.
Осы бетте
- Google Search Console-дағы robots.txt Tester-ге не болды?
- Краулер URL-ге рұқсат бар-жоғын қалай шешеді?
- robots.txt тексеру мысалын қадам бойынша көрсете аласыз ба?
- Google-дың ашық бастапқы кодты robots.txt парсерін қалай іске қосамын?
- robots.txt-ті Python-дағы urllib.robotparser арқылы тексеруге бола ма?
- Неге robots.txt тесті өтеді, ал краулер бәрібір бұғатталған?
- robots.txt-ті барлық ЖИ краулерлері үшін бірден қалай тексеремін?
Google Search Console-дағы robots.txt Tester-ге не болды?
2023 жылғы қарашада Google Search Console-ға robots.txt есебін қосып, robots.txt tester құралын тоқтататынын хабарлады. Есеп Settings бөлімінде орналасқан және тек Google краулерлерін қамтиды. Ол мыналарды көрсетеді:
- Google ресурсыңыздың ең үлкен 20 хосты үшін тапқан robots.txt файлдары.
- Әр файлдың алу күйі (
Fetched,Not Fetched - Not found (404)немесеNot Fetched - Any other reason), Google оны соңғы рет қашан тексергені және оның байтпен өлшемі. - Файлдағы мәселелер. Google айтуынша, қателер ережені қолдануға кедергі келтіреді, ал ескертулер кедергі келтірмейді.
- Google соңғы 30 күнде алған нұсқалар және файлды түзеткеннен кейін қайта сканерлеуді сұрайтын батырма.
Есеп URL қабылдап, «рұқсат» не «бұғатталған» деп жауап бермейді. Googlebot үшін бір URL-ді тексеруге Google URL Inspection құралына, ал жергілікті тексеруге ашық бастапқы кодты robots.txt кітапханасына сілтейді. Екеуі де GPTBot немесе ClaudeBot сияқты ЖИ краулерлері туралы ештеңе айтпайды.
Краулер URL-ге рұқсат бар-жоғын қалай шешеді?
Сәйкестікті RFC 9309, яғни Robots Exclusion Protocol анықтайды. Google өз краулерлері үшін дәл осындай мінез-құлықты сипаттайды.
- Топты таңдау. User-agent сәйкестігі бас және кіші әріпті ажыратпайды. Бір немесе бірнеше топ краулер токенін атаса, олардың ережелері біріктіріледі, ал
User-agent: *тобы толығымен еленбейді.*тобын тек өз тобы жоқ краулер ғана ұстанады. - Ережені таңдау. Жолы URL-ге сәйкес келетін
AllowжәнеDisallowережелерінің ішінде таңбасы ең көп ереже жеңеді.AllowпенDisallowұзындығы бірдей болса,Allowжеңуі керек. - Үлгілерді оқу.
*кез келген таңбалар тізбегіне сәйкес келеді, ал$URL соңын білдіреді. Жолдар бас және кіші әріпті ажыратады, сондықтан/Admin/жолы/admin/жолына сәйкес келмейді. - Сәйкес ереже болмаса — рұқсат.
/robots.txtфайлының өзіне әрдайым рұқсат.
robots.txt жауап коды оның ережелері сияқты маңызды. 4xx жауабы краулер бәрін ала алатынын білдіреді; Google 429-дан басқа әр 4xx кодын файл жоқ сияқты қабылдайды. 5xx жауабы краулер бүкіл сайтқа тыйым салынған деп есептеуі керек екенін білдіреді. Google алғашқы 12 сағат сканерлеуді тоқтатады, содан кейін 30 күнге дейін соңғы дұрыс көшірмені пайдаланады. RFC 9309 краулерлерден кемінде 500 KiB талдауды талап етеді, ал Google 500 KiB-тан кейінгінің бәрін елемейді.
robots.txt тексеру мысалын қадам бойынша көрсете аласыз ба?
Міне, әдепкі тобы және аталған екі ЖИ краулері бар шағын robots.txt:
Googlebotжәне/search/help/billing: рұқсат. Googlebot тобы жоқ, сондықтан*тобы қолданылады.Disallow: /searchте,Allow: /search/helpте сәйкес келеді, алAllowережесі ұзынырақ.GPTBotжәне/blog/post: бұғатталған. GPTBot-тың өз тобы бар, алDisallow: /кез келген жолға сәйкес келеді.OAI-SearchBotжәне/admin/settings: рұқсат. OAI-SearchBot-тың өз тобы бар, сондықтан*тобындағыDisallow: /admin/оған қолданылмайды. Бұл ең жиі кездесетін тосын жағдай; ортақ ережелерді әр аталған топта қайталаңыз.OAI-SearchBotжәне/files/report.pdf: бұғатталған.Allow: /бір таңбамен,Disallow: /*.pdf$жеті таңбамен сәйкес келеді, ал ұзынырақ ереже жеңеді.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Теңдік сирек болады, бірақ сол логикамен шешіледі. Google құжаттамасында /folder/page URL-і үшін allow: /folder пен disallow: /folder мысалы келтірілген: екеуінің ұзындығы бірдей, сондықтан URL-ге рұқсат.
Google-дың ашық бастапқы кодты robots.txt парсерін қалай іске қосамын?
Google robots.txt ережелерін сәйкестендіру үшін өндірісте пайдаланатын C++ кітапханасын бір URL мен бір user agent-ті жергілікті файлмен тексеруге арналған шағын командалық жол бағдарламасымен бірге жариялайды. Bazel орнатылған болса:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Репозиторийде CMake арқылы құрастыру да сипатталған, ол дәл сондай аргументтері бар robots деген бинарлық файл жасайды. Құрал тек талдайды және сәйкестендіреді; robots.txt файлын жүктемейді, сондықтан алдымен нақты файлды сақтап алыңыз. Оның README файлында талдау мен сәйкестендіруден тыс краулерге тән мінез-құлық кітапханаға кірмейтіні де айтылған.
robots.txt-ті Python-дағы urllib.robotparser арқылы тексеруге бола ма?
Python стандартты кітапханасында user agent пен URL үшін «рұқсат» не «бұғатталған» деп жауап беретін парсер бар. Бұл скрипт жоғарыдағы мысалды тексереді:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Нәтижеге сенбес бұрын Python нұсқасын тексеріңіз. RFC 9309 бойынша сәйкестендіру қолдауы CPython-ға 2026 жылы қосылып, алғаш рет Python 3.13.14 және 3.14.5 нұсқаларында шықты. Ескі нұсқалар, соның ішінде бүкіл 3.12 және одан ертерегі, ең ұзын ережені емес, файл ретіндегі бірінші сәйкес ережені қолданады және жолдардағы * пен $ таңбаларын түсінбейді. Бұл нұсқаларда скрипт бірінші және төртінші тестті керісінше шешеді: Googlebot /search/help/billing үшін бұғатталады, ал OAI-SearchBot PDF-ті алуға рұқсат алады.
Тағы екі айырмашылық барлық нұсқаға қатысты. RobotFileParser.read() robots.txt үшін 401 немесе 403 жауабын бәріне тыйым деп қабылдайды, ал RFC 9309 бойынша 4xx бәрін алуға болатынын білдіреді. Ал read() файлды Python-ның әдепкі user agent-імен жүктейді, оны кейбір файрволдар бұғаттайды, сондықтан тест ережелеріңізге қатысы жоқ себептермен «бұғатталған» деп көрсетуі мүмкін. Файлды өзіңіз алып, жоғарыдағыдай parse() функциясына берсеңіз, екеуінен де құтыласыз.
Неге robots.txt тесті өтеді, ал краулер бәрібір бұғатталған?
Тестер бір сұраққа жауап береді: ережелер бұл URL-ге рұқсат бере ме? Бірнеше нәрсе бұл жауаптан тыс қалады:
- Нақты файл сіз тексерген файлдан өзгеше немесе краулер әлі кэштегі көшірмені пайдаланады. RFC 9309 краулерлер кэштегі көшірмені 24 сағаттан артық пайдаланбауы керек дейді, ал Google жалпы алғанда 24 сағатқа дейін кэштейді.
- robots.txt URL-і HTML бетін немесе қатені қайтарады. 200 күйі бар HTML бетінде жарамды ережелер жоқ, ал 5xx жауабы бүкіл сайтты бұғаттайды.
- robots.txt — қолжетімділікті басқару емес, өтініш. Файрвол, CDN немесе боттардан қорғау краулерге бәрібір 403 немесе тексеру бетімен жауап бере алады.
robots.txt-ті барлық ЖИ краулерлері үшін бірден қалай тексеремін?
Тегін AISeeWhy robots.txt тексерушісі бет мекенжайын немесе қойылған robots.txt-ті қабылдап, әр ЖИ және іздеу краулері үшін сол бетті алуға бола ма, соны көрсетеді. Тегін robots.txt генераторы таңдауларыңыз бойынша файл жазады, ал тегін тексеру бетті 16 краулер ретінде алып, robots.txt рұқсат еткенді файрвол бұғаттамай ма, соны көрсетеді.
Бұл мәселені түзету жолдары
- robots.txt GPTBot краулеріне рұқсат береді, бірақ сервер оны бұғаттайды
- robots.txt OAI-SearchBot краулеріне тыйым салады
- robots.txt — HTML беті
- robots.txt файлын алу мүмкін емес
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Google Search Console-да robots.txt тестері әлі бар ма?
Жоқ. Google оны 2023 жылғы қарашада robots.txt есебімен алмастырды, ол Google алған файлдарды, олардың күйін және қателерді көрсетеді. Googlebot нақты URL-ді сканерлей ала ма, соны тексеру үшін URL Inspection құралын пайдаланыңыз.
robots.txt-те Allow ережесі Disallow ережесінен басым бола ма?
Тек Allow ережесі ұзынырақ немесе дәл сондай ұзын болса ғана. Түріне қарамастан, сәйкес жолы ең ұзын ереже жеңеді, ал тең болса Allow жеңеді.
robots.txt бас және кіші әріпті ажырата ма?
Ішінара. User-agent мәні әріп регистріне қарамай салыстырылады, сондықтан gptbot пен GPTBot бір топты білдіреді. Жолдар регистрді ажыратады, сондықтан Disallow: /Private/ ережесі /private/ жолын бұғаттамайды.
robots.txt валидаторы нені тексереді?
Валидатор файлдың қолжетімді екенін, мәтін ретінде берілетінін және жарамды синтаксиспен жазылғанын тексереді. Тестер одан әрі барып, нақты URL мен краулер үшін шешім береді. Әдетте екеуі де керек, өйткені жарамды файл да сіз рұқсат етпек болған бетті бұғаттап қоюы мүмкін.
Краулердің өз тобы болса, ол User-agent: * тобын да ұстана ма?
Жоқ. Аталған топ сол краулер үшін * тобын толығымен алмастырады. Барлығына қолданылуы тиіс кез келген ережені әр аталған топта қайталау керек.
Дереккөздер
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py