Ինչպե՞ս ստուգել robots.txt-ի կանոնները URL-ի և կոնկրետ ռոբոտի համար
Մեկ ռոբոտի համար URL ստուգելու համար գտեք այն խումբը, որը նշում է ռոբոտի նշանը (կամ User-agent: *-ը, եթե ոչ մի խումբ այն չի նշում), հավաքեք դրա բոլոր Allow և Disallow կանոնները, որոնք համընկնում են URL-ի ուղու հետ, և կիրառեք ամենաերկարը. հավասարության դեպքում հաղթում է Allow-ը։ Դա կարող եք անել ձեռքով, Google-ի բաց կոդով պարսերով կամ ստուգիչով, որը վճիռ է տալիս յուրաքանչյուր ռոբոտի համար։ Search Console-ի հին robots.txt Tester-ն այլևս չկա, իսկ այն փոխարինած robots.txt հաշվետվությունը ցույց է տալիս, թե ինչ է բեռնել Google-ը, ոչ թե վճիռ URL-ի համար։
robots.txt ֆայլը պարզ է թվում, մինչև որ ձեզ հստակ պատասխան է պետք. կարո՞ղ է GPTBot-ը բեռնել այս էջը, իսկ OAI-SearchBot-ը։ Պատասխանը կախված է նրանից, թե որ խումբն է ընտրում ռոբոտը և այդ խմբի ներսում որ կանոնն է հաղթում, և երկու քայլում էլ հեշտ է սխալվել։ Ահա թե ինչպես է աշխատում համընկնումը RFC 9309-ի համաձայն, չորս լուծված օրինակ և ֆայլն ինքնուրույն ստուգելու երեք եղանակ։
Այս էջում
- Ի՞նչ եղավ Google Search Console-ի robots.txt Tester-ի հետ
- Ինչպե՞ս է ռոբոտը որոշում՝ URL-ը թույլատրված է, թե ոչ
- Կարո՞ղ եք քայլ առ քայլ ցույց տալ robots.txt-ի ստուգման օրինակ
- Ինչպե՞ս գործարկել Google-ի բաց կոդով robots.txt պարսերը
- Կարո՞ղ եմ robots.txt-ը ստուգել Python-ի urllib.robotparser-ով
- Ինչո՞ւ է robots.txt-ի ստուգումն անցնում, բայց ռոբոտը դեռ արգելափակված է
- Ինչպե՞ս ստուգել robots.txt-ը բոլոր AI ռոբոտների համար միանգամից
Ի՞նչ եղավ Google Search Console-ի robots.txt Tester-ի հետ
2023 թվականի նոյեմբերին Google-ը Search Console-ում ավելացրեց robots.txt հաշվետվություն և հայտարարեց, որ դադարեցնում է robots.txt tester-ը։ Հաշվետվությունը գտնվում է Settings բաժնում և ընդգրկում է միայն Google-ի ռոբոտները։ Այն ցույց է տալիս.
- robots.txt ֆայլերը, որոնք Google-ը գտել է ձեր ռեսուրսի առաջին 20 հոսթերի համար։
- Յուրաքանչյուր ֆայլի բեռնման կարգավիճակը (
Fetched,Not Fetched - Not found (404)կամNot Fetched - Any other reason), թե երբ է Google-ը վերջին անգամ ստուգել այն, և դրա չափը բայթերով։ - Ֆայլի խնդիրները։ Google-ն ասում է, որ սխալները խանգարում են կանոնի կիրառմանը, իսկ նախազգուշացումները՝ ոչ։
- Վերջին 30 օրում Google-ի բեռնած տարբերակները և կոճակ՝ ֆայլն ուղղելուց հետո կրկնակի բեռնում պահանջելու համար։
Հաշվետվությունը URL չի ընդունում և չի պատասխանում՝ թույլատրված է, թե արգելափակված։ Googlebot-ի համար մեկ URL ստուգելու համար Google-ը ցույց է տալիս URL Inspection գործիքը, իսկ տեղային ստուգման համար՝ իր բաց կոդով robots.txt գրադարանը։ Դրանցից ոչ մեկը ոչինչ չի ասում AI ռոբոտների մասին, ինչպիսիք են GPTBot-ը կամ ClaudeBot-ը։
Ինչպե՞ս է ռոբոտը որոշում՝ URL-ը թույլատրված է, թե ոչ
RFC 9309-ը՝ Robots Exclusion Protocol-ը, սահմանում է համընկնումը։ Google-ը նույն վարքագիծն է փաստաթղթավորում իր ռոբոտների համար։
- Ընտրեք խումբը։ User-agent-ի համընկնումը մեծատառ-փոքրատառ չի տարբերում։ Եթե մեկ կամ մի քանի խումբ նշում են ռոբոտի նշանը, դրանց կանոնները միավորվում են, և
User-agent: *խումբն ամբողջությամբ անտեսվում է։ Միայն սեփական խումբ չունեցող ռոբոտն է հետևում*-ին։ - Ընտրեք կանոնը։ Այն
AllowևDisallowկանոններից, որոնց ուղին համընկնում է URL-ի հետ, հաղթում է ամենաշատ նիշեր ունեցողը։ ԵթեAllow-ը ևDisallow-ը նույն երկարությունն ունեն, պետք է հաղթիAllow-ը։ - Կարդացեք նախշերը։
*-ը համընկնում է նիշերի ցանկացած հաջորդականության հետ, իսկ$-ը նշում է URL-ի վերջը։ Ուղիները տարբերում են մեծատառ-փոքրատառը, ուստի/Admin/-ը չի համընկնում/admin/-ի հետ։ - Համընկնող կանոնի բացակայությունը նշանակում է՝ թույլատրված է։
/robots.txt-ն ինքը միշտ թույլատրված է։
robots.txt-ի պատասխանի կոդը նույնքան կարևոր է, որքան նրա կանոնները։ 4xx պատասխանը նշանակում է, որ ռոբոտը կարող է բեռնել ամեն ինչ. Google-ը 429-ից բացի ցանկացած 4xx դիտարկում է այնպես, կարծես ֆայլ գոյություն չունի։ 5xx պատասխանը նշանակում է, որ ռոբոտը պետք է ենթադրի, որ ամբողջ կայքն արգելված է։ Google-ը դադարեցնում է այցելությունը առաջին 12 ժամում, ապա մինչև 30 օր օգտագործում է վերջին լավ պատճենը։ RFC 9309-ը պահանջում է, որ ռոբոտները վերլուծեն առնվազն 500 KiB, իսկ Google-ն անտեսում է 500 KiB-ից հետո եկող ամեն ինչ։
Կարո՞ղ եք քայլ առ քայլ ցույց տալ robots.txt-ի ստուգման օրինակ
Ահա փոքր robots.txt՝ լռելյայն խմբով և անունով նշված երկու AI ռոբոտով.
Googlebotև/search/help/billing. թույլատրված է։ Googlebot-ի խումբ չկա, ուստի կիրառվում է*խումբը։ Համընկնում են և՛Disallow: /search-ը, և՛Allow: /search/help-ը, իսկAllowկանոնն ավելի երկար է։GPTBotև/blog/post. արգելափակված է։ GPTBot-ն ունի իր սեփական խումբը, ևDisallow: /-ը համընկնում է ցանկացած ուղու հետ։OAI-SearchBotև/admin/settings. թույլատրված է։ OAI-SearchBot-ն ունի իր սեփական խումբը, ուստի*խմբիDisallow: /admin/-ը նրա վրա չի տարածվում։ Սա ամենատարածված անակնկալն է. կրկնեք ընդհանուր կանոնները յուրաքանչյուր անվանված խմբում։OAI-SearchBotև/files/report.pdf. արգելափակված է։Allow: /-ը համընկնում է մեկ նիշով,Disallow: /*.pdf$-ը՝ յոթով, և հաղթում է ավելի երկար կանոնը։
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Հավասարությունները ավելի հազվադեպ են, բայց հետևում են նույն տրամաբանությանը։ Google-ի փաստաթղթերը բերում են allow: /folder և disallow: /folder դեպքը /folder/page URL-ի համար. երկուսն էլ նույն երկարությունն ունեն, ուստի URL-ը թույլատրված է։
Ինչպե՞ս գործարկել Google-ի բաց կոդով robots.txt պարսերը
Google-ը հրապարակում է C++ գրադարանը, որն օգտագործում է արտադրական միջավայրում robots.txt-ի կանոնները համընկնեցնելու համար, հրամանի տողի փոքր ծրագրով, որը ստուգում է մեկ URL և մեկ user agent տեղային ֆայլի նկատմամբ։ Bazel-ը տեղադրված լինելու դեպքում.
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Ռեպոզիտորիան նաև փաստաթղթավորում է CMake-ով կառուցումը, որը ստեղծում է robots անունով գործարկվող ֆայլ՝ նույն արգումենտներով։ Գործիքը միայն վերլուծում և համընկնեցնում է. այն robots.txt չի ներբեռնում, ուստի նախ պահեք կենդանի ֆայլը։ Նրա README-ն նաև նշում է, որ ռոբոտին հատուկ վարքագիծը՝ վերլուծությունից և համընկնումից դուրս, գրադարանի մաս չէ։
Կարո՞ղ եմ robots.txt-ը ստուգել Python-ի urllib.robotparser-ով
Python-ի ստանդարտ գրադարանը ներառում է պարսեր, որը user agent-ի և URL-ի համար պատասխանում է՝ թույլատրված է, թե արգելափակված։ Այս սկրիպտը ստուգում է վերևի օրինակը.
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Նախքան արդյունքին վստահելը ստուգեք ձեր Python-ի տարբերակը։ RFC 9309-ով համընկնման աջակցությունը CPython-ում ավելացվել է 2026 թվականին և առաջին անգամ հասանելի դարձել Python 3.13.14-ում և 3.14.5-ում։ Ավելի հին տարբերակները, ներառյալ ամբողջ 3.12-ը և ավելի վաղերը, կիրառում են ֆայլի հերթականությամբ առաջին համընկնող կանոնը, ոչ թե ամենաերկարը, և չեն հասկանում *-ը կամ $-ը ուղիներում։ Այդ տարբերակներում սկրիպտը առաջին և չորրորդ ստուգումների արդյունքները հակառակն է ցույց տալիս. Googlebot-ը արգելափակված է /search/help/billing-ից, իսկ OAI-SearchBot-ին թույլատրված է բեռնել PDF-ը։
Եվս երկու տարբերություն վերաբերում է բոլոր տարբերակներին։ RobotFileParser.read()-ը robots.txt-ի 401 կամ 403 պատասխանը դիտարկում է որպես ամեն ինչի արգելք, մինչդեռ RFC 9309-ն ասում է, որ 4xx-ը նշանակում է, որ ամեն ինչ կարելի է բեռնել։ Իսկ read()-ը ֆայլը ներբեռնում է Python-ի լռելյայն user agent-ով, որը որոշ ֆայրվոլներ արգելափակում են, ուստի ստուգումը կարող է ցույց տալ արգելափակում ձեր կանոնների հետ կապ չունեցող պատճառներով։ Ֆայլն ինքներդ բեռնելը և այն parse()-ին փոխանցելը, ինչպես վերևում, կանխում է երկուսն էլ։
Ինչո՞ւ է robots.txt-ի ստուգումն անցնում, բայց ռոբոտը դեռ արգելափակված է
Ստուգիչը պատասխանում է մեկ հարցի. կանոնները թույլատրո՞ւմ են այս URL-ը։ Մի քանի բան մնում է այդ պատասխանից դուրս.
- Կենդանի ֆայլը տարբերվում է ստուգվածից, կամ ռոբոտը դեռ օգտագործում է քեշավորված պատճենը։ RFC 9309-ն ասում է, որ ռոբոտները չպետք է քեշավորված պատճենն օգտագործեն 24 ժամից ավելի, իսկ Google-ն ընդհանուր առմամբ քեշավորում է մինչև 24 ժամ։
- robots.txt-ի URL-ը վերադարձնում է HTML էջ կամ սխալ։ 200 կարգավիճակով HTML էջը վավեր կանոններ չի պարունակում, իսկ 5xx պատասխանը արգելափակում է ամբողջ կայքը։
- robots.txt-ը խնդրանք է, ոչ թե մուտքի վերահսկում։ Ֆայրվոլը, CDN-ը կամ բոտերից պաշտպանությունը կարող են այնուամենայնիվ ռոբոտին պատասխանել 403-ով կամ ստուգման էջով։
Ինչպե՞ս ստուգել robots.txt-ը բոլոր AI ռոբոտների համար միանգամից
AISeeWhy-ի անվճար robots.txt-ի ստուգիչը ընդունում է էջի հասցե կամ տեղադրված robots.txt և ցույց է տալիս յուրաքանչյուր AI և որոնողական ռոբոտի համար, թե արդյոք այդ էջը կարելի է բեռնել։ Անվճար robots.txt-ի գեներատորը ֆայլ է գրում ձեր ընտրությունների հիման վրա, իսկ անվճար ստուգումը բեռնում է էջը 16 ռոբոտների անունից՝ ցույց տալու համար, թե արդյոք ֆայրվոլը արգելափակում է այն, ինչ թույլատրում է robots.txt-ը։
Այս խնդրի ուղղումները
- robots.txt-ը թույլատրում է GPTBot ռոբոտին, բայց սերվերն արգելափակում է այն
- robots.txt-ը արգելում է OAI-SearchBot ռոբոտին
- robots.txt-ը HTML էջ է
- robots.txt-ը հնարավոր չէ բեռնել
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Google Search Console-ում դեռ կա՞ robots.txt tester
Ոչ։ Google-ը 2023 թվականի նոյեմբերին այն փոխարինեց robots.txt հաշվետվությամբ, որը ցույց է տալիս Google-ի բեռնած ֆայլերը, դրանց կարգավիճակը և սխալները։ Ստուգելու համար, թե արդյոք Googlebot-ը կարող է այցելել կոնկրետ URL, օգտագործեք URL Inspection գործիքը։
Allow-ը գերակա՞ է Disallow-ից robots.txt-ում
Միայն երբ Allow կանոնն ավելի երկար է կամ ճիշտ նույն երկարությունն ունի։ Հաղթում է ամենաերկար համընկնող ուղի ունեցող կանոնը՝ անկախ տեսակից, իսկ հավասարության դեպքում հաղթում է Allow-ը։
robots.txt-ը տարբերո՞ւմ է մեծատառ-փոքրատառը
Մասամբ։ User-agent-ի արժեքը համընկնում է առանց մեծատառ-փոքրատառի տարբերության, ուստի gptbot-ը և GPTBot-ը նշում են նույն խումբը։ Ուղիները տարբերում են մեծատառ-փոքրատառը, ուստի Disallow: /Private/-ը չի արգելափակում /private/-ը։
Ի՞նչ է ստուգում robots.txt-ի վավերացնողը
Վավերացնողը ստուգում է, որ ֆայլը հասանելի է, մատուցվում է որպես տեքստ և գրված է վավեր շարահյուսությամբ։ Ստուգիչը (tester) գնում է ավելի հեռու և վճիռ է տալիս կոնկրետ URL-ի և ռոբոտի համար։ Սովորաբար երկուսն էլ պետք են, քանի որ վավեր ֆայլը նույնպես կարող է արգելափակել այն էջը, որը մտադիր էիք թույլատրել։
Եթե ռոբոտն ունի իր սեփական խումբը, այն դեռ հետևո՞ւմ է User-agent: *-ին
Ոչ։ Անվանված խումբը ամբողջությամբ փոխարինում է * խումբը այդ ռոբոտի համար։ Ցանկացած կանոն, որը ցանկանում եք կիրառել բոլորի նկատմամբ, պետք է կրկնվի յուրաքանչյուր անվանված խմբում։
Աղբյուրներ
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py