Ինչպե՞ս ստուգել robots.txt-ի կանոնները URL-ի և կոնկրետ ռոբոտի համար

Հրապարակված է

Կարճ պատասխան

Մեկ ռոբոտի համար URL ստուգելու համար գտեք այն խումբը, որը նշում է ռոբոտի նշանը (կամ User-agent: *-ը, եթե ոչ մի խումբ այն չի նշում), հավաքեք դրա բոլոր Allow և Disallow կանոնները, որոնք համընկնում են URL-ի ուղու հետ, և կիրառեք ամենաերկարը. հավասարության դեպքում հաղթում է Allow-ը։ Դա կարող եք անել ձեռքով, Google-ի բաց կոդով պարսերով կամ ստուգիչով, որը վճիռ է տալիս յուրաքանչյուր ռոբոտի համար։ Search Console-ի հին robots.txt Tester-ն այլևս չկա, իսկ այն փոխարինած robots.txt հաշվետվությունը ցույց է տալիս, թե ինչ է բեռնել Google-ը, ոչ թե վճիռ URL-ի համար։

robots.txt ֆայլը պարզ է թվում, մինչև որ ձեզ հստակ պատասխան է պետք. կարո՞ղ է GPTBot-ը բեռնել այս էջը, իսկ OAI-SearchBot-ը։ Պատասխանը կախված է նրանից, թե որ խումբն է ընտրում ռոբոտը և այդ խմբի ներսում որ կանոնն է հաղթում, և երկու քայլում էլ հեշտ է սխալվել։ Ահա թե ինչպես է աշխատում համընկնումը RFC 9309-ի համաձայն, չորս լուծված օրինակ և ֆայլն ինքնուրույն ստուգելու երեք եղանակ։

Այս էջում
  1. Ի՞նչ եղավ Google Search Console-ի robots.txt Tester-ի հետ
  2. Ինչպե՞ս է ռոբոտը որոշում՝ URL-ը թույլատրված է, թե ոչ
  3. Կարո՞ղ եք քայլ առ քայլ ցույց տալ robots.txt-ի ստուգման օրինակ
  4. Ինչպե՞ս գործարկել Google-ի բաց կոդով robots.txt պարսերը
  5. Կարո՞ղ եմ robots.txt-ը ստուգել Python-ի urllib.robotparser-ով
  6. Ինչո՞ւ է robots.txt-ի ստուգումն անցնում, բայց ռոբոտը դեռ արգելափակված է
  7. Ինչպե՞ս ստուգել robots.txt-ը բոլոր AI ռոբոտների համար միանգամից

Ի՞նչ եղավ Google Search Console-ի robots.txt Tester-ի հետ

2023 թվականի նոյեմբերին Google-ը Search Console-ում ավելացրեց robots.txt հաշվետվություն և հայտարարեց, որ դադարեցնում է robots.txt tester-ը։ Հաշվետվությունը գտնվում է Settings բաժնում և ընդգրկում է միայն Google-ի ռոբոտները։ Այն ցույց է տալիս.

Հաշվետվությունը URL չի ընդունում և չի պատասխանում՝ թույլատրված է, թե արգելափակված։ Googlebot-ի համար մեկ URL ստուգելու համար Google-ը ցույց է տալիս URL Inspection գործիքը, իսկ տեղային ստուգման համար՝ իր բաց կոդով robots.txt գրադարանը։ Դրանցից ոչ մեկը ոչինչ չի ասում AI ռոբոտների մասին, ինչպիսիք են GPTBot-ը կամ ClaudeBot-ը։

Ինչպե՞ս է ռոբոտը որոշում՝ URL-ը թույլատրված է, թե ոչ

RFC 9309-ը՝ Robots Exclusion Protocol-ը, սահմանում է համընկնումը։ Google-ը նույն վարքագիծն է փաստաթղթավորում իր ռոբոտների համար։

robots.txt-ի պատասխանի կոդը նույնքան կարևոր է, որքան նրա կանոնները։ 4xx պատասխանը նշանակում է, որ ռոբոտը կարող է բեռնել ամեն ինչ. Google-ը 429-ից բացի ցանկացած 4xx դիտարկում է այնպես, կարծես ֆայլ գոյություն չունի։ 5xx պատասխանը նշանակում է, որ ռոբոտը պետք է ենթադրի, որ ամբողջ կայքն արգելված է։ Google-ը դադարեցնում է այցելությունը առաջին 12 ժամում, ապա մինչև 30 օր օգտագործում է վերջին լավ պատճենը։ RFC 9309-ը պահանջում է, որ ռոբոտները վերլուծեն առնվազն 500 KiB, իսկ Google-ն անտեսում է 500 KiB-ից հետո եկող ամեն ինչ։

Կարո՞ղ եք քայլ առ քայլ ցույց տալ robots.txt-ի ստուգման օրինակ

Ահա փոքր robots.txt՝ լռելյայն խմբով և անունով նշված երկու AI ռոբոտով.

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Հավասարությունները ավելի հազվադեպ են, բայց հետևում են նույն տրամաբանությանը։ Google-ի փաստաթղթերը բերում են allow: /folder և disallow: /folder դեպքը /folder/page URL-ի համար. երկուսն էլ նույն երկարությունն ունեն, ուստի URL-ը թույլատրված է։

Ինչպե՞ս գործարկել Google-ի բաց կոդով robots.txt պարսերը

Google-ը հրապարակում է C++ գրադարանը, որն օգտագործում է արտադրական միջավայրում robots.txt-ի կանոնները համընկնեցնելու համար, հրամանի տողի փոքր ծրագրով, որը ստուգում է մեկ URL և մեկ user agent տեղային ֆայլի նկատմամբ։ Bazel-ը տեղադրված լինելու դեպքում.

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Ռեպոզիտորիան նաև փաստաթղթավորում է CMake-ով կառուցումը, որը ստեղծում է robots անունով գործարկվող ֆայլ՝ նույն արգումենտներով։ Գործիքը միայն վերլուծում և համընկնեցնում է. այն robots.txt չի ներբեռնում, ուստի նախ պահեք կենդանի ֆայլը։ Նրա README-ն նաև նշում է, որ ռոբոտին հատուկ վարքագիծը՝ վերլուծությունից և համընկնումից դուրս, գրադարանի մաս չէ։

Կարո՞ղ եմ robots.txt-ը ստուգել Python-ի urllib.robotparser-ով

Python-ի ստանդարտ գրադարանը ներառում է պարսեր, որը user agent-ի և URL-ի համար պատասխանում է՝ թույլատրված է, թե արգելափակված։ Այս սկրիպտը ստուգում է վերևի օրինակը.

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Նախքան արդյունքին վստահելը ստուգեք ձեր Python-ի տարբերակը։ RFC 9309-ով համընկնման աջակցությունը CPython-ում ավելացվել է 2026 թվականին և առաջին անգամ հասանելի դարձել Python 3.13.14-ում և 3.14.5-ում։ Ավելի հին տարբերակները, ներառյալ ամբողջ 3.12-ը և ավելի վաղերը, կիրառում են ֆայլի հերթականությամբ առաջին համընկնող կանոնը, ոչ թե ամենաերկարը, և չեն հասկանում *-ը կամ $-ը ուղիներում։ Այդ տարբերակներում սկրիպտը առաջին և չորրորդ ստուգումների արդյունքները հակառակն է ցույց տալիս. Googlebot-ը արգելափակված է /search/help/billing-ից, իսկ OAI-SearchBot-ին թույլատրված է բեռնել PDF-ը։

Եվս երկու տարբերություն վերաբերում է բոլոր տարբերակներին։ RobotFileParser.read()-ը robots.txt-ի 401 կամ 403 պատասխանը դիտարկում է որպես ամեն ինչի արգելք, մինչդեռ RFC 9309-ն ասում է, որ 4xx-ը նշանակում է, որ ամեն ինչ կարելի է բեռնել։ Իսկ read()-ը ֆայլը ներբեռնում է Python-ի լռելյայն user agent-ով, որը որոշ ֆայրվոլներ արգելափակում են, ուստի ստուգումը կարող է ցույց տալ արգելափակում ձեր կանոնների հետ կապ չունեցող պատճառներով։ Ֆայլն ինքներդ բեռնելը և այն parse()-ին փոխանցելը, ինչպես վերևում, կանխում է երկուսն էլ։

Ինչո՞ւ է robots.txt-ի ստուգումն անցնում, բայց ռոբոտը դեռ արգելափակված է

Ստուգիչը պատասխանում է մեկ հարցի. կանոնները թույլատրո՞ւմ են այս URL-ը։ Մի քանի բան մնում է այդ պատասխանից դուրս.

Ինչպե՞ս ստուգել robots.txt-ը բոլոր AI ռոբոտների համար միանգամից

AISeeWhy-ի անվճար robots.txt-ի ստուգիչը ընդունում է էջի հասցե կամ տեղադրված robots.txt և ցույց է տալիս յուրաքանչյուր AI և որոնողական ռոբոտի համար, թե արդյոք այդ էջը կարելի է բեռնել։ Անվճար robots.txt-ի գեներատորը ֆայլ է գրում ձեր ընտրությունների հիման վրա, իսկ անվճար ստուգումը բեռնում է էջը 16 ռոբոտների անունից՝ ցույց տալու համար, թե արդյոք ֆայրվոլը արգելափակում է այն, ինչ թույլատրում է robots.txt-ը։

Այս խնդրի ուղղումները

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Google Search Console-ում դեռ կա՞ robots.txt tester

Ոչ։ Google-ը 2023 թվականի նոյեմբերին այն փոխարինեց robots.txt հաշվետվությամբ, որը ցույց է տալիս Google-ի բեռնած ֆայլերը, դրանց կարգավիճակը և սխալները։ Ստուգելու համար, թե արդյոք Googlebot-ը կարող է այցելել կոնկրետ URL, օգտագործեք URL Inspection գործիքը։

Allow-ը գերակա՞ է Disallow-ից robots.txt-ում

Միայն երբ Allow կանոնն ավելի երկար է կամ ճիշտ նույն երկարությունն ունի։ Հաղթում է ամենաերկար համընկնող ուղի ունեցող կանոնը՝ անկախ տեսակից, իսկ հավասարության դեպքում հաղթում է Allow-ը։

robots.txt-ը տարբերո՞ւմ է մեծատառ-փոքրատառը

Մասամբ։ User-agent-ի արժեքը համընկնում է առանց մեծատառ-փոքրատառի տարբերության, ուստի gptbot-ը և GPTBot-ը նշում են նույն խումբը։ Ուղիները տարբերում են մեծատառ-փոքրատառը, ուստի Disallow: /Private/-ը չի արգելափակում /private/-ը։

Ի՞նչ է ստուգում robots.txt-ի վավերացնողը

Վավերացնողը ստուգում է, որ ֆայլը հասանելի է, մատուցվում է որպես տեքստ և գրված է վավեր շարահյուսությամբ։ Ստուգիչը (tester) գնում է ավելի հեռու և վճիռ է տալիս կոնկրետ URL-ի և ռոբոտի համար։ Սովորաբար երկուսն էլ պետք են, քանի որ վավեր ֆայլը նույնպես կարող է արգելափակել այն էջը, որը մտադիր էիք թույլատրել։

Եթե ռոբոտն ունի իր սեփական խումբը, այն դեռ հետևո՞ւմ է User-agent: *-ին

Ոչ։ Անվանված խումբը ամբողջությամբ փոխարինում է * խումբը այդ ռոբոտի համար։ Ցանկացած կանոն, որը ցանկանում եք կիրառել բոլորի նկատմամբ, պետք է կրկնվի յուրաքանչյուր անվանված խմբում։

Աղբյուրներ

Այլ հոդվածներ