robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար

Մուտքագրեք էջի հասցեն. մենք կկարդանք կայքի robots.txt-ը և ցույց կտանք յուրաքանչյուր AI և որոնողական ռոբոտի համար, թե արդյոք այն կարող է բեռնել այդ էջը։ Կամ տեղադրեք robots.txt՝ այն ստուգելու համար նախքան հրապարակելը։

robots.txt-ը ընդամենը խնդրանք է։ Ֆայրվոլը կամ բոտերից պաշտպանությունը կարող են այնուամենայնիվ արգելափակել robots.txt-ի թույլատրած ռոբոտին. ամբողջական ստուգումը ստուգում է դա։ Գործարկել ամբողջական ստուգումը →

Նույն ստուգումը բաց էջի համար՝ մեկ սեղմումով։ AI ռոբոտների ստուգիչ ↗

Ինչպես են AI ռոբոտները կարդում robots.txt-ը

Յուրաքանչյուր ռոբոտ հետևում է այն խմբին, որը նշում է իր նշանը (օրինակ՝ GPTBot կամ PerplexityBot). միայն եթե այդպիսին չկա, այն հետևում է User-agent: *-ին։ Խմբի ներսում հաղթում է ամենաերկար համընկնող կանոնը, իսկ հավասարության դեպքում հաղթում է Allow-ը։ GPTBot-ի, ClaudeBot-ի կամ Google-Extended-ի նման ուսուցման ռոբոտների արգելափակումը ձեր բովանդակությունը դուրս է պահում մոդելների ուսուցումից. OAI-SearchBot-ի, ChatGPT-User-ի կամ PerplexityBot-ի նման որոնման և օգտատիրոջ ռոբոտների արգելափակումը ձեր էջերը դուրս է պահում AI պատասխաններից։

Ուղեցույց

Ինչպես օգտագործել robots.txt-ի ստուգիչը

Այս տեքստը անգլերենից թարգմանվել է մեքենայական թարգմանությամբ։

Ինչ է ստուգում այս robots.txt-ի ստուգիչը

Մուտքագրեք էջի հասցեն։ Ստուգիչը վերցնում է այդ հասցեի սխեման և հոսթը, կարդում է /robots.txt-ը այդ հոսթի արմատից և գնահատում դրա կանոնները ձեր էջի ուղու համար։ Այն պատասխանում է մեկ հարցի 16 ռոբոտներից յուրաքանչյուրի համար. կարո՞ղ է այս ռոբոտը բեռնել այս էջը։

Ռոբոտները խմբավորված են ըստ իրենց գործառույթի։ Ուսուցման ռոբոտները էջեր են հավաքում AI մոդելների համար՝ GPTBot, ClaudeBot, CCBot, Bytespider և Meta-ExternalAgent, ինչպես նաև միայն robots.txt-ում գործող Google-Extended և Applebot-Extended նշանները, որոնք երբեք ինքնուրույն չեն այցելում, բայց Google-ին և Apple-ին ասում են, թե արդյոք նրանք կարող են օգտագործել արդեն բեռնված էջերը։ Որոնողական ռոբոտները կառուցում են ինդեքսներ, որոնք մեջբերում են AI պատասխաններն ու որոնման արդյունքները՝ OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot և Applebot։ Օգտատիրոջ գործակալները բեռնում են էջը, երբ մարդը խնդրում է օգնականին բացել այն՝ ChatGPT-User, Claude-User և Perplexity-User։

Հասցեի փոխարեն կարող եք նաև տեղադրել robots.txt։ Այդ դեպքում ոչինչ չի բեռնվում. ստուգիչը գնահատում է ձեր տեղադրած տեքստը, այնպես որ կարող եք փորձարկել փոփոխությունը նախքան այն հրապարակելը։ Տեղադրված տեքստն օգտագործվում է միայն պատասխանելու համար և չի պահպանվում։

Ինչպես կարդալ արդյունքները

Աղյուսակում յուրաքանչյուր ռոբոտի համար մեկ տող կա։ Ձեր ուղու սյունակում գրված է «Թույլատրված է» կամ «Արգելափակված է»։ Վերջին սյունակը ցույց է տալիս, թե ֆայլի որ մասն է որոշել.

Աղյուսակի տակ տեսնում եք ֆայլում նշված Sitemap տողերը և նրա Content-Signal տողը, եթե այն կա։ Եթե հասցեն տեքստային ֆայլի փոխարեն վեբ էջ է վերադարձրել կամ ընդհանրապես ֆայլ չի վերադարձրել, ստուգիչը կասի այդ մասին. ռոբոտները /robots.txt հասցեում HTML էջը համարում են բացակայող ֆայլ։

«Թույլատրված է» տողը նշանակում է միայն, որ robots.txt-ը չի կանգնեցնում այդ ռոբոտին։ Դա չի նշանակում, որ ռոբոտը կայցելի, և ոչինչ չի ասում ձեր ֆայրվոլի մասին։

Ինչպես է ռոբոտն ընտրում իր կանոնները

RFC 9309-ը՝ robots.txt-ի ստանդարտը, սահմանում է երեք կանոն, որոնք բացատրում են գրեթե բոլոր անսպասելի արդյունքները։ Ռոբոտը նախ փնտրում է խմբեր, որոնց User-agent-ը համընկնում է իր նշանի հետ՝ առանց մեծատառ-փոքրատառի տարբերության։ Եթե գտնում է, հետևում է միայն այդ խմբերին և ամբողջությամբ անտեսում User-agent: *-ը։ Ընտրված խմբում հաղթում է ամենաերկար համընկնող ուղով կանոնը, իսկ եթե Allow-ն ու Disallow-ը համընկնում են նույն երկարությամբ, հաղթում է Allow-ը։

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Այս ֆայլով GPTBot-ը արգելափակված է բոլոր էջերում, քանի որ ունի սեփական խումբ։ Մնացած բոլոր ռոբոտները կարող են բեռնել /private/press/kit.pdf-ը, քանի որ Allow: /private/press/-ը ավելի երկար է, քան Disallow: /private/-ը, և արգելափակված են /private/notes/-ում։ Փորձարկեք երկու ուղիներն էլ ստուգիչում, և կտեսնեք, թե ինչպես է որոշումը մի խմբից անցնում մյուսին։

Տարածված սխալներ՝ օրինակներով

Ուսուցման, որոնողական և օգտատիրոջ ռոբոտներ. ինչ է անում յուրաքանչյուրի արգելափակումը

Ուսուցման ռոբոտի արգելափակումը քաղաքականության ընտրություն է։ Այն ձեր էջերը դուրս է պահում մոդելների ապագա ուսուցումից և չի ազդում այն բանի վրա, թե արդյոք AI որոնումը կարող է ձեզ մեջբերել այսօր։ Որոնողական ռոբոտի, օրինակ՝ OAI-SearchBot-ի, Claude-SearchBot-ի կամ PerplexityBot-ի արգելափակումը ձեր էջերը դուրս է պահում այդ օգնականի պատասխաններից։ Googlebot-ի կամ Bingbot-ի արգելափակումը ձեզ հեռացնում է այդ որոնողական համակարգերից և դրանց վրա կառուցված AI գործառույթներից։

Օգտատիրոջ գործակալները, օրինակ՝ ChatGPT-User-ը, գործում են այն մարդու անունից, ով խնդրել է ձեր էջը։ Որոշ մատակարարներ ասում են, որ այս գործակալները նման հարցումների դեպքում կարող են չհետևել robots.txt-ին, ուստի նրանց համար գրված կանոնը խնդրանք է, ոչ թե երաշխիք։ Եթե ցանկանում եք, որ ուսուցումն անջատված լինի, իսկ AI որոնումը՝ միացված, արգելափակեք ուսուցման նշանները և չդիպչեք որոնողական և օգտատիրոջ նշաններին։

Փորձարկեք նախքան հրապարակելը, ապա կրկին

Տեղադրեք ձեր սևագիրը ստուգիչում, նշեք կարևոր էջի ուղին, օրինակ՝ ապրանքի կամ գների էջի, և կարդացեք ձեզ հետաքրքրող յուրաքանչյուր ռոբոտի տողը։ Կրկնեք այն ուղով, որը ցանկանում էիք արգելափակել։ Երբ արդյունքները համապատասխանում են ձեր մտադրությանը, հրապարակեք ֆայլը և կրկին գործարկեք ստուգիչը իրական հասցեով, ինչը հաստատում է, որ սերվերը վերադարձնում է ձեր խմբագրած ֆայլը։

Ռոբոտները robots.txt-ը պահում են քեշում. Google-ը, օրինակ, սովորաբար թարմացնում է իր պատճենը 24 ժամվա ընթացքում։ Փոփոխությունը կարող է մեկ օր պահանջել, որպեսզի արտացոլվի նրանց վարքում, իսկ Google Search Console-ի robots.txt-ի հաշվետվությունը ցույց է տալիս այն պատճենը, որը Google-ը վերջին անգամ բեռնել է։

Երբ robots.txt-ը թույլատրում է ռոբոտին, բայց այն դեռ արգելափակված է

robots.txt-ը միայն խնդրանք է։ Ֆայրվոլը, բոտերից պաշտպանության ծառայությունը կամ CDN-ի կանոնը դեռ կարող են ռոբոտին պատասխանել 403-ով կամ ստուգման էջով, մինչդեռ մարդիկ ստանում են էջը։ Ստուգիչը դա չի կարող տեսնել, քանի որ կարդում է միայն մեկ ֆայլ։ Ամբողջական ստուգումը բեռնում է ձեր էջը յուրաքանչյուր ռոբոտի user agent-ով՝ սովորական բրաուզերի կողքին, և ցույց է տալիս, թե որ ռոբոտն է ստանում այլ պատասխան՝ HTTP կարգավիճակով և ֆայրվոլի ստորագրությամբ։

Հաճախ տրվող հարցեր

Սա նո՞ւյնն է, ինչ Google-ի robots.txt Tester-ը

Ոչ։ Google-ը 2023 թվականին դադարեցրեց իր առանձին robots.txt Tester-ը. Search Console-ի robots.txt-ի հաշվետվությունն այժմ ցույց է տալիս Google-ի բեռնած ֆայլը և վերլուծության սխալները՝ միայն Google-ի ռոբոտների համար։ Այս ստուգիչը նույն RFC 9309-ի կանոնները կիրառում է միանգամից 16 AI և որոնողական ռոբոտների նկատմամբ։

«Թույլատրված է» նշանակո՞ւմ է, որ ռոբոտը կկարդա կամ կմեջբերի իմ էջը

Ոչ։ Դա նշանակում է, որ robots.txt-ը դա չի արգելում։ Արդյոք ռոբոտը կստանա էջը, կախված է ձեր սերվերից և ֆայրվոլից, իսկ արդյոք օգնականը կմեջբերի այն, կախված է ձեր բովանդակությունից և տրված հարցից։

Ինչո՞ւ է ռոբոտի մոտ գրված «Կանոն չկա»

Ձեր ֆայլում չկա խումբ նրա նշանի համար և չկա User-agent: * խումբ, ուստի նրա վրա ոչինչ չի կիրառվում, և բոլոր ուղիները թույլատրված են։

Կարո՞ղ եմ փորձարկել robots.txt, որը դեռ հրապարակված չէ

Այո։ Տեղադրեք տեքստը երկրորդ դաշտում և մուտքագրեք փորձարկվող ուղին։ Ձեր կայքից ոչինչ չի բեռնվում, և տեղադրված տեքստը չի պահպանվում։

Ստուգիչը հարցումներ ուղարկո՞ւմ է GPTBot-ի կամ մյուս ռոբոտների անունից

Ոչ։ Այն միայն կարդում է ձեր robots.txt-ը և կիրառում կանոնները։ Տեսնելու համար, թե իրականում ինչ է ստանում յուրաքանչյուր ռոբոտ ձեր սերվերից, գործարկեք ամբողջական ստուգումը։

Որքա՞ն հաճախ կարող եմ այն օգտագործել

Այն անվճար է և հաշիվ չի պահանջում։ Որպեսզի այն հասանելի մնա բոլորի համար, յուրաքանչյուր ցանց կարող է ժամում գործարկել սահմանափակ թվով թեստեր։

Առնչվող գործիքներ և ուղեցույցներ