Մուտքագրեք էջի հասցեն. մենք կկարդանք կայքի robots.txt-ը և ցույց կտանք յուրաքանչյուր AI և որոնողական ռոբոտի համար, թե արդյոք այն կարող է բեռնել այդ էջը։ Կամ տեղադրեք robots.txt՝ այն ստուգելու համար նախքան հրապարակելը։
robots.txt-ը ընդամենը խնդրանք է։ Ֆայրվոլը կամ բոտերից պաշտպանությունը կարող են այնուամենայնիվ արգելափակել robots.txt-ի թույլատրած ռոբոտին. ամբողջական ստուգումը ստուգում է դա։ Գործարկել ամբողջական ստուգումը →
Յուրաքանչյուր ռոբոտ հետևում է այն խմբին, որը նշում է իր նշանը (օրինակ՝ GPTBot կամ PerplexityBot). միայն եթե այդպիսին չկա, այն հետևում է User-agent: *-ին։ Խմբի ներսում հաղթում է ամենաերկար համընկնող կանոնը, իսկ հավասարության դեպքում հաղթում է Allow-ը։ GPTBot-ի, ClaudeBot-ի կամ Google-Extended-ի նման ուսուցման ռոբոտների արգելափակումը ձեր բովանդակությունը դուրս է պահում մոդելների ուսուցումից. OAI-SearchBot-ի, ChatGPT-User-ի կամ PerplexityBot-ի նման որոնման և օգտատիրոջ ռոբոտների արգելափակումը ձեր էջերը դուրս է պահում AI պատասխաններից։
Ուղեցույց
Ինչպես օգտագործել robots.txt-ի ստուգիչը
Այս տեքստը անգլերենից թարգմանվել է մեքենայական թարգմանությամբ։
Ինչ է ստուգում այս robots.txt-ի ստուգիչը
Մուտքագրեք էջի հասցեն։ Ստուգիչը վերցնում է այդ հասցեի սխեման և հոսթը, կարդում է /robots.txt-ը այդ հոսթի արմատից և գնահատում դրա կանոնները ձեր էջի ուղու համար։ Այն պատասխանում է մեկ հարցի 16 ռոբոտներից յուրաքանչյուրի համար. կարո՞ղ է այս ռոբոտը բեռնել այս էջը։
Ռոբոտները խմբավորված են ըստ իրենց գործառույթի։ Ուսուցման ռոբոտները էջեր են հավաքում AI մոդելների համար՝ GPTBot, ClaudeBot, CCBot, Bytespider և Meta-ExternalAgent, ինչպես նաև միայն robots.txt-ում գործող Google-Extended և Applebot-Extended նշանները, որոնք երբեք ինքնուրույն չեն այցելում, բայց Google-ին և Apple-ին ասում են, թե արդյոք նրանք կարող են օգտագործել արդեն բեռնված էջերը։ Որոնողական ռոբոտները կառուցում են ինդեքսներ, որոնք մեջբերում են AI պատասխաններն ու որոնման արդյունքները՝ OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot և Applebot։ Օգտատիրոջ գործակալները բեռնում են էջը, երբ մարդը խնդրում է օգնականին բացել այն՝ ChatGPT-User, Claude-User և Perplexity-User։
Հասցեի փոխարեն կարող եք նաև տեղադրել robots.txt։ Այդ դեպքում ոչինչ չի բեռնվում. ստուգիչը գնահատում է ձեր տեղադրած տեքստը, այնպես որ կարող եք փորձարկել փոփոխությունը նախքան այն հրապարակելը։ Տեղադրված տեքստն օգտագործվում է միայն պատասխանելու համար և չի պահպանվում։
Ինչպես կարդալ արդյունքները
Աղյուսակում յուրաքանչյուր ռոբոտի համար մեկ տող կա։ Ձեր ուղու սյունակում գրված է «Թույլատրված է» կամ «Արգելափակված է»։ Վերջին սյունակը ցույց է տալիս, թե ֆայլի որ մասն է որոշել.
Սեփական խումբ. ֆայլում կա User-agent տող այս ռոբոտի նշանով, և նրա համար գործում են միայն այդ խմբի կանոնները։
User-agent: *. ոչ մի խումբ չի նշում ռոբոտին, ուստի այն հետևում է ընդհանուր խմբին։
Կանոն չկա. ոչ մի խումբ չի կիրառվում, ուստի էջը թույլատրված է։
Աղյուսակի տակ տեսնում եք ֆայլում նշված Sitemap տողերը և նրա Content-Signal տողը, եթե այն կա։ Եթե հասցեն տեքստային ֆայլի փոխարեն վեբ էջ է վերադարձրել կամ ընդհանրապես ֆայլ չի վերադարձրել, ստուգիչը կասի այդ մասին. ռոբոտները /robots.txt հասցեում HTML էջը համարում են բացակայող ֆայլ։
«Թույլատրված է» տողը նշանակում է միայն, որ robots.txt-ը չի կանգնեցնում այդ ռոբոտին։ Դա չի նշանակում, որ ռոբոտը կայցելի, և ոչինչ չի ասում ձեր ֆայրվոլի մասին։
Ինչպես է ռոբոտն ընտրում իր կանոնները
RFC 9309-ը՝ robots.txt-ի ստանդարտը, սահմանում է երեք կանոն, որոնք բացատրում են գրեթե բոլոր անսպասելի արդյունքները։ Ռոբոտը նախ փնտրում է խմբեր, որոնց User-agent-ը համընկնում է իր նշանի հետ՝ առանց մեծատառ-փոքրատառի տարբերության։ Եթե գտնում է, հետևում է միայն այդ խմբերին և ամբողջությամբ անտեսում User-agent: *-ը։ Ընտրված խմբում հաղթում է ամենաերկար համընկնող ուղով կանոնը, իսկ եթե Allow-ն ու Disallow-ը համընկնում են նույն երկարությամբ, հաղթում է Allow-ը։
Այս ֆայլով GPTBot-ը արգելափակված է բոլոր էջերում, քանի որ ունի սեփական խումբ։ Մնացած բոլոր ռոբոտները կարող են բեռնել /private/press/kit.pdf-ը, քանի որ Allow: /private/press/-ը ավելի երկար է, քան Disallow: /private/-ը, և արգելափակված են /private/notes/-ում։ Փորձարկեք երկու ուղիներն էլ ստուգիչում, և կտեսնեք, թե ինչպես է որոշումը մի խմբից անցնում մյուսին։
Տարածված սխալներ՝ օրինակներով
Իրար տակ գրված User-agent տողերը կազմում են մեկ խումբ։ Ֆայլը, որում կա User-agent: GPTBot, ապա User-agent: OAI-SearchBot, ապա Disallow: /, արգելափակում է երկու ռոբոտներին էլ, այնպես որ կայքը, որը ցանկանում էր կանգնեցնել ուսուցումը, անհետանում է նաև ChatGPT-ի որոնումից։
OpenAI-ի սխալ նշանի արգելափակում։ GPTBot-ը հավաքում է ուսուցման տվյալներ, OAI-SearchBot-ը որոշում է, թե արդյոք ChatGPT-ի որոնումը կարող է ցույց տալ և մեջբերել ձեզ։ OAI-SearchBot-ի կամ ChatGPT-User-ի արգելափակումը ուսուցումը կանգնեցնելու համար փոխարենը ձեզ հեռացնում է պատասխաններից։
Մեկ նիշը կանոնը շրջում է։ Disallow:-ը, որից հետո ոչինչ չկա, թույլատրում է ամեն ինչ, Disallow: /-ը արգելափակում է ամեն ինչ։
Ուղիները զգայուն են մեծատառերի նկատմամբ։ Disallow: /Blog/-ը չի արգելափակում /blog/-ը։
Wildcard-ները զգուշություն են պահանջում։ Disallow: /*.pdf-ը արգելափակում է նաև /file.pdf?download=1-ը, Disallow: /*.pdf$-ը արգելափակում է միայն այն հասցեները, որոնք ավարտվում են .pdf-ով։
Ֆայլը սխալ հոսթում է։ robots.txt-ը գործում է միայն այն սխեմայի և հոսթի համար, որից մատուցվում է, ուստի www.example.com-ին, example.com-ին և shop.example.com-ին յուրաքանչյուրին պետք է իր ֆայլը։
Սերվերը պատասխանում է սխալով։ 4xx պատասխանը նշանակում է, որ ռոբոտները կարող են բեռնել ամեն ինչ։ 5xx պատասխանը կամ ժամանակի սպառումը նշանակում է, որ նրանք պետք է համարեն ամեն ինչ արգելված, մինչև ֆայլը կրկին հնարավոր լինի կարդալ, ուստի անսարք /robots.txt-ը կարող է կանգնեցնել ողջ շրջանցումը։
Կանոններ, որոնց ռոբոտները չեն հետևում։ Noindex:-ը և Crawl-delay:-ը RFC 9309-ի մաս չեն, և Google-ն անտեսում է երկուսն էլ։
Ակնկալել, որ robots.txt-ը կհեռացնի էջը որոնումից։ Այն կանգնեցնում է շրջանցումը, ոչ թե ինդեքսավորումը. արգելափակված հասցեն դեռ կարող է ցուցադրվել առանց իր տեքստի։ Էջը ինդեքսից դուրս պահելու համար թույլատրեք շրջանցումը և օգտագործեք noindex մետա թեգ կամ header։
Ուսուցման, որոնողական և օգտատիրոջ ռոբոտներ. ինչ է անում յուրաքանչյուրի արգելափակումը
Ուսուցման ռոբոտի արգելափակումը քաղաքականության ընտրություն է։ Այն ձեր էջերը դուրս է պահում մոդելների ապագա ուսուցումից և չի ազդում այն բանի վրա, թե արդյոք AI որոնումը կարող է ձեզ մեջբերել այսօր։ Որոնողական ռոբոտի, օրինակ՝ OAI-SearchBot-ի, Claude-SearchBot-ի կամ PerplexityBot-ի արգելափակումը ձեր էջերը դուրս է պահում այդ օգնականի պատասխաններից։ Googlebot-ի կամ Bingbot-ի արգելափակումը ձեզ հեռացնում է այդ որոնողական համակարգերից և դրանց վրա կառուցված AI գործառույթներից։
Օգտատիրոջ գործակալները, օրինակ՝ ChatGPT-User-ը, գործում են այն մարդու անունից, ով խնդրել է ձեր էջը։ Որոշ մատակարարներ ասում են, որ այս գործակալները նման հարցումների դեպքում կարող են չհետևել robots.txt-ին, ուստի նրանց համար գրված կանոնը խնդրանք է, ոչ թե երաշխիք։ Եթե ցանկանում եք, որ ուսուցումն անջատված լինի, իսկ AI որոնումը՝ միացված, արգելափակեք ուսուցման նշանները և չդիպչեք որոնողական և օգտատիրոջ նշաններին։
Փորձարկեք նախքան հրապարակելը, ապա կրկին
Տեղադրեք ձեր սևագիրը ստուգիչում, նշեք կարևոր էջի ուղին, օրինակ՝ ապրանքի կամ գների էջի, և կարդացեք ձեզ հետաքրքրող յուրաքանչյուր ռոբոտի տողը։ Կրկնեք այն ուղով, որը ցանկանում էիք արգելափակել։ Երբ արդյունքները համապատասխանում են ձեր մտադրությանը, հրապարակեք ֆայլը և կրկին գործարկեք ստուգիչը իրական հասցեով, ինչը հաստատում է, որ սերվերը վերադարձնում է ձեր խմբագրած ֆայլը։
Ռոբոտները robots.txt-ը պահում են քեշում. Google-ը, օրինակ, սովորաբար թարմացնում է իր պատճենը 24 ժամվա ընթացքում։ Փոփոխությունը կարող է մեկ օր պահանջել, որպեսզի արտացոլվի նրանց վարքում, իսկ Google Search Console-ի robots.txt-ի հաշվետվությունը ցույց է տալիս այն պատճենը, որը Google-ը վերջին անգամ բեռնել է։
Երբ robots.txt-ը թույլատրում է ռոբոտին, բայց այն դեռ արգելափակված է
robots.txt-ը միայն խնդրանք է։ Ֆայրվոլը, բոտերից պաշտպանության ծառայությունը կամ CDN-ի կանոնը դեռ կարող են ռոբոտին պատասխանել 403-ով կամ ստուգման էջով, մինչդեռ մարդիկ ստանում են էջը։ Ստուգիչը դա չի կարող տեսնել, քանի որ կարդում է միայն մեկ ֆայլ։ Ամբողջական ստուգումը բեռնում է ձեր էջը յուրաքանչյուր ռոբոտի user agent-ով՝ սովորական բրաուզերի կողքին, և ցույց է տալիս, թե որ ռոբոտն է ստանում այլ պատասխան՝ HTTP կարգավիճակով և ֆայրվոլի ստորագրությամբ։
Հաճախ տրվող հարցեր
Սա նո՞ւյնն է, ինչ Google-ի robots.txt Tester-ը
Ոչ։ Google-ը 2023 թվականին դադարեցրեց իր առանձին robots.txt Tester-ը. Search Console-ի robots.txt-ի հաշվետվությունն այժմ ցույց է տալիս Google-ի բեռնած ֆայլը և վերլուծության սխալները՝ միայն Google-ի ռոբոտների համար։ Այս ստուգիչը նույն RFC 9309-ի կանոնները կիրառում է միանգամից 16 AI և որոնողական ռոբոտների նկատմամբ։
«Թույլատրված է» նշանակո՞ւմ է, որ ռոբոտը կկարդա կամ կմեջբերի իմ էջը
Ոչ։ Դա նշանակում է, որ robots.txt-ը դա չի արգելում։ Արդյոք ռոբոտը կստանա էջը, կախված է ձեր սերվերից և ֆայրվոլից, իսկ արդյոք օգնականը կմեջբերի այն, կախված է ձեր բովանդակությունից և տրված հարցից։
Ինչո՞ւ է ռոբոտի մոտ գրված «Կանոն չկա»
Ձեր ֆայլում չկա խումբ նրա նշանի համար և չկա User-agent: * խումբ, ուստի նրա վրա ոչինչ չի կիրառվում, և բոլոր ուղիները թույլատրված են։
Կարո՞ղ եմ փորձարկել robots.txt, որը դեռ հրապարակված չէ
Այո։ Տեղադրեք տեքստը երկրորդ դաշտում և մուտքագրեք փորձարկվող ուղին։ Ձեր կայքից ոչինչ չի բեռնվում, և տեղադրված տեքստը չի պահպանվում։
Ստուգիչը հարցումներ ուղարկո՞ւմ է GPTBot-ի կամ մյուս ռոբոտների անունից
Ոչ։ Այն միայն կարդում է ձեր robots.txt-ը և կիրառում կանոնները։ Տեսնելու համար, թե իրականում ինչ է ստանում յուրաքանչյուր ռոբոտ ձեր սերվերից, գործարկեք ամբողջական ստուգումը։
Որքա՞ն հաճախ կարող եմ այն օգտագործել
Այն անվճար է և հաշիվ չի պահանջում։ Որպեսզի այն հասանելի մնա բոլորի համար, յուրաքանչյուր ցանց կարող է ժամում գործարկել սահմանափակ թվով թեստեր։