Ինչպես ստուգել՝ արդյոք կայքն արգելափակում է AI ռոբոտներին
Տեղադրեք ցանկացած հասցե և տեսեք՝ արդյոք այն արգելափակում է GPTBot-ին, ClaudeBot-ին, PerplexityBot-ին և մյուս AI ռոբոտներին՝ robots.txt-ում, ֆայրվոլում, թե երկուսում էլ։
Անվճար · Առանց գրանցման · Արդյունքը 30 վայրկյանում
Որ ռոբոտներն են արգելափակված
Ուսուցման, որոնման և օգտատիրոջ ռոբոտները ցուցադրվում են առանձին, քանի որ GPTBot-ի արգելափակումը չի արգելափակում OAI-SearchBot-ին, իսկ ClaudeBot-ի արգելափակումը՝ Claude-SearchBot-ին։
Որոշող տողը
Յուրաքանչյուր ռոբոտի համար robots.txt-ը կարդացվում է RFC 9309-ի կանոններով՝ նրան անվանող խումբը, կամ պահեստային տարբերակ User-agent: *-ը, և հաղթող կանոնը։
Ֆայրվոլի մերժումները
Էջը հարցվում է որպես 14 ռոբոտ և որպես սովորական բրաուզեր։ Արգելափակումները և ստուգման էջերը նշվում են, իսկ պատասխանած ֆայրվոլն անվանվում է։
Լուծում յուրաքանչյուր գտածոյի համար
Յուրաքանչյուր գտածո գալիս է կատարելիք փոփոխությամբ։ Անվճար ստուգումը ցույց է տալիս ձեր միավորը և առաջին գտածոն, իսկ ամբողջական հաշվետվությունը՝ $29, մեկ անգամ։
Կայքը կարող է արգելափակել AI ռոբոտներին երկու տեղում՝ robots.txt-ում, որը ռոբոտներին խնդրում է հեռու մնալ, և սերվերում կամ ֆայրվոլում, որն իրականում մերժում է նրանց։ robots.txt-ում փնտրեք յուրաքանչյուր ռոբոտի նշանը, իսկ եթե այն չկա՝ User-agent: * խումբը, ապա բեռնեք էջը ռոբոտի անունից և համեմատեք բրաուզերի ստացածի հետ։ Բրաուզերի ընդլայնումը robots.txt-ի մասն անում է 16 AI ռոբոտների համար մեկ սեղմումով։
Ստուգեք ձեռքով 3 քայլով
- Ընտրեք ռոբոտը
Յուրաքանչյուր AI ընկերություն ունի առանձին ռոբոտներ։ Ուսուցում՝
GPTBot,ClaudeBot։ Որոնում՝OAI-SearchBot,Claude-SearchBot,PerplexityBot։ Մարդու խնդրանքով՝ChatGPT-User,Claude-User,Perplexity-User։ - Կարդացեք robots.txt-ը նրա համար
Բացեք
https://example.com/robots.txtև գտեք ռոբոտին անվանող խումբը։ Եթե այդպիսի խումբ չկա, կիրառվում էUser-agent: *խումբը, իսկ եթե երկուսն էլ չկան, ամեն ինչ թույլատրված է։ - Բեռնեք էջը ռոբոտի անունից
Հարցրեք էջը ռոբոտի user agent-ով և համեմատեք կարգավիճակն ու չափը բրաուզերի ստացածի հետ։ 403-ը, ստուգման էջը կամ շատ ավելի փոքր 200-ը նշանակում է, որ ֆայրվոլը մերժում է այն։
Հաճախ տրվող հարցեր
Արդյոք robots.txt չունեցող կայքը բա՞ց է AI ռոբոտների համար
Այո, ինչ վերաբերում է robots.txt-ին։ robots.txt-ի համար 404-ը նշանակում է, որ կանոններ չկան, ուստի ցանկացած ռոբոտ կարող է բեռնել ցանկացած էջ։ Այնուամենայնիվ, ֆայրվոլը դեռ կարող է արգելափակել ռոբոտներին։
Ընդլայնումը ցո՞ւյց է տալիս ֆայրվոլի արգելափակումները
Ոչ։ Այն կարդում է robots.txt-ը ձեր բրաուզերից, ինչը ցույց է տալիս, թե կայքն ինչ է խնդրում ռոբոտներից։ Ֆայրվոլի և բոտերից պաշտպանության արգելափակումները տեսնելու համար անհրաժեշտ է ռոբոտի անունից ուղարկված հարցում, ինչն անում է aiseewhy.com-ի ամբողջական ստուգումը։
Կարո՞ղ եմ ստուգել կայք, որն իմը չէ
Այո։ robots.txt-ը հրապարակային է, և ընդլայնումը կարդում է միայն կայքի հրապարակած robots.txt և llms.txt ֆայլերը՝ նույն ֆայլերը, որոնք կարդում է ցանկացած ռոբոտ։
Կարդալ ամբողջական ուղեցույցը
Անկախ նրանից՝ փոփոխությունից հետո ստուգում եք ձեր սեփական կայքը, թե նայում եք ուրիշի կայքին՝ նախքան դրան ապավինելը, «արդյոք այս կայքն արգելափակո՞ւմ է AI ռոբոտներին» հարցն ունի ճշգրիտ պատասխան։ Այն կախված է նրանից, թե որ ռոբոտի մասին է խոսքը, քանի որ AI ընկերությունները տարբեր ռոբոտներ են օգտագործում ուսուցման, որոնման և ուղիղ այցելությունների համար, և կայքը կարող է յուրաքանչյուրի հետ տարբեր կերպ վարվել։ Այս ուղեցույցը ցույց է տալիս երեք ստուգում՝ ամենաարագից մինչև ամենաամբողջականը։
Որտե՞ղ կարող է կայքն արգելափակել AI ռոբոտներին
Կա երեք շերտ, և ռոբոտը պետք է անցնի բոլորով, որպեսզի օգտագործի էջը։
- robots.txt՝ կանոնների հրապարակային ֆայլ, որը բարեխիղճ ռոբոտները կարդում են՝ նախքան որևէ բան բեռնելը։ Դա խնդրանք է, ոչ թե կողպեք։
- Սերվերը, CDN-ը կամ ֆայրվոլը՝ հենց նա է որոշում, թե իրականում ինչ է հետ ուղարկվում։ Բոտերից պաշտպանության կանոնը կարող է ռոբոտին պատասխանել 403-ով, 429-ով կամ ստուգման (challenge) էջով, նույնիսկ երբ robots.txt-ը թույլ է տալիս։
- Էջն ինքը՝ եթե հիմնական տեքստը հայտնվում է միայն JavaScript-ի աշխատելուց հետո, սկզբնական HTML-ը կարդացող ռոբոտը ստանում է գրեթե դատարկ էջ, թեև նրան ոչինչ չի արգելափակել։
Արագ ստուգումների մեծ մասը նայում է միայն առաջին շերտին։ Դա լավ սկիզբ է, եթե չմոռանաք մյուս երկուսի մասին։
Ինչպե՞ս կարդալ robots.txt-ը մեկ AI ռոբոտի համար
Բացեք https://example.com/robots.txt-ը բրաուզերում և գտեք այն խումբը, որը վերաբերում է ռոբոտին։ Խումբը սկսվում է մեկ կամ մի քանի User-agent տողով։ Ռոբոտն օգտագործում է այն խումբը, որն անվանում է իր նշանը, օրինակ՝ GPTBot-ը։ Համընկնումը մեծատառ-փոքրատառ չի տարբերում։ Եթե ոչ մի խումբ այն չի անվանում, ռոբոտն օգտագործում է User-agent: * խումբը։ Եթե չկա ոչ մեկը, ոչ մյուսը, ամեն ինչ թույլատրված է։
Խմբի ներսում հաղթում է ամենաերկար համընկնող ուղի ունեցող կանոնը, իսկ երբ Allow-ը և Disallow-ը հավասար երկարության են, հաղթում է Allow-ը։ Այսպիսով, ստորև բերված ֆայլն արգելափակում է GPTBot-ին ամբողջ կայքից, բայց ներս է թողնում մնացած բոլոր ռոբոտներին.
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Նայեք նաև, թե ինչպես է ֆայլը պատասխանում։ Ըստ RFC 9309-ի՝ 404-ը նշանակում է, որ կանոններ չկան, այսինքն՝ ամեն ինչ թույլատրված է։ Սերվերի սխալը (5xx) կամ պատասխանի բացակայությունը նշանակում է, որ ռոբոտը պետք է ամբողջ կայքն արգելված համարի։ robots.txt-ի հասցեն, որը վերադարձնում է HTML էջ, տարածված սխալ է. ռոբոտները դրանում վավեր կանոններ չեն գտնում։
Ինչպե՞ս ստուգել բոլոր AI ռոբոտներին միանգամից
Ֆայլը ձեռքով կարդալը դանդաղում է, երբ ձեզ հետաքրքրում է մեկից ավելի ռոբոտ։ Յուրաքանչյուր AI ընկերություն ունի մի քանի ռոբոտ՝ տարբեր խնդիրներով.
- Ուսուցման ռոբոտները բովանդակություն են հավաքում մոդելների ուսուցման համար՝
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, ինչպես նաևGoogle-ExtendedևApplebot-Extendedնշանները, որոնք հանդիպում են միայն robots.txt-ում։ - Որոնողական ռոբոտներն ինդեքսավորում են էջերը, որպեսզի AI պատասխանները կարողանան մեջբերել դրանք՝
OAI-SearchBot,Claude-SearchBot,PerplexityBot։ - Օգտատիրոջ ռոբոտները բեռնում են էջը, երբ մարդը դա խնդրում է օգնականից՝
ChatGPT-User,Claude-User,Perplexity-User։
Chrome-ի համար անվճար «AI ռոբոտների ստուգիչ» ընդլայնումը դա անում է մեկ սեղմումով։ Բացեք ցանկացած էջ, սեղմեք պատկերակին, և այն կկարդա այդ կայքի robots.txt-ը և 16 ռոբոտներից յուրաքանչյուրի համար ցույց կտա՝ արդյոք էջը թույլատրված է, և որ տողն է դա որոշում։ Այն ցույց է տալիս նաև Content-Signal-ի նախընտրությունները, արդյոք կայքն ունի llms.txt, և robots.txt-ում նշված կայքի քարտեզները։ Այն աշխատում է ձեր բրաուզերում, հաշիվ չի պահանջում և կարդում է միայն այն կայքը, որի վրա սեղմում եք։
Առանց Chrome-ի՝ aiseewhy.com-ի անվճար robots.txt ստուգիչը նույն պատասխանն է տալիս ձեր տեղադրած URL-ի համար։
Ինչպե՞ս ստուգել՝ արդյոք ֆայրվոլը նրանց թողնում է
robots.txt-ը ցույց է տալիս, թե ինչ է խնդրում կայքը։ Տեսնելու համար, թե ռոբոտն իրականում ինչ է ստանում, պահանջեք էջը երկու անգամ՝ մեկ անգամ որպես բրաուզեր և մեկ անգամ ռոբոտի user agent-ով, և համեմատեք կարգավիճակի կոդը և պատասխանի չափը.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Եթե բրաուզերը ստանում է 200, իսկ ռոբոտը՝ 403, 429 կամ 503, կամ շատ ավելի փոքր էջ, ֆայրվոլը կամ բոտերից պաշտպանությունը ռոբոտի հետ տարբեր կերպ է վարվում։ Ցանկացած արտաքին թեստ ունի մեկ սահմանափակում. հարցումը գալիս է ձեր ցանցից, ոչ թե AI ընկերության ցանցից։ Ֆայրվոլը, որը վստահում է ռոբոտներին ըստ նրանց հրապարակված IP հասցեների, կարող է իրական ռոբոտի հետ այլ կերպ վարվել, ուստի վերջնական խոսքը ձեր սերվերի լոգերինն է։
aiseewhy.com-ի ամբողջական ստուգումը բեռնում է էջը բոլոր 16 ռոբոտների անունից՝ իրական բրաուզերի կողքին, անվանում է ռոբոտին արգելափակող ֆայրվոլը կամ կանոնը և համեմատում է յուրաքանչյուրի ստացած տեքստը։
Ի՞նչ արդյունքի ձգտել
Դա կախված է նրանից, թե ինչ եք ուզում։ Եթե ուզում եք, որ ձեզ մեջբերեն ChatGPT որոնման, Claude-ի և Perplexity-ի մեջ, որոնողական և օգտատիրոջ ռոբոտները պետք է թույլատրված լինեն robots.txt-ում և սերվերից ստանան իրական էջը։ Եթե չեք ուզում, որ ձեր բովանդակությունն օգտագործվի ուսուցման համար, արգելափակեք միայն ուսուցման նշանները։ Սրանք առանձին ընտրություններ են. GPTBot-ին արգելափակելը չի արգելափակում OAI-SearchBot-ին, իսկ ClaudeBot-ին արգելափակելը չի արգելափակում Claude-SearchBot-ին։
Շատ կայքեր դրանք շփոթում են։ 1000 ամենահայտնի դոմենների մասին մեր 2026 թվականի նոյեմբերի զեկույցում ուսուցման ռոբոտին արգելափակող կայքերի 63%-ը արգելափակում է նաև առնվազն մեկ AI որոնողական կամ օգտատիրոջ ռոբոտի, ինչը նրանց էջերը դուրս է թողնում այդ AI պատասխաններից։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- llms.txt-ի ստուգիչ և վավերացնող
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Աղբյուրներ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI ռոբոտների հասանելիության հաշվետվություն, 2026-11