Ինչպես ստուգել՝ արդյոք կայքն արգելափակում է AI ռոբոտներին

Տեղադրեք ցանկացած հասցե և տեսեք՝ արդյոք այն արգելափակում է GPTBot-ին, ClaudeBot-ին, PerplexityBot-ին և մյուս AI ռոբոտներին՝ robots.txt-ում, ֆայրվոլում, թե երկուսում էլ։

Անվճար · Առանց գրանցման · Արդյունքը 30 վայրկյանում

Որ ռոբոտներն են արգելափակված

Ուսուցման, որոնման և օգտատիրոջ ռոբոտները ցուցադրվում են առանձին, քանի որ GPTBot-ի արգելափակումը չի արգելափակում OAI-SearchBot-ին, իսկ ClaudeBot-ի արգելափակումը՝ Claude-SearchBot-ին։

Որոշող տողը

Յուրաքանչյուր ռոբոտի համար robots.txt-ը կարդացվում է RFC 9309-ի կանոններով՝ նրան անվանող խումբը, կամ պահեստային տարբերակ User-agent: *-ը, և հաղթող կանոնը։

Ֆայրվոլի մերժումները

Էջը հարցվում է որպես 14 ռոբոտ և որպես սովորական բրաուզեր։ Արգելափակումները և ստուգման էջերը նշվում են, իսկ պատասխանած ֆայրվոլն անվանվում է։

Լուծում յուրաքանչյուր գտածոյի համար

Յուրաքանչյուր գտածո գալիս է կատարելիք փոփոխությամբ։ Անվճար ստուգումը ցույց է տալիս ձեր միավորը և առաջին գտածոն, իսկ ամբողջական հաշվետվությունը՝ $29, մեկ անգամ։

Կարճ պատասխան

Կայքը կարող է արգելափակել AI ռոբոտներին երկու տեղում՝ robots.txt-ում, որը ռոբոտներին խնդրում է հեռու մնալ, և սերվերում կամ ֆայրվոլում, որն իրականում մերժում է նրանց։ robots.txt-ում փնտրեք յուրաքանչյուր ռոբոտի նշանը, իսկ եթե այն չկա՝ User-agent: * խումբը, ապա բեռնեք էջը ռոբոտի անունից և համեմատեք բրաուզերի ստացածի հետ։ Բրաուզերի ընդլայնումը robots.txt-ի մասն անում է 16 AI ռոբոտների համար մեկ սեղմումով։

Ստուգեք ձեռքով 3 քայլով

  1. Ընտրեք ռոբոտը

    Յուրաքանչյուր AI ընկերություն ունի առանձին ռոբոտներ։ Ուսուցում՝ GPTBot, ClaudeBot։ Որոնում՝ OAI-SearchBot, Claude-SearchBot, PerplexityBot։ Մարդու խնդրանքով՝ ChatGPT-User, Claude-User, Perplexity-User։

  2. Կարդացեք robots.txt-ը նրա համար

    Բացեք https://example.com/robots.txt և գտեք ռոբոտին անվանող խումբը։ Եթե այդպիսի խումբ չկա, կիրառվում է User-agent: * խումբը, իսկ եթե երկուսն էլ չկան, ամեն ինչ թույլատրված է։

  3. Բեռնեք էջը ռոբոտի անունից

    Հարցրեք էջը ռոբոտի user agent-ով և համեմատեք կարգավիճակն ու չափը բրաուզերի ստացածի հետ։ 403-ը, ստուգման էջը կամ շատ ավելի փոքր 200-ը նշանակում է, որ ֆայրվոլը մերժում է այն։

Հաճախ տրվող հարցեր

Արդյոք robots.txt չունեցող կայքը բա՞ց է AI ռոբոտների համար

Այո, ինչ վերաբերում է robots.txt-ին։ robots.txt-ի համար 404-ը նշանակում է, որ կանոններ չկան, ուստի ցանկացած ռոբոտ կարող է բեռնել ցանկացած էջ։ Այնուամենայնիվ, ֆայրվոլը դեռ կարող է արգելափակել ռոբոտներին։

Ընդլայնումը ցո՞ւյց է տալիս ֆայրվոլի արգելափակումները

Ոչ։ Այն կարդում է robots.txt-ը ձեր բրաուզերից, ինչը ցույց է տալիս, թե կայքն ինչ է խնդրում ռոբոտներից։ Ֆայրվոլի և բոտերից պաշտպանության արգելափակումները տեսնելու համար անհրաժեշտ է ռոբոտի անունից ուղարկված հարցում, ինչն անում է aiseewhy.com-ի ամբողջական ստուգումը։

Կարո՞ղ եմ ստուգել կայք, որն իմը չէ

Այո։ robots.txt-ը հրապարակային է, և ընդլայնումը կարդում է միայն կայքի հրապարակած robots.txt և llms.txt ֆայլերը՝ նույն ֆայլերը, որոնք կարդում է ցանկացած ռոբոտ։

Կարդալ ամբողջական ուղեցույցը

Անկախ նրանից՝ փոփոխությունից հետո ստուգում եք ձեր սեփական կայքը, թե նայում եք ուրիշի կայքին՝ նախքան դրան ապավինելը, «արդյոք այս կայքն արգելափակո՞ւմ է AI ռոբոտներին» հարցն ունի ճշգրիտ պատասխան։ Այն կախված է նրանից, թե որ ռոբոտի մասին է խոսքը, քանի որ AI ընկերությունները տարբեր ռոբոտներ են օգտագործում ուսուցման, որոնման և ուղիղ այցելությունների համար, և կայքը կարող է յուրաքանչյուրի հետ տարբեր կերպ վարվել։ Այս ուղեցույցը ցույց է տալիս երեք ստուգում՝ ամենաարագից մինչև ամենաամբողջականը։

Որտե՞ղ կարող է կայքն արգելափակել AI ռոբոտներին

Կա երեք շերտ, և ռոբոտը պետք է անցնի բոլորով, որպեսզի օգտագործի էջը։

  • robots.txt՝ կանոնների հրապարակային ֆայլ, որը բարեխիղճ ռոբոտները կարդում են՝ նախքան որևէ բան բեռնելը։ Դա խնդրանք է, ոչ թե կողպեք։
  • Սերվերը, CDN-ը կամ ֆայրվոլը՝ հենց նա է որոշում, թե իրականում ինչ է հետ ուղարկվում։ Բոտերից պաշտպանության կանոնը կարող է ռոբոտին պատասխանել 403-ով, 429-ով կամ ստուգման (challenge) էջով, նույնիսկ երբ robots.txt-ը թույլ է տալիս։
  • Էջն ինքը՝ եթե հիմնական տեքստը հայտնվում է միայն JavaScript-ի աշխատելուց հետո, սկզբնական HTML-ը կարդացող ռոբոտը ստանում է գրեթե դատարկ էջ, թեև նրան ոչինչ չի արգելափակել։

Արագ ստուգումների մեծ մասը նայում է միայն առաջին շերտին։ Դա լավ սկիզբ է, եթե չմոռանաք մյուս երկուսի մասին։

Ինչպե՞ս կարդալ robots.txt-ը մեկ AI ռոբոտի համար

Բացեք https://example.com/robots.txt-ը բրաուզերում և գտեք այն խումբը, որը վերաբերում է ռոբոտին։ Խումբը սկսվում է մեկ կամ մի քանի User-agent տողով։ Ռոբոտն օգտագործում է այն խումբը, որն անվանում է իր նշանը, օրինակ՝ GPTBot-ը։ Համընկնումը մեծատառ-փոքրատառ չի տարբերում։ Եթե ոչ մի խումբ այն չի անվանում, ռոբոտն օգտագործում է User-agent: * խումբը։ Եթե չկա ոչ մեկը, ոչ մյուսը, ամեն ինչ թույլատրված է։

Խմբի ներսում հաղթում է ամենաերկար համընկնող ուղի ունեցող կանոնը, իսկ երբ Allow-ը և Disallow-ը հավասար երկարության են, հաղթում է Allow-ը։ Այսպիսով, ստորև բերված ֆայլն արգելափակում է GPTBot-ին ամբողջ կայքից, բայց ներս է թողնում մնացած բոլոր ռոբոտներին.

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Նայեք նաև, թե ինչպես է ֆայլը պատասխանում։ Ըստ RFC 9309-ի՝ 404-ը նշանակում է, որ կանոններ չկան, այսինքն՝ ամեն ինչ թույլատրված է։ Սերվերի սխալը (5xx) կամ պատասխանի բացակայությունը նշանակում է, որ ռոբոտը պետք է ամբողջ կայքն արգելված համարի։ robots.txt-ի հասցեն, որը վերադարձնում է HTML էջ, տարածված սխալ է. ռոբոտները դրանում վավեր կանոններ չեն գտնում։

Ինչպե՞ս ստուգել բոլոր AI ռոբոտներին միանգամից

Ֆայլը ձեռքով կարդալը դանդաղում է, երբ ձեզ հետաքրքրում է մեկից ավելի ռոբոտ։ Յուրաքանչյուր AI ընկերություն ունի մի քանի ռոբոտ՝ տարբեր խնդիրներով.

  • Ուսուցման ռոբոտները բովանդակություն են հավաքում մոդելների ուսուցման համար՝ GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, ինչպես նաև Google-Extended և Applebot-Extended նշանները, որոնք հանդիպում են միայն robots.txt-ում։
  • Որոնողական ռոբոտներն ինդեքսավորում են էջերը, որպեսզի AI պատասխանները կարողանան մեջբերել դրանք՝ OAI-SearchBot, Claude-SearchBot, PerplexityBot։
  • Օգտատիրոջ ռոբոտները բեռնում են էջը, երբ մարդը դա խնդրում է օգնականից՝ ChatGPT-User, Claude-User, Perplexity-User։

Chrome-ի համար անվճար «AI ռոբոտների ստուգիչ» ընդլայնումը դա անում է մեկ սեղմումով։ Բացեք ցանկացած էջ, սեղմեք պատկերակին, և այն կկարդա այդ կայքի robots.txt-ը և 16 ռոբոտներից յուրաքանչյուրի համար ցույց կտա՝ արդյոք էջը թույլատրված է, և որ տողն է դա որոշում։ Այն ցույց է տալիս նաև Content-Signal-ի նախընտրությունները, արդյոք կայքն ունի llms.txt, և robots.txt-ում նշված կայքի քարտեզները։ Այն աշխատում է ձեր բրաուզերում, հաշիվ չի պահանջում և կարդում է միայն այն կայքը, որի վրա սեղմում եք։

Առանց Chrome-ի՝ aiseewhy.com-ի անվճար robots.txt ստուգիչը նույն պատասխանն է տալիս ձեր տեղադրած URL-ի համար։

Ինչպե՞ս ստուգել՝ արդյոք ֆայրվոլը նրանց թողնում է

robots.txt-ը ցույց է տալիս, թե ինչ է խնդրում կայքը։ Տեսնելու համար, թե ռոբոտն իրականում ինչ է ստանում, պահանջեք էջը երկու անգամ՝ մեկ անգամ որպես բրաուզեր և մեկ անգամ ռոբոտի user agent-ով, և համեմատեք կարգավիճակի կոդը և պատասխանի չափը.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Եթե բրաուզերը ստանում է 200, իսկ ռոբոտը՝ 403, 429 կամ 503, կամ շատ ավելի փոքր էջ, ֆայրվոլը կամ բոտերից պաշտպանությունը ռոբոտի հետ տարբեր կերպ է վարվում։ Ցանկացած արտաքին թեստ ունի մեկ սահմանափակում. հարցումը գալիս է ձեր ցանցից, ոչ թե AI ընկերության ցանցից։ Ֆայրվոլը, որը վստահում է ռոբոտներին ըստ նրանց հրապարակված IP հասցեների, կարող է իրական ռոբոտի հետ այլ կերպ վարվել, ուստի վերջնական խոսքը ձեր սերվերի լոգերինն է։

aiseewhy.com-ի ամբողջական ստուգումը բեռնում է էջը բոլոր 16 ռոբոտների անունից՝ իրական բրաուզերի կողքին, անվանում է ռոբոտին արգելափակող ֆայրվոլը կամ կանոնը և համեմատում է յուրաքանչյուրի ստացած տեքստը։

Ի՞նչ արդյունքի ձգտել

Դա կախված է նրանից, թե ինչ եք ուզում։ Եթե ուզում եք, որ ձեզ մեջբերեն ChatGPT որոնման, Claude-ի և Perplexity-ի մեջ, որոնողական և օգտատիրոջ ռոբոտները պետք է թույլատրված լինեն robots.txt-ում և սերվերից ստանան իրական էջը։ Եթե չեք ուզում, որ ձեր բովանդակությունն օգտագործվի ուսուցման համար, արգելափակեք միայն ուսուցման նշանները։ Սրանք առանձին ընտրություններ են. GPTBot-ին արգելափակելը չի արգելափակում OAI-SearchBot-ին, իսկ ClaudeBot-ին արգելափակելը չի արգելափակում Claude-SearchBot-ին։

Շատ կայքեր դրանք շփոթում են։ 1000 ամենահայտնի դոմենների մասին մեր 2026 թվականի նոյեմբերի զեկույցում ուսուցման ռոբոտին արգելափակող կայքերի 63%-ը արգելափակում է նաև առնվազն մեկ AI որոնողական կամ օգտատիրոջ ռոբոտի, ինչը նրանց էջերը դուրս է թողնում այդ AI պատասխաններից։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Աղբյուրներ

Այլ հոդվածներ

Հրապարակված է