robots.txt-ը թույլատրում է GPTBot ռոբոտին, բայց սերվերն արգելափակում է այն

Կարճ պատասխան

Ձեր robots.txt-ը թույլ է տալիս այս ռոբոտին բեռնել էջը, բայց նրա user agent-ով հարցումն արգելափակվել է սերվերի, CDN-ի կամ ֆայրվոլի կողմից։ Հայտարարված քաղաքականությունը և իրական վարքը չեն համընկնում։ Փոխեք ֆայրվոլի կանոնը՝ robots.txt-ին համապատասխանեցնելու համար, կամ արգելեք ռոբոտին robots.txt-ում, եթե մտադիր էիք այն արգելափակել։

robots.access_conflict · Առաջնահերթություն: P1–P3՝ ըստ ռոբոտի տեսակի

Ինչ է դա նշանակում

Ձեր կանոնները թույլ են տալիս GPTBot ռոբոտին, սակայն նրա user agent-ով հարցումն արգելափակվել է։ Ֆայրվոլը կամ CDN-ը գերակայում է ձեր հայտարարած քաղաքականության նկատմամբ։

Ինչու է սա կարևոր AI որոնման համար

Ռոբոտները robots.txt-ը համարում են ձեր քաղաքականությունը։ Երբ այն ասում է «այո», իսկ սերվերը՝ 403, ռոբոտը վատնում է հարցումներ, կարող է ավելի ուշ կրկին փորձել, և էջն այդպես էլ չի հայտնվում պատասխանող համակարգի ինդեքսում։ Թիմերը հաճախ կարծում են, որ թույլատրում են AI որոնումը, որովհետև robots.txt-ն այդպես է ասում, մինչդեռ ռոբոտների կանոնը լուռ արգելափակում է այն։

Ստուգումն աշխատում է չհաստատված IP հասցեից։ Հետևաբար կանոնը, որը ռոբոտին թույլ է տալիս անցնել միայն իր հրապարակված IP տիրույթներից, ինչը խելամիտ կարգավորում է, կարող է հայտնվել այստեղ, թեև իրական ռոբոտն անցնում է։ Որևէ բան փոխելուց առաջ ստուգեք, թե որ կանոնն է աշխատել։

Ինչպես ուղղել

  1. Համեմատեք robots.txt-ի խումբը և արգելափակված հարցման կարգավիճակը բացահայտման մեջ։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
  2. Գտեք այն կանոնը, որն արգելափակել է հարցումը. Cloudflare-ում ստուգեք Security → Events բաժինը և AI Crawl Control-ի ու Bot Fight Mode-ի կարգավորումները, այլ CDN-ներում ստուգեք ռոբոտների կառավարման լոգը։
  3. Եթե ցանկանում եք թույլատրել ռոբոտին, ավելացրեք բացառություն նրա համար. եթե ցանկանում եք արգելել, ավելացրեք Disallow խումբ նրա նշանի համար, որպեսզի ձեր քաղաքականությունը նշված լինի մեկ տեղում։

Ինչպես համոզվել, որ ուղղումն աշխատել է

Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։

Ստուգել իմ էջը →

Առնչվող ուղեցույցներ

Բոլոր բացահայտումները և ինչպես է հաշվարկվում գնահատականը