GPTBot ռոբոտը ստանում է փոխարինող էջ
Ռոբոտը ստացել է 200 կարգավիճակ, բայց ոչ իրական էջը։ Նրա տեսանելի տեքստը բրաուզերի ստացածի 15%-ից պակաս է, կամ պարունակում է արգելափակման արտահայտություն, օրինակ՝ «access denied» կամ «are you a robot», որը բրաուզերի էջում չկա։ Գտեք ռոբոտների այն կանոնը, որը մատուցում է այս փոխարինող էջը, և թույլ տվեք ռոբոտին տեսնել ամբողջական էջը։
Ինչ է դա նշանակում
GPTBot user agent-ով հարցումը ստացել է 200 կարգավիճակ, բայց էջի տեքստը արգելափակման ծանուցում է կամ շատ ավելի կարճ է, քան այն, ինչ ստանում է բրաուզերը։
Ինչու է սա կարևոր AI որոնման համար
Մեղմ արգելափակումն ավելի դժվար է նկատել, քան 403-ը, քանի որ լոգերը և uptime մոնիթորները ցույց են տալիս 200։ Ռոբոտը պահում է իր ստացած ցանկացած տեքստ, ուստի պատասխանող համակարգը կարող է ինդեքսավորել էջ, որում գրված է «enable JavaScript and cookies»՝ ձեր բովանդակության փոխարեն, կամ դուրս թողնել էջը որպես աղքատ։
Ստուգումն աշխատում է միայն այն դեպքում, երբ բրաուզերային տարբերակն ունի առնվազն 200 նիշ տեքստ։ Երկու պատասխաններն էլ բեռնվում են նույն սերվերից մի քանի պահ տարբերությամբ, ուստի տեքստի մեծ տարբերությունը գալիս է նրանից, թե ինչպես է ձեր համակարգը վերաբերվում ռոբոտի user agent-ին, ոչ թե ցանցից կամ բովանդակության փոփոխությունից։
Ինչպես ուղղել
- Համեմատեք տեքստի երկարությունը և համընկած արտահայտությունը հաշվետվության ապացույցներում բրաուզերային տարբերակի հետ։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
- Փնտրեք ռոբոտների կառավարման գործառույթներ, որոնք սխալի փոխարեն պատասխանում են միջանկյալ էջով. Cloudflare-ի ստուգման (challenge) կամ JavaScript հայտնաբերման էջեր, Imperva-ի և Akamai-ի ռոբոտների էջեր կամ «verify you are human» պլագին։
- Ստուգեք դինամիկ ռենդերինգի կամ քեշի կանոնները, որոնք ռոբոտներին այլ ձևանմուշ են մատուցում, ինչպես նաև A/B թեստավորման կամ աշխարհագրական գործիքները, որոնք անհայտ այցելուների համար փոխարինում են էջը։
- Ավելացրեք բացառություն ռոբոտի համար այն կանոնում, որը մատուցում է փոխարինող էջը, հաստատելով IP տիրույթով կամ հակադարձ DNS-ով, եթե ձեր հարթակն աջակցում է դա։
Ինչպես համոզվել, որ ուղղումն աշխատել է
Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։