2 էջ մերժել է շրջանցումը
Այս էջերը պատասխանել են 401, 403, 429 կամ 503, կամ ժամանակը սպառվել է, երբ աուդիտը դրանք բեռնել է որպես բրաուզեր։ Դա հաճախ ֆայրվոլ, ռոբոտներից պաշտպանություն կամ rate limit է, ոչ թե կոտրված էջ։ Ստուգեք, արդյոք որոնողական և AI ռոբոտները ստանում են նույն պատասխանը։
Ինչ է դա նշանակում
Այս էջերը պատասխանել են 401, 403, 429 կամ 503, կամ ժամանակը սպառվել է։ Ֆայրվոլը կամ հարցումների սահմանափակումը կարող են կանգնեցնել նաև ռոբոտներին. ստուգեք, թե արդյոք որոնողական և AI ռոբոտները ստանում են նույն պատասխանը։
Ինչու է սա կարևոր AI որոնման համար
Աուդիտը կարճ ժամանակում մեկ սերվերից բեռնում է բազմաթիվ էջեր, ուստի rate limit-ը կարող է պատասխանել 429 կամ 503, նույնիսկ երբ մարդիկ ստանում են էջը։ Եթե նույն կանոնը կիրառվում է որոնողական և AI ռոբոտների նկատմամբ, այս էջերը չեն բեռնվում նրանց ինդեքսների համար և չեն կարող մեջբերվել AI պատասխաններում։
401-ը նշանակում է, որ էջը մուտք է պահանջում, ինչը սպասելի է հաշվի բաժինների համար, բայց ոչ հանրային բովանդակության։ Յուրաքանչյուր էջում 503-ը կարող է նշանակել, որ սպասարկման ռեժիմը մնացել է միացված։ Այս էջերը պահվում են կոտրված հղումներից առանձին, քանի որ ուղղումը կախված է նրանից, թե ում են մերժում։
Ինչպես ուղղել
- Բացեք թվարկված URL-ներից մի քանիսը բրաուզերի գաղտնի պատուհանում։ Եթե դրանք բեռնվում են, արգելափակումն ուղղված է ավտոմատ հարցումներին։
- Փնտրեք մերժված հարցումները ձեր ֆայրվոլի, CDN-ի կամ հոսթինգի լոգերում։ Համոզվեք, որ հաստատված որոնողական ռոբոտները, ինչպիսիք են Googlebot-ը և Bingbot-ը, և ձեր ցանկացած AI որոնման ռոբոտները թույլատրված են. շատ CDN-ներ, այդ թվում Cloudflare-ը, ունեն կարգավորում verified bots-ի համար։
- Եթե պատճառը rate limit-ն է, բարձրացրեք սահմանաչափը սովորական էջերի հարցումների համար կամ HTML էջերը դուրս թողեք դրանից։
- Եթե էջերը պատասխանում են 401, հեռացրեք մուտքը հանրային էջերից կամ դադարեցրեք հանրային էջերից հղել մասնավոր էջերին։
- Կրկին գործարկեք կայքի աուդիտը ձեր հաշվից՝ արդյունքը հաստատելու համար։
Ինչպես համոզվել, որ ուղղումն աշխատել է
Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։