2 էջ մերժել է շրջանցումը

Կարճ պատասխան

Այս էջերը պատասխանել են 401, 403, 429 կամ 503, կամ ժամանակը սպառվել է, երբ աուդիտը դրանք բեռնել է որպես բրաուզեր։ Դա հաճախ ֆայրվոլ, ռոբոտներից պաշտպանություն կամ rate limit է, ոչ թե կոտրված էջ։ Ստուգեք, արդյոք որոնողական և AI ռոբոտները ստանում են նույն պատասխանը։

crawl.unreachable · Առաջնահերթություն: P1–P3՝ ըստ ռոբոտի տեսակի

Ինչ է դա նշանակում

Այս էջերը պատասխանել են 401, 403, 429 կամ 503, կամ ժամանակը սպառվել է։ Ֆայրվոլը կամ հարցումների սահմանափակումը կարող են կանգնեցնել նաև ռոբոտներին. ստուգեք, թե արդյոք որոնողական և AI ռոբոտները ստանում են նույն պատասխանը։

Ինչու է սա կարևոր AI որոնման համար

Աուդիտը կարճ ժամանակում մեկ սերվերից բեռնում է բազմաթիվ էջեր, ուստի rate limit-ը կարող է պատասխանել 429 կամ 503, նույնիսկ երբ մարդիկ ստանում են էջը։ Եթե նույն կանոնը կիրառվում է որոնողական և AI ռոբոտների նկատմամբ, այս էջերը չեն բեռնվում նրանց ինդեքսների համար և չեն կարող մեջբերվել AI պատասխաններում։

401-ը նշանակում է, որ էջը մուտք է պահանջում, ինչը սպասելի է հաշվի բաժինների համար, բայց ոչ հանրային բովանդակության։ Յուրաքանչյուր էջում 503-ը կարող է նշանակել, որ սպասարկման ռեժիմը մնացել է միացված։ Այս էջերը պահվում են կոտրված հղումներից առանձին, քանի որ ուղղումը կախված է նրանից, թե ում են մերժում։

Ինչպես ուղղել

  1. Բացեք թվարկված URL-ներից մի քանիսը բրաուզերի գաղտնի պատուհանում։ Եթե դրանք բեռնվում են, արգելափակումն ուղղված է ավտոմատ հարցումներին։
  2. Փնտրեք մերժված հարցումները ձեր ֆայրվոլի, CDN-ի կամ հոսթինգի լոգերում։ Համոզվեք, որ հաստատված որոնողական ռոբոտները, ինչպիսիք են Googlebot-ը և Bingbot-ը, և ձեր ցանկացած AI որոնման ռոբոտները թույլատրված են. շատ CDN-ներ, այդ թվում Cloudflare-ը, ունեն կարգավորում verified bots-ի համար։
  3. Եթե պատճառը rate limit-ն է, բարձրացրեք սահմանաչափը սովորական էջերի հարցումների համար կամ HTML էջերը դուրս թողեք դրանից։
  4. Եթե էջերը պատասխանում են 401, հեռացրեք մուտքը հանրային էջերից կամ դադարեցրեք հանրային էջերից հղել մասնավոր էջերին։
  5. Կրկին գործարկեք կայքի աուդիտը ձեր հաշվից՝ արդյունքը հաստատելու համար։

Ինչպես համոզվել, որ ուղղումն աշխատել է

Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։

Ստուգել իմ էջը →

Բոլոր բացահայտումները և ինչպես է հաշվարկվում գնահատականը