Sitemap-ը հնարավոր չէ բեռնել (կարգավիճակ 403)
Sitemap-ը հայտարարված է կամ սպասվում է, բայց դրա բեռնումը ձախողվել է սխալով, 401, 403, 429 կամ 5xx կարգավիճակով, ուստի ռոբոտները նույնպես կարող են չկարողանալ կարդալ այն։ Աուդիտը այն բեռնում է որպես բրաուզեր։ Դարձրեք sitemap-ի URL-ը հանրային և ազատեք այն ռոբոտների ստուգումներից ու հարցումների սահմանափակումներից։
Ինչ է դա նշանակում
Sitemap գտնվել է, բայց այն պատասխանել է 403 կարգավիճակով կամ չի պատասխանել, ուստի ռոբոտները նույնպես կարող են չկարողանալ օգտագործել այն։ Ստուգեք, որ ձեր ֆայրվոլը թույլ է տալիս ռոբոտներին բեռնել այն։
Ինչու է սա կարևոր AI որոնման համար
403 կամ սերվերի սխալ վերադարձնող sitemap-ը նույնն է, ինչ բացակայողը. ռոբոտները դրանից չեն կարող իմանալ նոր կամ փոփոխված էջերի մասին։ Ռոբոտներից պաշտպանությունը տարածված պատճառ է, քանի որ sitemap-ի հարցումները գրեթե ամբողջությամբ գալիս են ռոբոտներից, որոնց կանգնեցնելու համար էլ ստեղծված են այդ կանոնները։
Յուրաքանչյուր հարցման ժամանակ գեներացվող մեծ sitemap-ները կարող են նաև ժամանակի սպառման ենթարկվել կամ հասնել սերվերի սահմանաչափերին, ինչը հայտնվում է որպես 5xx կարգավիճակ։ Քանի որ աուդիտը ֆայլը բեռնում է որպես բրաուզեր, այստեղ ձախողումը սովորաբար նշանակում է, որ ռոբոտները նույնպես մերժվում են։
Ինչպես ուղղել
- Բացեք հաշվետվության sitemap URL-ը և նշեք կարգավիճակը։ AISeeWhy-ի հաշվետվությունը ցույց է տալիս ապացույցները և տեղադրելու պատրաստ ուղղումը. դրանից հետո գործարկեք «Կրկին ստուգել»՝ արդյունքը հաստատելու համար։
- Ձեր CDN-ում կամ WAF-ում ազատեք sitemap-ի ուղիները (օրինակ՝
/sitemap*.xml) ստուգումներից, Bot Fight Mode-ից և rate limiting-ից։ - Եթե այն staging-ի նման կարգավորման մեջ նույնականացման հետևում է, դարձրեք այն հանրային production հոսթում։
- 5xx սխալների դեպքում քեշավորեք գեներացված sitemap-ը կամ նախապես կառուցեք այն որպես ստատիկ ֆայլ, իսկ շատ մեծերը բաժանեք sitemap index-ով։
Ինչպես համոզվել, որ ուղղումն աշխատել է
Փոփոխությունից հետո սեղմեք «Կրկին ստուգել» հաշվետվության վրա. այն ցույց է տալիս, թե ինչ է ուղղվել և ինչպես է փոխվել գնահատականը։