Sitemap haiwezi kupakuliwa (hali 403)
Sitemap imetajwa au inatarajiwa, lakini kuipakua kulishindwa kwa hitilafu, 401, 403, 429 au hali ya 5xx, kwa hivyo huenda crawler pia zisiweze kuisoma. Ukaguzi unaipakua kama kivinjari. Fanya URL ya sitemap iwe ya umma na uiondolee changamoto za bot na vikomo vya maombi.
Maana yake
Sitemap ilipatikana, lakini ilijibu kwa hali 403 au haikujibu, kwa hivyo huenda crawler pia zisiweze kuitumia. Hakikisha firewall yako inaruhusu crawler kuipakua.
Kwa nini ni muhimu kwa utafutaji wa AI
Sitemap inayorudisha 403 au hitilafu ya seva ni sawa na kutokuwepo: crawler haziwezi kujifunza kuhusu kurasa mpya au zilizobadilika kutoka kwayo. Ulinzi dhidi ya bot ni sababu ya kawaida, kwa sababu maombi ya sitemap karibu yote hutoka kwa crawler, ambazo sheria hizo zimejengwa kuzizuia.
Sitemap kubwa zinazotengenezwa kwa kila ombi pia zinaweza kuisha muda au kugonga vikomo vya seva, jambo linaloonekana kama hali ya 5xx. Kwa kuwa ukaguzi unapakua faili kama kivinjari, kushindwa hapa kwa kawaida kunamaanisha crawler zinakataliwa pia.
Jinsi ya kurekebisha
- Fungua URL ya sitemap kutoka kwenye ripoti na uandike hali. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
- Kwenye CDN au WAF yako, ziondolee njia za sitemap (kwa mfano
/sitemap*.xml) changamoto, Bot Fight Mode na rate limiting. - Kama iko nyuma ya uthibitishaji kwenye mpangilio wa aina ya staging, ifanye iwe ya umma kwenye host ya production.
- Kwa hitilafu za 5xx, weka sitemap iliyotengenezwa kwenye cache au uijenge mapema kama faili tuli, na ugawanye kubwa sana kwa sitemap index.
Jinsi ya kuthibitisha rekebisho
Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.