2 ገጾች crawlን አልተቀበሉም
ኦዲቱ እንደ አሳሽ ሲያመጣቸው እነዚህ ገጾች 401፣ 403፣ 429 ወይም 503 መለሱ፣ ወይም ጊዜያቸው አለፈ። ይህ ብዙ ጊዜ ከተሰበረ ገጽ ይልቅ ፋየርዎል፣ የቦት ጥበቃ ወይም rate limit ነው። የፍለጋ እና የAI ክሮውለሮች ተመሳሳይ ምላሽ ያገኙ እንደሆነ ይፈትሹ።
ምን ማለት ነው
እነዚህ ገጾች 401፣ 403፣ 429 ወይም 503 መለሱ፣ ወይም ጊዜያቸው አለፈ። ፋየርዎል ወይም rate limit ክሮውለሮችንም እያቆመ ሊሆን ይችላል፤ የፍለጋ እና የAI ክሮውለሮች ተመሳሳይ ምላሽ ያገኙ እንደሆነ ያረጋግጡ።
ለAI ፍለጋ ለምን አስፈላጊ ነው
ኦዲቱ ከአንድ አገልጋይ በአጭር ጊዜ ውስጥ ብዙ ገጾችን ያመጣል፣ ስለዚህ ሰዎች ገጹን ቢያገኙም rate limit 429 ወይም 503 ሊመልስ ይችላል። ተመሳሳዩ ደንብ በፍለጋ እና በAI ክሮውለሮች ላይ ከተተገበረ እነዚህ ገጾች ለindexesቸው አይመጡም እና በAI መልሶች ውስጥ ሊጠቀሱ አይችሉም።
401 ማለት ገጹ መግቢያ ያስፈልገዋል ማለት ነው፣ ይህም ለመለያ ክፍሎች የሚጠበቅ ነው ለይፋዊ ይዘት ግን አይደለም። በእያንዳንዱ ገጽ ላይ ያለ 503 የmaintenance mode እንደበራ ተረስቷል ማለት ሊሆን ይችላል። እነዚህ ገጾች ከተሰበሩ አገናኞች ተለይተው የሚቀመጡት ማስተካከያው ማን ውድቅ እንደሚደረግ ስለሚወሰን ነው።
እንዴት እንደሚስተካከል
- ከተዘረዘሩት URLs ጥቂቶቹን በግል የአሳሽ መስኮት ውስጥ ይክፈቱ። ከተጫኑ እገዳው በራስ-ሰር ጥያቄዎች ላይ ያነጣጠረ ነው።
- ውድቅ የተደረጉትን ጥያቄዎች በፋየርዎልዎ፣ በCDNዎ ወይም በhosting logs ውስጥ ይፈልጉ። እንደ Googlebot እና Bingbot ያሉ የተረጋገጡ የፍለጋ ክሮውለሮች እና የሚፈልጓቸው የAI ፍለጋ ክሮውለሮች መፈቀዳቸውን ያረጋግጡ፤ Cloudflareን ጨምሮ ብዙ CDNs ለverified bots ቅንብር አላቸው።
- rate limit ካስከተለው ለመደበኛ የገጽ ጥያቄዎች ገደቡን ከፍ ያድርጉ ወይም የHTML ገጾችን ከእሱ ያውጡ።
- ገጾች 401 ከመለሱ መግቢያውን ከይፋዊ ገጾች ያስወግዱ፣ ወይም ከይፋዊ ገጾች ወደ ግል ገጾች ማገናኘትን ያቁሙ።
- ውጤቱን ለማረጋገጥ የድረ-ገጽ ኦዲቱን ከመለያዎ እንደገና ያካሂዱ።
ማስተካከያውን እንዴት ማረጋገጥ እንደሚቻል
ከለውጡ በኋላ በሪፖርቱ ላይ “እንደገና ይፈትሹ”ን ይጫኑ፦ ምን እንደተስተካከለ እና ውጤቱ እንዴት እንደተቀየረ ይዘረዝራል።