robots.txt የHTML ገጽ ነው
የ/robots.txt አድራሻ የHTML ሰነድ ይመልሳል፣ ብዙውን ጊዜ በሁኔታ 200 የሚቀርብ የ404 ገጽ ወይም የመነሻ ገጽ። ክሮውለሮች ከHTML ምንም ደንብ ማንበብ አይችሉም። በዚያ path ላይ plain-text robots.txt ያቅርቡ፣ ወይም ምንም ደንብ ከሌለዎት እውነተኛ የ404 ሁኔታ ይመልሱ።
ምን ማለት ነው
የrobots.txt አድራሻ HTML ይመልሳል (ብዙ ጊዜ በሁኔታ 200 የሚቀርብ የ404 ገጽ)፣ ስለዚህ ክሮውለሮች ምንም ደንብ ማንበብ አይችሉም።
ለAI ፍለጋ ለምን አስፈላጊ ነው
ክሮውለሮች robots.txtን መስመር በመስመር ይተነትናሉ እና ያልገባቸውን ችላ ይላሉ፣ ስለዚህ የHTML ገጽ ምንም ደንብ እና ምንም የSitemap መስመር አይሰጣቸውም። ያሰቡት ፖሊሲ፣ ለምሳሌ የስልጠና ክሮውለሮችን ማገድ ወይም የፍለጋ ክሮውለሮችን መፍቀድ፣ ተግባራዊ አይሆንም፣ እዚያ የተገለጹ sitemaps ደግሞ አይገኙም።
ይህ ብዙውን ጊዜ የሚከሰተው እያንዳንዱን ያልታወቀ path በapp shell እና በሁኔታ 200 በሚመልሱ single-page apps እና catch-all routes ነው። AISeeWhy የሚፈርደው በContent-Type header ሳይሆን በbodyው ነው፣ ምክንያቱም ክሮውለሮችም እንዲሁ ያደርጋሉ፦ እንደ text/html የቀረበ የጽሑፍ ፋይል አሁንም ይነበባል፣ የHTML ገጽ ግን አይነበብም።
እንዴት እንደሚስተካከል
/robots.txtን ይክፈቱ እና sourceውን ይመልከቱ፦ በ<!doctypeወይም በ<htmlከጀመረ ፋይሉ የለም እና fallback route እየመለሰ ነው።- እውነተኛ ፋይል ይጨምሩ፦ በNext.js፣ Vite ወይም Create React App ውስጥ
public/robots.txt፣ በnginx ወይም Apache ላይ በweb root፣ ወይም በShopify ላይ የrobots.txt.liquidtemplate። - በnginx ውስጥ የ
try_files ... /index.htmlfallback የstatic ፋይሉ ከመፈተሹ በፊት/robots.txtን እንደማይይዝ ያረጋግጡ፤ ካስፈለገlocation = /robots.txtይጨምሩ። - የcatch-all routeዎ ለማይታወቁ pathዎች ሁኔታ 404 እንዲልክ ያስተካክሉ። የAISeeWhy ሪፖርቱ ማስረጃውን እና ለመለጠፍ ዝግጁ ማስተካከያ ያሳያል፤ ከዚያ ውጤቱን ለማረጋገጥ "እንደገና ይፈትሹ"ን ያካሂዱ።
ምሳሌ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml ማስተካከያውን እንዴት ማረጋገጥ እንደሚቻል
ከለውጡ በኋላ በሪፖርቱ ላይ “እንደገና ይፈትሹ”ን ይጫኑ፦ ምን እንደተስተካከለ እና ውጤቱ እንዴት እንደተቀየረ ይዘረዝራል።