robots.txt የHTML ገጽ ነው

አጭር መልስ

የ/robots.txt አድራሻ የHTML ሰነድ ይመልሳል፣ ብዙውን ጊዜ በሁኔታ 200 የሚቀርብ የ404 ገጽ ወይም የመነሻ ገጽ። ክሮውለሮች ከHTML ምንም ደንብ ማንበብ አይችሉም። በዚያ path ላይ plain-text robots.txt ያቅርቡ፣ ወይም ምንም ደንብ ከሌለዎት እውነተኛ የ404 ሁኔታ ይመልሱ።

robots.invalid · ቅድሚያ: P2

ምን ማለት ነው

የrobots.txt አድራሻ HTML ይመልሳል (ብዙ ጊዜ በሁኔታ 200 የሚቀርብ የ404 ገጽ)፣ ስለዚህ ክሮውለሮች ምንም ደንብ ማንበብ አይችሉም።

ለAI ፍለጋ ለምን አስፈላጊ ነው

ክሮውለሮች robots.txtን መስመር በመስመር ይተነትናሉ እና ያልገባቸውን ችላ ይላሉ፣ ስለዚህ የHTML ገጽ ምንም ደንብ እና ምንም የSitemap መስመር አይሰጣቸውም። ያሰቡት ፖሊሲ፣ ለምሳሌ የስልጠና ክሮውለሮችን ማገድ ወይም የፍለጋ ክሮውለሮችን መፍቀድ፣ ተግባራዊ አይሆንም፣ እዚያ የተገለጹ sitemaps ደግሞ አይገኙም።

ይህ ብዙውን ጊዜ የሚከሰተው እያንዳንዱን ያልታወቀ path በapp shell እና በሁኔታ 200 በሚመልሱ single-page apps እና catch-all routes ነው። AISeeWhy የሚፈርደው በContent-Type header ሳይሆን በbodyው ነው፣ ምክንያቱም ክሮውለሮችም እንዲሁ ያደርጋሉ፦ እንደ text/html የቀረበ የጽሑፍ ፋይል አሁንም ይነበባል፣ የHTML ገጽ ግን አይነበብም።

እንዴት እንደሚስተካከል

  1. /robots.txtን ይክፈቱ እና sourceውን ይመልከቱ፦ በ<!doctype ወይም በ<html ከጀመረ ፋይሉ የለም እና fallback route እየመለሰ ነው።
  2. እውነተኛ ፋይል ይጨምሩ፦ በNext.js፣ Vite ወይም Create React App ውስጥ public/robots.txt፣ በnginx ወይም Apache ላይ በweb root፣ ወይም በShopify ላይ የrobots.txt.liquid template።
  3. በnginx ውስጥ የtry_files ... /index.html fallback የstatic ፋይሉ ከመፈተሹ በፊት /robots.txtን እንደማይይዝ ያረጋግጡ፤ ካስፈለገ location = /robots.txt ይጨምሩ።
  4. የcatch-all routeዎ ለማይታወቁ pathዎች ሁኔታ 404 እንዲልክ ያስተካክሉ። የAISeeWhy ሪፖርቱ ማስረጃውን እና ለመለጠፍ ዝግጁ ማስተካከያ ያሳያል፤ ከዚያ ውጤቱን ለማረጋገጥ "እንደገና ይፈትሹ"ን ያካሂዱ።

ምሳሌ

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

ማስተካከያውን እንዴት ማረጋገጥ እንደሚቻል

ከለውጡ በኋላ በሪፖርቱ ላይ “እንደገና ይፈትሹ”ን ይጫኑ፦ ምን እንደተስተካከለ እና ውጤቱ እንዴት እንደተቀየረ ይዘረዝራል።

ገጽዎን ይፈትሹ →

ተዛማጅ መመሪያዎች

ሁሉም ግኝቶች እና ውጤቱ እንዴት እንደሚሠራ