robots.txt ni ukurasa wa HTML

Jibu fupi

Anwani ya /robots.txt inarudisha hati ya HTML, kwa kawaida ukurasa wa 404 au ukurasa wa nyumbani unaotolewa kwa hali 200. Crawler haziwezi kusoma sheria zozote kutoka HTML. Toa robots.txt ya maandishi matupu kwenye njia hiyo, au rudisha hali halisi ya 404 kama huna sheria.

robots.invalid · Kipaumbele: P2

Maana yake

Anwani ya robots.txt inarudisha HTML (mara nyingi ukurasa wa 404 unaotolewa kwa hali 200), kwa hivyo crawler haziwezi kusoma sheria zozote.

Kwa nini ni muhimu kwa utafutaji wa AI

Crawler huchanganua robots.txt mstari kwa mstari na kupuuza zisichoelewa, kwa hivyo ukurasa wa HTML hauzipi sheria wala mistari ya Sitemap. Sera uliyokusudia, kama kuzuia crawler za mafunzo au kuruhusu crawler za utafutaji, haitumiki, na sitemap zilizotajwa hapo hazipatikani.

Hii kwa kawaida hutokea kwa programu za ukurasa mmoja na njia za catch-all zinazojibu kila njia isiyojulikana kwa ganda la programu na hali 200. AISeeWhy huhukumu kwa maudhui, si kwa kichwa cha Content-Type, kwa sababu crawler hufanya hivyo pia: faili ya maandishi inayotolewa kama text/html bado inasomwa, ukurasa wa HTML hausomwi.

Jinsi ya kurekebisha

  1. Fungua /robots.txt na uangalie msimbo wake: ukianza na <!doctype au <html, faili haipo na njia mbadala ndiyo inajibu.
  2. Ongeza faili halisi: public/robots.txt kwenye Next.js, Vite au Create React App, web root kwenye nginx au Apache, au kiolezo cha robots.txt.liquid kwenye Shopify.
  3. Kwenye nginx, hakikisha njia mbadala ya try_files ... /index.html hainasi /robots.txt kabla faili tuli haijakaguliwa; ongeza location = /robots.txt ikihitajika.
  4. Rekebisha njia yako ya catch-all itume hali 404 kwa njia zisizojulikana. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.

Mfano

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Jinsi ya kuthibitisha rekebisho

Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.

Kagua ukurasa wangu →

Miongozo inayohusiana

Dosari zote na jinsi alama inavyofanya kazi