robots.txt ni ukurasa wa HTML
Anwani ya /robots.txt inarudisha hati ya HTML, kwa kawaida ukurasa wa 404 au ukurasa wa nyumbani unaotolewa kwa hali 200. Crawler haziwezi kusoma sheria zozote kutoka HTML. Toa robots.txt ya maandishi matupu kwenye njia hiyo, au rudisha hali halisi ya 404 kama huna sheria.
Maana yake
Anwani ya robots.txt inarudisha HTML (mara nyingi ukurasa wa 404 unaotolewa kwa hali 200), kwa hivyo crawler haziwezi kusoma sheria zozote.
Kwa nini ni muhimu kwa utafutaji wa AI
Crawler huchanganua robots.txt mstari kwa mstari na kupuuza zisichoelewa, kwa hivyo ukurasa wa HTML hauzipi sheria wala mistari ya Sitemap. Sera uliyokusudia, kama kuzuia crawler za mafunzo au kuruhusu crawler za utafutaji, haitumiki, na sitemap zilizotajwa hapo hazipatikani.
Hii kwa kawaida hutokea kwa programu za ukurasa mmoja na njia za catch-all zinazojibu kila njia isiyojulikana kwa ganda la programu na hali 200. AISeeWhy huhukumu kwa maudhui, si kwa kichwa cha Content-Type, kwa sababu crawler hufanya hivyo pia: faili ya maandishi inayotolewa kama text/html bado inasomwa, ukurasa wa HTML hausomwi.
Jinsi ya kurekebisha
- Fungua
/robots.txtna uangalie msimbo wake: ukianza na<!doctypeau<html, faili haipo na njia mbadala ndiyo inajibu. - Ongeza faili halisi:
public/robots.txtkwenye Next.js, Vite au Create React App, web root kwenye nginx au Apache, au kiolezo charobots.txt.liquidkwenye Shopify. - Kwenye nginx, hakikisha njia mbadala ya
try_files ... /index.htmlhainasi/robots.txtkabla faili tuli haijakaguliwa; ongezalocation = /robots.txtikihitajika. - Rekebisha njia yako ya catch-all itume hali 404 kwa njia zisizojulikana. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
Mfano
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Jinsi ya kuthibitisha rekebisho
Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.