robots.txt és una pàgina HTML
L'adreça /robots.txt retorna un document HTML, normalment una pàgina 404 o la pàgina d'inici servida amb l'estat 200. Els rastrejadors no poden llegir cap regla d'un HTML. Serveix un robots.txt de text pla en aquesta ruta, o retorna un estat 404 real si no tens regles.
Què vol dir
L'adreça de robots.txt retorna HTML (sovint una pàgina 404 servida amb l'estat 200), així que els rastrejadors no poden llegir cap regla.
Per què és important per a la cerca amb IA
Els rastrejadors analitzen robots.txt línia per línia i ignoren el que no entenen, així que una pàgina HTML no els dona cap regla ni cap línia Sitemap. La política que volies, com bloquejar els rastrejadors d'entrenament o permetre els de cerca, no s'aplica, i els sitemaps que hi declares no es troben.
Això passa sovint amb aplicacions d'una sola pàgina i rutes comodí que responen a qualsevol ruta desconeguda amb l'estructura de l'aplicació i l'estat 200. AISeeWhy jutja pel cos de la resposta, no per la capçalera Content-Type, perquè els rastrejadors fan el mateix: un fitxer de text servit com a text/html es llegeix igualment, una pàgina HTML no.
Com corregir-ho
- Obre
/robots.txti mira'n el codi font: si comença per<!doctypeo<html, el fitxer no existeix i respon una ruta alternativa. - Afegeix un fitxer real:
public/robots.txta Next.js, Vite o Create React App, l'arrel del web a nginx o Apache, o la plantillarobots.txt.liquida Shopify. - A nginx, assegura't que una ruta alternativa
try_files ... /index.htmlno capturi/robots.txtabans de comprovar el fitxer estàtic; afegeixlocation = /robots.txtsi cal. - Corregeix la ruta comodí perquè enviï l'estat 404 per a les rutes desconegudes. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
Exemple
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Com confirmar la correcció
Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.