robots.txt és una pàgina HTML

Resposta breu

L'adreça /robots.txt retorna un document HTML, normalment una pàgina 404 o la pàgina d'inici servida amb l'estat 200. Els rastrejadors no poden llegir cap regla d'un HTML. Serveix un robots.txt de text pla en aquesta ruta, o retorna un estat 404 real si no tens regles.

robots.invalid · Prioritat: P2

Què vol dir

L'adreça de robots.txt retorna HTML (sovint una pàgina 404 servida amb l'estat 200), així que els rastrejadors no poden llegir cap regla.

Per què és important per a la cerca amb IA

Els rastrejadors analitzen robots.txt línia per línia i ignoren el que no entenen, així que una pàgina HTML no els dona cap regla ni cap línia Sitemap. La política que volies, com bloquejar els rastrejadors d'entrenament o permetre els de cerca, no s'aplica, i els sitemaps que hi declares no es troben.

Això passa sovint amb aplicacions d'una sola pàgina i rutes comodí que responen a qualsevol ruta desconeguda amb l'estructura de l'aplicació i l'estat 200. AISeeWhy jutja pel cos de la resposta, no per la capçalera Content-Type, perquè els rastrejadors fan el mateix: un fitxer de text servit com a text/html es llegeix igualment, una pàgina HTML no.

Com corregir-ho

  1. Obre /robots.txt i mira'n el codi font: si comença per <!doctype o <html, el fitxer no existeix i respon una ruta alternativa.
  2. Afegeix un fitxer real: public/robots.txt a Next.js, Vite o Create React App, l'arrel del web a nginx o Apache, o la plantilla robots.txt.liquid a Shopify.
  3. A nginx, assegura't que una ruta alternativa try_files ... /index.html no capturi /robots.txt abans de comprovar el fitxer estàtic; afegeix location = /robots.txt si cal.
  4. Corregeix la ruta comodí perquè enviï l'estat 404 per a les rutes desconegudes. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.

Exemple

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Com confirmar la correcció

Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.

Comprova la meva pàgina →

Guies relacionades

Totes les troballes i com funciona la puntuació