No es pot obtenir robots.txt

Resposta breu

No s'ha pogut obtenir /robots.txt: el servidor ha respost amb un estat 5xx o 429, o no ha respost. Segons l'RFC 9309, els rastrejadors consideren llavors que no se'ls permet tot el lloc. Fes que /robots.txt retorni l'estat 200 amb text pla, o un 404 si no tens regles.

robots.unreachable · Prioritat: P1

Què vol dir

robots.txt ha respost amb l'estat 403 o no ha respost. Segons l'RFC 9309, els rastrejadors consideren llavors que no se'ls permet tot el lloc.

Per què és important per a la cerca amb IA

L'RFC 9309 diu que un rastrejador que no pot accedir a robots.txt per un error del servidor ha de suposar que no se li permet res. Googlebot, Bingbot i els rastrejadors d'IA que segueixen l'estàndard deixen d'obtenir pàgines fins que robots.txt torna a respondre, així que un sol fitxer que falla pot amagar tot el lloc.

Un fitxer que no existeix és diferent: un 404 o un altre estat 4xx vol dir que no hi ha regles, així que tot està permès i AISeeWhy no informa de res. El problema són només els errors del servidor, les limitacions de peticions (429) i les peticions que esgoten el temps d'espera o es rebutgen abans que arribi cap estat.

Com corregir-ho

  1. Obre https://your-domain/robots.txt des de fora de la teva xarxa i anota l'estat. L'auditoria l'obté amb un user agent de navegador.
  2. Si és un 5xx, revisa la ruta a l'origen: frameworks com Next.js el serveixen des de public/robots.txt o app/robots.ts, i WordPress el genera dinàmicament, així que un error de PHP el trenca.
  3. Si és un 429 o un temps d'espera esgotat, exclou /robots.txt de la limitació de peticions i dels desafiaments de bots a la CDN o al WAF.
  4. Desa robots.txt a la memòria cau de la CDN perquè continuï responent quan l'origen vagi lent. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.

Com confirmar la correcció

Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.

Comprova la meva pàgina →

Guies relacionades

Totes les troballes i com funciona la puntuació