No es pot obtenir robots.txt
No s'ha pogut obtenir /robots.txt: el servidor ha respost amb un estat 5xx o 429, o no ha respost. Segons l'RFC 9309, els rastrejadors consideren llavors que no se'ls permet tot el lloc. Fes que /robots.txt retorni l'estat 200 amb text pla, o un 404 si no tens regles.
Què vol dir
robots.txt ha respost amb l'estat 403 o no ha respost. Segons l'RFC 9309, els rastrejadors consideren llavors que no se'ls permet tot el lloc.
Per què és important per a la cerca amb IA
L'RFC 9309 diu que un rastrejador que no pot accedir a robots.txt per un error del servidor ha de suposar que no se li permet res. Googlebot, Bingbot i els rastrejadors d'IA que segueixen l'estàndard deixen d'obtenir pàgines fins que robots.txt torna a respondre, així que un sol fitxer que falla pot amagar tot el lloc.
Un fitxer que no existeix és diferent: un 404 o un altre estat 4xx vol dir que no hi ha regles, així que tot està permès i AISeeWhy no informa de res. El problema són només els errors del servidor, les limitacions de peticions (429) i les peticions que esgoten el temps d'espera o es rebutgen abans que arribi cap estat.
Com corregir-ho
- Obre
https://your-domain/robots.txtdes de fora de la teva xarxa i anota l'estat. L'auditoria l'obté amb un user agent de navegador. - Si és un 5xx, revisa la ruta a l'origen: frameworks com Next.js el serveixen des de
public/robots.txtoapp/robots.ts, i WordPress el genera dinàmicament, així que un error de PHP el trenca. - Si és un 429 o un temps d'espera esgotat, exclou
/robots.txtde la limitació de peticions i dels desafiaments de bots a la CDN o al WAF. - Desa robots.txt a la memòria cau de la CDN perquè continuï responent quan l'origen vagi lent. L'informe d'AISeeWhy mostra les proves i una correcció a punt per enganxar; després, fes "Torna a comprovar" per confirmar el resultat.
Com confirmar la correcció
Després del canvi, prem «Torna a comprovar» a l'informe: mostra què s'ha corregit i com ha canviat la puntuació.