robots.txt nepavyksta atsisiųsti
Nepavyko atsisiųsti /robots.txt: serveris atsakė 5xx būsena ar 429 arba visai neatsakė. Pagal RFC 9309 robotai tada visą svetainę laiko uždrausta. Pasirūpinkite, kad /robots.txt grąžintų būseną 200 su paprastu tekstu arba 404, jei taisyklių neturite.
Ką tai reiškia
robots.txt atsakė būsena 403 arba neatsakė. Pagal RFC 9309 robotai tada visą svetainę laiko uždrausta.
Kodėl tai svarbu DI paieškai
RFC 9309 nurodo, kad robotas, negalintis pasiekti robots.txt dėl serverio klaidos, turi laikyti, jog viskas uždrausta. Googlebot, Bingbot ir standarto besilaikantys DI robotai nustoja siųstis puslapius, kol robots.txt vėl neatsako, todėl vienas sugedęs failas gali paslėpti visą svetainę.
Trūkstamas failas yra kas kita: 404 ar kita 4xx būsena reiškia, kad taisyklių nėra, taigi viskas leidžiama, ir AISeeWhy nieko nepraneša. Problema yra tik serverio klaidos, užklausų dažnio ribojimas (429) ir užklausos, kurioms baigiasi laikas arba kurios atmetamos dar negavus jokios būsenos.
Kaip tai ištaisyti
- Atidarykite
https://your-domain/robots.txtiš už savo tinklo ribų ir užsirašykite būseną. Auditas jį atsisiunčia su naršyklės user agent. - Jei tai 5xx, patikrinkite maršrutą pradiniame serveryje: tokios sistemos kaip Next.js jį pateikia iš
public/robots.txtarapp/robots.ts, WordPress jį generuoja dinamiškai, todėl PHP klaida jį sugadina. - Jei tai 429 ar baigęsis laikas, savo CDN ar WAF išimkite
/robots.txtiš užklausų dažnio ribojimo ir robotų patikrinimų. - Saugokite robots.txt CDN podėlyje, kad jis atsakytų net kai pradinis serveris lėtas. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
Kaip įsitikinti, kad pataisymas suveikė
Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.