robots.txt nevar ielādēt
/robots.txt ielāde neizdevās: serveris atbildēja ar 5xx statusu vai 429, vai neatbildēja nemaz. Saskaņā ar RFC 9309 rāpuļprogrammas tad uzskata visu vietni par aizliegtu. Panāciet, lai /robots.txt atgriež statusu 200 ar vienkāršu tekstu vai 404, ja jums nav noteikumu.
Ko tas nozīmē
robots.txt atbildēja ar statusu 403 vai neatbildēja. Saskaņā ar RFC 9309 rāpuļprogrammas tad uzskata visu vietni par aizliegtu.
Kāpēc tas ir svarīgi MI meklēšanai
RFC 9309 nosaka, ka rāpuļprogrammai, kas servera kļūdas dēļ nevar sasniegt robots.txt, jāpieņem pilns aizliegums. Googlebot, Bingbot un MI rāpuļprogrammas, kas ievēro standartu, pārtrauc ielādēt lapas, līdz robots.txt atkal atbild, tāpēc viens bojāts fails var paslēpt visu vietni.
Trūkstošs fails ir kas cits: 404 vai cits 4xx statuss nozīmē, ka noteikumu nav, tāpēc viss ir atļauts, un AISeeWhy neko neziņo. Problēma ir tikai servera kļūdas, pieprasījumu ierobežojumi (429) un pieprasījumi, kuriem iestājas noildze vai kuri tiek atteikti, pirms atgriežas jebkāds statuss.
Kā to labot
- Atveriet
https://your-domain/robots.txtno ārpus sava tīkla un pierakstiet statusu. Audits to ielādē ar pārlūka user-agent. - Ja tas ir 5xx, pārbaudiet maršrutu izcelsmes serverī: tādi ietvari kā Next.js to izsniedz no
public/robots.txtvaiapp/robots.ts, WordPress to ģenerē dinamiski, tāpēc PHP kļūda to sabojā. - Ja tas ir 429 vai noildze, izslēdziet
/robots.txtno pieprasījumu ierobežošanas un robotu pārbaudēm savā CDN vai WAF. - Kešojiet robots.txt CDN, lai tas atbildētu arī tad, kad izcelsmes serveris ir lēns. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
Kā pārliecināties, ka labojums darbojas
Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.