robots.txt nevar ielādēt

Īsa atbilde

/robots.txt ielāde neizdevās: serveris atbildēja ar 5xx statusu vai 429, vai neatbildēja nemaz. Saskaņā ar RFC 9309 rāpuļprogrammas tad uzskata visu vietni par aizliegtu. Panāciet, lai /robots.txt atgriež statusu 200 ar vienkāršu tekstu vai 404, ja jums nav noteikumu.

robots.unreachable · Prioritāte: P1

Ko tas nozīmē

robots.txt atbildēja ar statusu 403 vai neatbildēja. Saskaņā ar RFC 9309 rāpuļprogrammas tad uzskata visu vietni par aizliegtu.

Kāpēc tas ir svarīgi MI meklēšanai

RFC 9309 nosaka, ka rāpuļprogrammai, kas servera kļūdas dēļ nevar sasniegt robots.txt, jāpieņem pilns aizliegums. Googlebot, Bingbot un MI rāpuļprogrammas, kas ievēro standartu, pārtrauc ielādēt lapas, līdz robots.txt atkal atbild, tāpēc viens bojāts fails var paslēpt visu vietni.

Trūkstošs fails ir kas cits: 404 vai cits 4xx statuss nozīmē, ka noteikumu nav, tāpēc viss ir atļauts, un AISeeWhy neko neziņo. Problēma ir tikai servera kļūdas, pieprasījumu ierobežojumi (429) un pieprasījumi, kuriem iestājas noildze vai kuri tiek atteikti, pirms atgriežas jebkāds statuss.

Kā to labot

  1. Atveriet https://your-domain/robots.txt no ārpus sava tīkla un pierakstiet statusu. Audits to ielādē ar pārlūka user-agent.
  2. Ja tas ir 5xx, pārbaudiet maršrutu izcelsmes serverī: tādi ietvari kā Next.js to izsniedz no public/robots.txt vai app/robots.ts, WordPress to ģenerē dinamiski, tāpēc PHP kļūda to sabojā.
  3. Ja tas ir 429 vai noildze, izslēdziet /robots.txt no pieprasījumu ierobežošanas un robotu pārbaudēm savā CDN vai WAF.
  4. Kešojiet robots.txt CDN, lai tas atbildētu arī tad, kad izcelsmes serveris ir lēns. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.

Kā pārliecināties, ka labojums darbojas

Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.

Pārbaudīt manu lapu →

Saistītie ceļveži

Visi konstatējumi un kā darbojas vērtējums