robots.txt yra HTML puslapis

Trumpas atsakymas

Adresas /robots.txt grąžina HTML dokumentą, dažniausiai 404 puslapį arba pagrindinį puslapį su būsena 200. Robotai negali perskaityti jokių taisyklių iš HTML. Tuo keliu pateikite robots.txt paprastu tekstu arba grąžinkite tikrą 404 būseną, jei taisyklių neturite.

robots.invalid · Prioritetas: P2

Ką tai reiškia

robots.txt adresas grąžina HTML (dažnai 404 puslapį su būsena 200), todėl robotai negali perskaityti jokių taisyklių.

Kodėl tai svarbu DI paieškai

Robotai robots.txt skaito eilutė po eilutės ir ignoruoja tai, ko nesupranta, todėl HTML puslapis neduoda jiems nei taisyklių, nei Sitemap eilučių. Jūsų numatyta politika, pvz., mokymo robotų blokavimas ar paieškos robotų įleidimas, netaikoma, o ten nurodyti sitemap nerandami.

Taip dažniausiai nutinka vieno puslapio programėlėms ir visa gaudantiems maršrutams, kurie į kiekvieną nežinomą kelią atsako programėlės apvalkalu ir būsena 200. AISeeWhy vertina pagal turinį, o ne pagal Content-Type antraštę, nes taip daro ir robotai: tekstinis failas, pateiktas kaip text/html, vis tiek perskaitomas, o HTML puslapis ne.

Kaip tai ištaisyti

  1. Atidarykite /robots.txt ir peržiūrėkite šaltinį: jei jis prasideda <!doctype ar <html, failo nėra ir atsako atsarginis maršrutas.
  2. Pridėkite tikrą failą: public/robots.txt Next.js, Vite ar Create React App projektuose, šakniniame kataloge nginx ar Apache serveryje arba šabloną robots.txt.liquid Shopify.
  3. nginx užtikrinkite, kad atsarginis try_files ... /index.html nepagautų /robots.txt anksčiau, nei patikrinamas statinis failas; jei reikia, pridėkite location = /robots.txt.
  4. Pataisykite visa gaudantį maršrutą, kad nežinomiems keliams siųstų būseną 404. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.

Pavyzdys

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Kaip įsitikinti, kad pataisymas suveikė

Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.

Tikrinti mano puslapį →

Susiję vadovai

Visi radiniai ir kaip skaičiuojamas balas