robots.txt yra HTML puslapis
Adresas /robots.txt grąžina HTML dokumentą, dažniausiai 404 puslapį arba pagrindinį puslapį su būsena 200. Robotai negali perskaityti jokių taisyklių iš HTML. Tuo keliu pateikite robots.txt paprastu tekstu arba grąžinkite tikrą 404 būseną, jei taisyklių neturite.
Ką tai reiškia
robots.txt adresas grąžina HTML (dažnai 404 puslapį su būsena 200), todėl robotai negali perskaityti jokių taisyklių.
Kodėl tai svarbu DI paieškai
Robotai robots.txt skaito eilutė po eilutės ir ignoruoja tai, ko nesupranta, todėl HTML puslapis neduoda jiems nei taisyklių, nei Sitemap eilučių. Jūsų numatyta politika, pvz., mokymo robotų blokavimas ar paieškos robotų įleidimas, netaikoma, o ten nurodyti sitemap nerandami.
Taip dažniausiai nutinka vieno puslapio programėlėms ir visa gaudantiems maršrutams, kurie į kiekvieną nežinomą kelią atsako programėlės apvalkalu ir būsena 200. AISeeWhy vertina pagal turinį, o ne pagal Content-Type antraštę, nes taip daro ir robotai: tekstinis failas, pateiktas kaip text/html, vis tiek perskaitomas, o HTML puslapis ne.
Kaip tai ištaisyti
- Atidarykite
/robots.txtir peržiūrėkite šaltinį: jei jis prasideda<!doctypear<html, failo nėra ir atsako atsarginis maršrutas. - Pridėkite tikrą failą:
public/robots.txtNext.js, Vite ar Create React App projektuose, šakniniame kataloge nginx ar Apache serveryje arba šablonąrobots.txt.liquidShopify. - nginx užtikrinkite, kad atsarginis
try_files ... /index.htmlnepagautų/robots.txtanksčiau, nei patikrinamas statinis failas; jei reikia, pridėkitelocation = /robots.txt. - Pataisykite visa gaudantį maršrutą, kad nežinomiems keliams siųstų būseną 404. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
Pavyzdys
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Kaip įsitikinti, kad pataisymas suveikė
Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.