robots.txt on HTML-leht
Aadress /robots.txt tagastab HTML-dokumendi, tavaliselt 404-lehe või avalehe olekukoodiga 200. Robotid ei saa HTML-ist ühtegi reeglit lugeda. Serveeri sellel teel lihttekstina robots.txt või tagasta päris 404-olekukood, kui sul reegleid pole.
Mida see tähendab
robots.txt aadress tagastab HTML-i (sageli olekukoodiga 200 serveeritud 404-lehe), seega ei saa robotid ühtegi reeglit lugeda.
Miks see AI-otsingu jaoks oluline on
Robotid parsivad robots.txt-d rida-realt ja ignoreerivad seda, millest nad aru ei saa, seega ei anna HTML-leht neile ühtegi reeglit ega Sitemap-rida. Sinu kavandatud poliitikat, näiteks treeningrobotite blokeerimist või otsingurobotite lubamist, ei rakendata ja seal määratud saidikaarte ei leita.
See juhtub tavaliselt üheleherakenduste ja kõikehaaravate marsruutidega, mis vastavad igale tundmatule teele rakenduse kestaga ja olekukoodiga 200. AISeeWhy hindab sisu, mitte Content-Type päise järgi, sest robotid teevad sama: text/html-ina serveeritud tekstifail loetakse ikkagi, HTML-lehte mitte.
Kuidas seda parandada
- Ava
/robots.txtja vaata lähtekoodi: kui see algab<!doctypevõi<html, siis fail puudub ja vastab varumarsruut. - Lisa päris fail:
public/robots.txtNext.js-is, Vite'is või Create React Appis, veebi juurkaust nginxis või Apaches või mallrobots.txt.liquidShopifys. - nginxis veendu, et
try_files ... /index.htmlvarulahendus ei püüa/robots.txtkinni enne staatilise faili kontrollimist; vajadusel lisalocation = /robots.txt. - Paranda oma kõikehaarav marsruut nii, et see saadaks tundmatute teede puhul olekukoodi 404. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.
Näide
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Kuidas parandust kinnitada
Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.