robots.txt on HTML-leht

Lühike vastus

Aadress /robots.txt tagastab HTML-dokumendi, tavaliselt 404-lehe või avalehe olekukoodiga 200. Robotid ei saa HTML-ist ühtegi reeglit lugeda. Serveeri sellel teel lihttekstina robots.txt või tagasta päris 404-olekukood, kui sul reegleid pole.

robots.invalid · Prioriteet: P2

Mida see tähendab

robots.txt aadress tagastab HTML-i (sageli olekukoodiga 200 serveeritud 404-lehe), seega ei saa robotid ühtegi reeglit lugeda.

Miks see AI-otsingu jaoks oluline on

Robotid parsivad robots.txt-d rida-realt ja ignoreerivad seda, millest nad aru ei saa, seega ei anna HTML-leht neile ühtegi reeglit ega Sitemap-rida. Sinu kavandatud poliitikat, näiteks treeningrobotite blokeerimist või otsingurobotite lubamist, ei rakendata ja seal määratud saidikaarte ei leita.

See juhtub tavaliselt üheleherakenduste ja kõikehaaravate marsruutidega, mis vastavad igale tundmatule teele rakenduse kestaga ja olekukoodiga 200. AISeeWhy hindab sisu, mitte Content-Type päise järgi, sest robotid teevad sama: text/html-ina serveeritud tekstifail loetakse ikkagi, HTML-lehte mitte.

Kuidas seda parandada

  1. Ava /robots.txt ja vaata lähtekoodi: kui see algab <!doctype või <html, siis fail puudub ja vastab varumarsruut.
  2. Lisa päris fail: public/robots.txt Next.js-is, Vite'is või Create React Appis, veebi juurkaust nginxis või Apaches või mall robots.txt.liquid Shopifys.
  3. nginxis veendu, et try_files ... /index.html varulahendus ei püüa /robots.txt kinni enne staatilise faili kontrollimist; vajadusel lisa location = /robots.txt.
  4. Paranda oma kõikehaarav marsruut nii, et see saadaks tundmatute teede puhul olekukoodi 404. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.

Näide

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Kuidas parandust kinnitada

Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.

Kontrolli minu lehte →

Seotud juhendid

Kõik leiud ja kuidas skoor arvutatakse