robots.txt je HTML stranica

Kratki odgovor

Adresa /robots.txt vraća HTML dokument, obično stranicu 404 ili početnu stranicu poslanu sa statusom 200. Crawleri iz HTML-a ne mogu pročitati nikakva pravila. Na toj putanji poslužujte robots.txt kao običan tekst ili vratite pravi status 404 ako nemate pravila.

robots.invalid · Prioritet: P2

Što to znači

Adresa robots.txt vraća HTML (često stranicu 404 poslanu sa statusom 200), pa crawleri ne mogu pročitati nijedno pravilo.

Zašto je to važno za AI pretraživanje

Crawleri raščlanjuju robots.txt redak po redak i zanemaruju ono što ne razumiju, pa im HTML stranica ne daje ni pravila ni retke Sitemap. Pravila koja ste namijenili, poput blokiranja crawlera za treniranje ili dopuštanja crawlera za pretraživanje, ne primjenjuju se, a sitemapovi navedeni ondje ne pronalaze se.

To se obično događa kod aplikacija s jednom stranicom i ruta koje hvataju sve, a na svaku nepoznatu putanju odgovaraju ljuskom aplikacije i statusom 200. AISeeWhy prosuđuje prema tijelu, a ne prema zaglavlju Content-Type, jer tako rade i crawleri: tekstualna datoteka poslana kao text/html i dalje se čita, a HTML stranica ne.

Kako to ispraviti

  1. Otvorite /robots.txt i pogledajte izvorni kod: ako počinje s <!doctype ili <html, datoteka nedostaje i odgovara zamjenska ruta.
  2. Dodajte stvarnu datoteku: public/robots.txt u Next.js, Viteu ili Create React App, korijenski direktorij weba na nginxu ili Apacheu ili predložak robots.txt.liquid u Shopifyju.
  3. U nginxu provjerite da zamjenska ruta try_files ... /index.html ne uhvati /robots.txt prije provjere statične datoteke; po potrebi dodajte location = /robots.txt.
  4. Ispravite rutu koja hvata sve tako da za nepoznate putanje šalje status 404. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.

Primjer

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Kako potvrditi ispravak

Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.

Provjeri moju stranicu →

Povezani vodiči

Svi nalazi i kako se računa ocjena