robots.txt je stránka HTML

Krátka odpoveď

Adresa /robots.txt vracia dokument HTML, zvyčajne stránku 404 alebo úvodnú stránku so stavovým kódom 200. Crawlery z HTML nevyčítajú žiadne pravidlá. Na tejto ceste servírujte robots.txt ako čistý text, alebo vráťte skutočný stavový kód 404, ak nemáte žiadne pravidlá.

robots.invalid · Priorita: P2

Čo to znamená

Adresa robots.txt vracia HTML (často stránku 404 so stavovým kódom 200), takže crawlery nemôžu prečítať žiadne pravidlá.

Prečo je to dôležité pre AI vyhľadávanie

Crawlery spracúvajú robots.txt riadok po riadku a ignorujú, čomu nerozumejú, takže stránka HTML im nedá žiadne pravidlá ani riadky Sitemap. Vaša zamýšľaná politika, napríklad blokovanie tréningových crawlerov alebo povolenie vyhľadávacích, sa neuplatní a sitemapy v ňom uvedené sa nenájdu.

Stáva sa to najmä pri jednostránkových aplikáciách a zachytávajúcich trasách (catch-all), ktoré na každú neznámu cestu odpovedajú kostrou aplikácie a stavovým kódom 200. AISeeWhy posudzuje telo odpovede, nie hlavičku Content-Type, pretože crawlery robia to isté: textový súbor servírovaný ako text/html sa prečíta, stránka HTML nie.

Ako to opraviť

  1. Otvorte /robots.txt a zobrazte zdrojový kód: ak začína <!doctype alebo <html, súbor chýba a odpovedá záložná trasa.
  2. Pridajte skutočný súbor: public/robots.txt v Next.js, Vite alebo Create React App, koreňový adresár webu v nginx alebo Apache, alebo šablónu robots.txt.liquid v Shopify.
  3. V nginx sa uistite, že záložné pravidlo try_files ... /index.html nezachytí /robots.txt skôr, ako sa skontroluje statický súbor; v prípade potreby pridajte location = /robots.txt.
  4. Opravte zachytávajúcu trasu tak, aby pre neznáme cesty posielala stavový kód 404. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.

Príklad

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Ako overiť opravu

Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.

Skontrolovať moju stránku →

Súvisiace návody

Všetky zistenia a ako funguje skóre