robots.txt je stránka HTML
Adresa /robots.txt vracia dokument HTML, zvyčajne stránku 404 alebo úvodnú stránku so stavovým kódom 200. Crawlery z HTML nevyčítajú žiadne pravidlá. Na tejto ceste servírujte robots.txt ako čistý text, alebo vráťte skutočný stavový kód 404, ak nemáte žiadne pravidlá.
Čo to znamená
Adresa robots.txt vracia HTML (často stránku 404 so stavovým kódom 200), takže crawlery nemôžu prečítať žiadne pravidlá.
Prečo je to dôležité pre AI vyhľadávanie
Crawlery spracúvajú robots.txt riadok po riadku a ignorujú, čomu nerozumejú, takže stránka HTML im nedá žiadne pravidlá ani riadky Sitemap. Vaša zamýšľaná politika, napríklad blokovanie tréningových crawlerov alebo povolenie vyhľadávacích, sa neuplatní a sitemapy v ňom uvedené sa nenájdu.
Stáva sa to najmä pri jednostránkových aplikáciách a zachytávajúcich trasách (catch-all), ktoré na každú neznámu cestu odpovedajú kostrou aplikácie a stavovým kódom 200. AISeeWhy posudzuje telo odpovede, nie hlavičku Content-Type, pretože crawlery robia to isté: textový súbor servírovaný ako text/html sa prečíta, stránka HTML nie.
Ako to opraviť
- Otvorte
/robots.txta zobrazte zdrojový kód: ak začína<!doctypealebo<html, súbor chýba a odpovedá záložná trasa. - Pridajte skutočný súbor:
public/robots.txtv Next.js, Vite alebo Create React App, koreňový adresár webu v nginx alebo Apache, alebo šablónurobots.txt.liquidv Shopify. - V nginx sa uistite, že záložné pravidlo
try_files ... /index.htmlnezachytí/robots.txtskôr, ako sa skontroluje statický súbor; v prípade potreby pridajtelocation = /robots.txt. - Opravte zachytávajúcu trasu tak, aby pre neznáme cesty posielala stavový kód 404. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
Príklad
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.