robots.txt je HTML stranica
Adresa /robots.txt vraća HTML dokument, obično stranicu 404 ili početnu stranicu poslanu sa statusom 200. Crawleri iz HTML-a ne mogu pročitati nikakva pravila. Na toj putanji poslužujte robots.txt kao običan tekst ili vratite pravi status 404 ako nemate pravila.
Što to znači
Adresa robots.txt vraća HTML (često stranicu 404 poslanu sa statusom 200), pa crawleri ne mogu pročitati nijedno pravilo.
Zašto je to važno za AI pretraživanje
Crawleri raščlanjuju robots.txt redak po redak i zanemaruju ono što ne razumiju, pa im HTML stranica ne daje ni pravila ni retke Sitemap. Pravila koja ste namijenili, poput blokiranja crawlera za treniranje ili dopuštanja crawlera za pretraživanje, ne primjenjuju se, a sitemapovi navedeni ondje ne pronalaze se.
To se obično događa kod aplikacija s jednom stranicom i ruta koje hvataju sve, a na svaku nepoznatu putanju odgovaraju ljuskom aplikacije i statusom 200. AISeeWhy prosuđuje prema tijelu, a ne prema zaglavlju Content-Type, jer tako rade i crawleri: tekstualna datoteka poslana kao text/html i dalje se čita, a HTML stranica ne.
Kako to ispraviti
- Otvorite
/robots.txti pogledajte izvorni kod: ako počinje s<!doctypeili<html, datoteka nedostaje i odgovara zamjenska ruta. - Dodajte stvarnu datoteku:
public/robots.txtu Next.js, Viteu ili Create React App, korijenski direktorij weba na nginxu ili Apacheu ili predložakrobots.txt.liquidu Shopifyju. - U nginxu provjerite da zamjenska ruta
try_files ... /index.htmlne uhvati/robots.txtprije provjere statične datoteke; po potrebi dodajtelocation = /robots.txt. - Ispravite rutu koja hvata sve tako da za nepoznate putanje šalje status 404. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
Primjer
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.