robots.txt sa nedá stiahnuť
Stiahnutie /robots.txt zlyhalo: server odpovedal stavovým kódom 5xx alebo 429, prípadne neodpovedal vôbec. Podľa RFC 9309 potom crawlery považujú celý web za zakázaný. Zariaďte, aby /robots.txt vracal stavový kód 200 s čistým textom, alebo 404, ak nemáte žiadne pravidlá.
Čo to znamená
robots.txt odpovedal stavovým kódom 403 alebo neodpovedal. Podľa RFC 9309 potom crawlery považujú celý web za zakázaný.
Prečo je to dôležité pre AI vyhľadávanie
RFC 9309 hovorí, že crawler, ktorý sa pre chybu servera nedostane k robots.txt, musí predpokladať úplný zákaz. Googlebot, Bingbot a AI crawlery, ktoré dodržiavajú štandard, prestanú sťahovať stránky, kým robots.txt znova neodpovedá, takže jeden nefunkčný súbor môže skryť celý web.
Chýbajúci súbor je iný prípad: 404 alebo iný stavový kód 4xx znamená, že pravidlá neexistujú, takže je povolené všetko a AISeeWhy nič nehlási. Problémom sú len chyby servera, obmedzenia rýchlosti (429) a požiadavky, ktorým vyprší čas alebo sú odmietnuté skôr, ako príde akýkoľvek stavový kód.
Ako to opraviť
- Otvorte
https://your-domain/robots.txtzo siete mimo vašej a zapíšte si stavový kód. Audit ho sťahuje s user agentom prehliadača. - Ak ide o 5xx, skontrolujte cestu na pôvodnom serveri: frameworky ako Next.js ho servírujú z
public/robots.txtaleboapp/robots.ts, WordPress ho generuje dynamicky, takže ho rozbije chyba PHP. - Ak ide o 429 alebo vypršanie času, vyňmite
/robots.txtz obmedzovania rýchlosti a overovania botov vo vašom CDN alebo WAF. - Ukladajte robots.txt do cache v CDN, aby odpovedal aj vtedy, keď je pôvodný server pomalý. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.