robots.txt povoľuje GPTBot, ale server ho blokuje
Váš robots.txt povoľuje tomuto crawlerovi stiahnuť stránku, ale požiadavku s jeho user agentom zablokoval server, CDN alebo firewall. Deklarovaná politika a skutočné správanie sa nezhodujú. Upravte pravidlo firewallu podľa robots.txt, alebo crawlera zakážte v robots.txt, ak ste ho chceli blokovať.
Čo to znamená
Vaše pravidlá crawler GPTBot púšťajú, no požiadavka s jeho user agentom bola zablokovaná. Firewall alebo CDN prepisuje vašu deklarovanú politiku.
Prečo je to dôležité pre AI vyhľadávanie
Crawlery berú robots.txt ako vašu politiku. Keď ten hovorí áno a server vráti 403, crawler míňa požiadavky, môže to skúsiť neskôr a stránka sa aj tak nedostane do indexu odpoveďového nástroja. Tímy často veria, že AI vyhľadávanie povoľujú, lebo to tvrdí robots.txt, zatiaľ čo pravidlo pre boty ho potichu blokuje.
Test beží z neovereného IP. Pravidlo, ktoré crawlera pustí len z jeho zverejnených rozsahov IP, čo je rozumné nastavenie, sa tu preto môže objaviť, hoci skutočný crawler sa dnu dostane. Pred akoukoľvek zmenou overte, ktoré pravidlo sa spustilo.
Ako to opraviť
- Porovnajte v zistení skupinu z robots.txt a stavový kód zablokovanej požiadavky. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
- Nájdite pravidlo, ktoré požiadavku zablokovalo: v Cloudflare skontrolujte Security → Events a nastavenia AI Crawl Control a Bot Fight Mode; v iných CDN skontrolujte log správy botov.
- Ak chcete crawlera pustiť, pridajte preň výnimku; ak ho nechcete, pridajte pre jeho token skupinu Disallow, aby bola vaša politika uvedená na jednom mieste.
Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.