robots.txt povoľuje GPTBot, ale server ho blokuje

Krátka odpoveď

Váš robots.txt povoľuje tomuto crawlerovi stiahnuť stránku, ale požiadavku s jeho user agentom zablokoval server, CDN alebo firewall. Deklarovaná politika a skutočné správanie sa nezhodujú. Upravte pravidlo firewallu podľa robots.txt, alebo crawlera zakážte v robots.txt, ak ste ho chceli blokovať.

robots.access_conflict · Priorita: P1–P3, podľa typu crawlera

Čo to znamená

Vaše pravidlá crawler GPTBot púšťajú, no požiadavka s jeho user agentom bola zablokovaná. Firewall alebo CDN prepisuje vašu deklarovanú politiku.

Prečo je to dôležité pre AI vyhľadávanie

Crawlery berú robots.txt ako vašu politiku. Keď ten hovorí áno a server vráti 403, crawler míňa požiadavky, môže to skúsiť neskôr a stránka sa aj tak nedostane do indexu odpoveďového nástroja. Tímy často veria, že AI vyhľadávanie povoľujú, lebo to tvrdí robots.txt, zatiaľ čo pravidlo pre boty ho potichu blokuje.

Test beží z neovereného IP. Pravidlo, ktoré crawlera pustí len z jeho zverejnených rozsahov IP, čo je rozumné nastavenie, sa tu preto môže objaviť, hoci skutočný crawler sa dnu dostane. Pred akoukoľvek zmenou overte, ktoré pravidlo sa spustilo.

Ako to opraviť

  1. Porovnajte v zistení skupinu z robots.txt a stavový kód zablokovanej požiadavky. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
  2. Nájdite pravidlo, ktoré požiadavku zablokovalo: v Cloudflare skontrolujte Security → Events a nastavenia AI Crawl Control a Bot Fight Mode; v iných CDN skontrolujte log správy botov.
  3. Ak chcete crawlera pustiť, pridajte preň výnimku; ak ho nechcete, pridajte pre jeho token skupinu Disallow, aby bola vaša politika uvedená na jednom mieste.

Ako overiť opravu

Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.

Skontrolovať moju stránku →

Súvisiace návody

Všetky zistenia a ako funguje skóre