robots.txt tillåter GPTBot, men servern blockerar den
Din robots.txt tillåter den här crawlern att hämta sidan, men en förfrågan med dess user agent blockerades av servern, ett CDN eller en brandvägg. Den uttalade policyn och det verkliga beteendet stämmer inte överens. Ändra brandväggsregeln så att den matchar robots.txt, eller förbjud crawlern i robots.txt om du menade att blockera den.
Vad det betyder
Dina regler släpper in GPTBot, men begäran med dess user agent blockerades. Brandväggen eller CDN:et åsidosätter din angivna policy.
Därför spelar det roll för AI-sök
Crawlers ser robots.txt som din policy. När den säger ja och servern säger 403 slösar crawlern förfrågningar, försöker kanske igen senare, och sidan kommer ändå inte med i svarsmotorns index. Team tror ofta att de tillåter AI-sök eftersom robots.txt säger det, medan en botregel tyst blockerar den.
Testet körs från en overifierad IP-adress. En regel som bara släpper in crawlern från dess publicerade IP-intervall, vilket är en rimlig uppsättning, kan därför dyka upp här trots att den riktiga crawlern kommer in. Kontrollera vilken regel som utlöstes innan du ändrar något.
Så åtgärdar du det
- Jämför robots.txt-gruppen och den blockerade förfrågans status i fyndet. AISeeWhy-rapporten visar underlaget och en färdig åtgärd att klistra in; kör "Kontrollera igen" efteråt för att bekräfta resultatet.
- Hitta regeln som blockerade förfrågan: på Cloudflare kontrollerar du Security → Events samt inställningarna för AI Crawl Control och Bot Fight Mode; på andra CDN kontrollerar du botloggen.
- Vill du släppa in crawlern, lägg till ett undantag för den; vill du hålla den ute, lägg till en Disallow-grupp för dess token så att din policy anges på ett ställe.
Så bekräftar du åtgärden
Klicka på "Kontrollera igen" i rapporten efter ändringen: den visar vad som har åtgärdats och hur poängen har ändrats.