GPTBot este blocat
O cerere trimisă cu user agentul acestui crawler a fost refuzată: a primit un status 4xx sau 5xx, un antet cf-mitigated de la Cloudflare sau o pagină de verificare, în timp ce o cerere obișnuită de browser a primit pagina. Găsește regula de firewall, CDN sau anti-bot care se potrivește cu user agentul și lasă crawlerul să treacă.
Ce înseamnă
O cerere cu user agent-ul GPTBot a primit statusul 403 sau o pagină de verificare, în timp ce un browser a primit pagina. Testat de la un IP neverificat: arată cum tratează firewall-ul acest user agent; crawlerul real, de la IP-urile sale verificate, poate fi tratat altfel.
De ce contează pentru căutarea AI
Crawlerele de căutare și cele care descarcă la cererea utilizatorului, precum OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot și Perplexity-User, descarcă pagini pentru a construi răspunsuri și linkurile de sub ele. Dacă primesc un 403 sau o pagină de verificare, pagina nu poate fi citată sau legată, oricât de bună ar fi. De aceea AISeeWhy marchează blocarea acestor crawlere cu P1.
Crawlerele de antrenare (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) sunt marcate cu P3: blocarea lor este o alegere de politică, nu o eroare. Testul pornește de la o adresă IP neverificată, deci arată cum tratează regulile tale user agentul; crawlerul real, care vine din intervalele sale IP publicate, poate fi tratat altfel.
Cum se remediază
- Deschide constatarea ca să vezi ce crawler a fost blocat, ce status a primit și ce WAF a detectat auditul. Raportul AISeeWhy arată dovezile și un remediu gata de lipit; apoi rulează „Verifică din nou” ca să confirmi rezultatul.
- În Cloudflare, verifică Security → Events pentru cererea blocată, apoi adaugă o regulă personalizată WAF care se potrivește cu crawlerul (boți verificați sau tokenul lui de user agent), cu acțiunea Skip pentru celelalte reguli personalizate, Super Bot Fight Mode și limitarea ratei. În AI Crawl Control, setează crawlerul pe Allow.
- În Vercel, Akamai, Imperva, Sucuri sau AWS WAF, găsește regula de gestionare a boților sau regula gestionată care s-a declanșat și adaugă o excepție pentru crawler, de preferință verificată după intervalele IP publicate de furnizor sau prin DNS invers, nu doar după user agent.
- În nginx sau Apache, caută în configurație liniile
deny,return 403sauRewriteCond %{HTTP_USER_AGENT}care numesc crawlerul, iar în WordPress verifică pluginurile de securitate care blochează „boții răi”. - Decide pentru fiecare crawler: permiterea crawlerelor de căutare și a celor la cerere este ceea ce face paginile citabile, în timp ce crawlerele de antrenare pot rămâne blocate dacă aceasta este politica ta.
Exemplu
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limitingCum confirmi remediul
După modificare, apasă „Verifică din nou” în raport: vezi ce s-a remediat și cum s-a schimbat scorul.