OAI-SearchBot je blokiran
Zahtjev poslan s user agentom ovog crawlera odbijen je: dobio je status 4xx ili 5xx, Cloudflareovo zaglavlje cf-mitigated ili stranicu s provjerom, dok je običan zahtjev preglednika dobio stranicu. Pronađite pravilo vatrozida, CDN-a ili za botove koje se podudara s user agentom i propustite crawler.
Što to znači
Zahtjev s user agentom OAI-SearchBot dobio je status 403 ili stranicu s provjerom, dok je preglednik dobio stranicu. Testirano s neprovjerene IP adrese: ovo pokazuje kako vaš vatrozid postupa s tim user agentom; s pravim crawlerom koji dolazi s provjerenih IP adresa može se postupati drukčije.
Zašto je to važno za AI pretraživanje
Crawleri za pretraživanje i korisnički crawleri, poput OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot i Perplexity-User, dohvaćaju stranice kako bi sastavili odgovore i poveznice ispod njih. Ako dobiju 403 ili stranicu s provjerom, stranica se ne može citirati ni povezati, koliko god bila dobra. Zato AISeeWhy blokadu tih crawlera ocjenjuje kao P1.
Crawleri za treniranje (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) ocjenjuju se kao P3: njihovo blokiranje odluka je o pravilima, a ne pogreška. Proba se izvodi s neprovjerene IP adrese, pa pokazuje kako vaša pravila tretiraju user agent; pravi crawler, koji dolazi iz svojih objavljenih IP raspona, može biti tretiran drukčije.
Kako to ispraviti
- Otvorite nalaz i pogledajte koji je crawler blokiran, koji je status dobio i koji je WAF revizija otkrila. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
- Na Cloudflareu u Security → Events pronađite blokirani zahtjev, a zatim dodajte prilagođeno WAF pravilo koje se podudara s crawlerom (provjereni botovi ili token njegova user agenta) s radnjom Skip za preostala prilagođena pravila, Super Bot Fight Mode i ograničenje broja zahtjeva. U AI Crawl Control postavite crawler na Allow.
- Na Vercelu, Akamaiju, Imperviji, Sucuriju ili AWS WAF-u pronađite pravilo upravljanja botovima ili upravljano pravilo koje se aktiviralo i dodajte iznimku za crawler, po mogućnosti provjerenu objavljenim IP rasponima dobavljača ili obrnutim DNS-om, a ne samo user agentom.
- Na nginxu ili Apacheu potražite u konfiguraciji retke
deny,return 403iliRewriteCond %{HTTP_USER_AGENT}koji navode crawler, a u WordPressu provjerite sigurnosne dodatke koji blokiraju „loše botove“. - Odlučite za svaki crawler posebno: dopuštanjem crawlera za pretraživanje i korisničkih crawlera stranice se citiraju, a crawleri za treniranje mogu ostati blokirani ako su takva vaša pravila.
Primjer
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.
Povezani vodiči
- Kako čitati Cloudflareovo izvješće AI Crawl Control i vidjeti koji AI crawleri prolaze
- Blokira li Cloudflare AI crawlere? Kako to otkriti i ispraviti
- Vidi li ChatGPT moju web-stranicu? Kako to provjeriti
- 12 AEO provjera koje treba napraviti prije objave stranice (2027)
- SEO 2.0: kako su AI pretraživanje i asistenti promijenili SEO, sloj po sloj