OAI-SearchBot on blokeeritud
Selle roboti user agent'iga saadetud päring lükati tagasi: see sai 4xx- või 5xx-olekukoodi, Cloudflare'i cf-mitigated päise või kontrollilehe, tavaline brauseripäring aga sai lehe kätte. Leia tulemüüri, CDN-i või robotireegel, mis selle user agent'iga sobib, ja lase robot läbi.
Mida see tähendab
Päring OAI-SearchBot user agent'iga sai olekukoodi 403 või kontrollilehe, brauser aga sai lehe kätte. Testitud kinnitamata IP-lt: see näitab, kuidas sinu tulemüür sellesse user agent'isse suhtub; päris robotit selle kinnitatud IP-delt võidakse kohelda teisiti.
Miks see AI-otsingu jaoks oluline on
Otsingu- ja kasutajapäringu robotid, nagu OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ja Perplexity-User, laadivad lehti, et koostada vastuseid ja nende all olevaid linke. Kui nad saavad 403 või kontrollilehe, ei saa lehte tsiteerida ega sellele viidata, ükskõik kui hea see on. Seepärast hindab AISeeWhy nende robotite blokeerimist tasemega P1.
Treeningrobotid (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) saavad taseme P3: nende blokeerimine on poliitika valik, mitte viga. Test tehakse kinnitamata IP-lt, seega näitab see, kuidas sinu reeglid user agent'isse suhtuvad; päris robotit, mis tuleb oma avaldatud IP-vahemikest, võidakse kohelda teisiti.
Kuidas seda parandada
- Ava leid, et näha, milline robot blokeeriti, millise olekukoodi see sai ja millise WAF-i audit tuvastas. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.
- Cloudflare'is vaata blokeeritud päringut jaotises Security → Events, seejärel lisa WAF-i kohandatud reegel, mis sobib robotiga (kinnitatud robotid või selle user agent'i tunnus) ja millel on toiming Skip ülejäänud kohandatud reeglite, Super Bot Fight Mode'i ja päringute piiramise jaoks. Jaotises AI Crawl Control määra robotile Allow.
- Vercelis, Akamais, Impervas, Sucuris või AWS WAF-is leia robotihalduse või hallatud reegel, mis rakendus, ja lisa robotile erand, eelistatult kinnitatuna teenusepakkuja avaldatud IP-vahemike või pöörd-DNS-i järgi, mitte ainult user agent'i järgi.
- nginxis või Apaches otsi konfiguratsioonist
deny,return 403võiRewriteCond %{HTTP_USER_AGENT}ridu, mis robotit nimetavad, ja WordPressis kontrolli turvapluginaid, mis blokeerivad „halbu roboteid“. - Otsusta iga roboti kohta eraldi: otsingu- ja kasutajapäringu robotite lubamine toob lehtedele viiteid, treeningrobotid võivad aga blokeerituks jääda, kui see on sinu poliitika.
Näide
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Kuidas parandust kinnitada
Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.
Seotud juhendid
- Kuidas lugeda Cloudflare'i AI Crawl Controli aruannet ja näha, millised AI-robotid sisse pääsevad
- Kas Cloudflare blokeerib AI-roboteid? Kuidas seda tuvastada ja parandada
- Kas ChatGPT näeb minu veebisaiti? Kuidas seda kontrollida
- 12 AEO kontrolli, mis teha enne lehe avaldamist (2027)
- SEO 2.0: kuidas AI-otsing ja assistendid muutsid SEO-d, kiht kihi haaval