OAI-SearchBot užblokuotas

Trumpas atsakymas

Užklausa su šio roboto user agent buvo atmesta: ji gavo 4xx ar 5xx būseną, Cloudflare antraštę cf-mitigated arba patikrinimo puslapį, o įprasta naršyklės užklausa gavo puslapį. Raskite ugniasienės, CDN ar robotų taisyklę, atitinkančią šį user agent, ir praleiskite robotą.

access.blocked · Prioritetas: P1–P3, pagal roboto tipą

Ką tai reiškia

Užklausa su OAI-SearchBot user agent gavo būseną 403 arba patikrinimo puslapį, o naršyklė gavo puslapį. Tikrinta iš nepatvirtinto IP: tai rodo, kaip jūsų ugniasienė elgiasi su šiuo user agent; tikras robotas iš patvirtintų IP gali būti traktuojamas kitaip.

Kodėl tai svarbu DI paieškai

Paieškos ir naudotojo užklausų robotai, pvz., OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ir Perplexity-User, atsisiunčia puslapius atsakymams ir po jais pateikiamoms nuorodoms sudaryti. Jei jie gauna 403 ar patikrinimo puslapį, puslapio negalima nei cituoti, nei susieti, kad ir koks geras jis būtų. Todėl AISeeWhy šių robotų blokavimą vertina kaip P1.

Mokymo robotai (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) vertinami kaip P3: jų blokavimas yra politikos pasirinkimas, o ne klaida. Patikra vykdoma iš nepatvirtinto IP, todėl ji rodo, kaip jūsų taisyklės elgiasi su user agent; tikras robotas, ateinantis iš paskelbtų IP intervalų, gali būti traktuojamas kitaip.

Kaip tai ištaisyti

  1. Atidarykite radinį: matysite, kuris robotas užblokuotas, kokią būseną jis gavo ir kokią WAF auditas aptiko. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
  2. Cloudflare skiltyje Security → Events raskite užblokuotą užklausą, tada pridėkite WAF custom rule, atitinkančią robotą (verified bots arba jo user agent žymenį), su veiksmu Skip likusioms custom rules, Super Bot Fight Mode ir rate limiting. AI Crawl Control nustatykite robotui Allow.
  3. Vercel, Akamai, Imperva, Sucuri ar AWS WAF raskite suveikusią robotų valdymo ar valdomą taisyklę ir pridėkite robotui išimtį, geriausia patvirtintą pagal tiekėjo paskelbtus IP intervalus ar atvirkštinį DNS, o ne vien pagal user agent.
  4. nginx ar Apache konfigūracijoje ieškokite eilučių deny, return 403 ar RewriteCond %{HTTP_USER_AGENT}, kuriose minimas robotas, o WordPress patikrinkite saugumo įskiepius, blokuojančius „blogus robotus“.
  5. Spręskite kiekvienam robotui atskirai: paieškos ir naudotojo užklausų robotų įleidimas lemia, ar puslapiai cituojami, o mokymo robotai gali likti užblokuoti, jei tokia jūsų politika.

Pavyzdys

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Kaip įsitikinti, kad pataisymas suveikė

Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.

Tikrinti mano puslapį →

Susiję vadovai

Visi radiniai ir kaip skaičiuojamas balas