OAI-SearchBot užblokuotas
Užklausa su šio roboto user agent buvo atmesta: ji gavo 4xx ar 5xx būseną, Cloudflare antraštę cf-mitigated arba patikrinimo puslapį, o įprasta naršyklės užklausa gavo puslapį. Raskite ugniasienės, CDN ar robotų taisyklę, atitinkančią šį user agent, ir praleiskite robotą.
Ką tai reiškia
Užklausa su OAI-SearchBot user agent gavo būseną 403 arba patikrinimo puslapį, o naršyklė gavo puslapį. Tikrinta iš nepatvirtinto IP: tai rodo, kaip jūsų ugniasienė elgiasi su šiuo user agent; tikras robotas iš patvirtintų IP gali būti traktuojamas kitaip.
Kodėl tai svarbu DI paieškai
Paieškos ir naudotojo užklausų robotai, pvz., OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ir Perplexity-User, atsisiunčia puslapius atsakymams ir po jais pateikiamoms nuorodoms sudaryti. Jei jie gauna 403 ar patikrinimo puslapį, puslapio negalima nei cituoti, nei susieti, kad ir koks geras jis būtų. Todėl AISeeWhy šių robotų blokavimą vertina kaip P1.
Mokymo robotai (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) vertinami kaip P3: jų blokavimas yra politikos pasirinkimas, o ne klaida. Patikra vykdoma iš nepatvirtinto IP, todėl ji rodo, kaip jūsų taisyklės elgiasi su user agent; tikras robotas, ateinantis iš paskelbtų IP intervalų, gali būti traktuojamas kitaip.
Kaip tai ištaisyti
- Atidarykite radinį: matysite, kuris robotas užblokuotas, kokią būseną jis gavo ir kokią WAF auditas aptiko. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
- Cloudflare skiltyje Security → Events raskite užblokuotą užklausą, tada pridėkite WAF custom rule, atitinkančią robotą (verified bots arba jo user agent žymenį), su veiksmu Skip likusioms custom rules, Super Bot Fight Mode ir rate limiting. AI Crawl Control nustatykite robotui Allow.
- Vercel, Akamai, Imperva, Sucuri ar AWS WAF raskite suveikusią robotų valdymo ar valdomą taisyklę ir pridėkite robotui išimtį, geriausia patvirtintą pagal tiekėjo paskelbtus IP intervalus ar atvirkštinį DNS, o ne vien pagal user agent.
- nginx ar Apache konfigūracijoje ieškokite eilučių
deny,return 403arRewriteCond %{HTTP_USER_AGENT}, kuriose minimas robotas, o WordPress patikrinkite saugumo įskiepius, blokuojančius „blogus robotus“. - Spręskite kiekvienam robotui atskirai: paieškos ir naudotojo užklausų robotų įleidimas lemia, ar puslapiai cituojami, o mokymo robotai gali likti užblokuoti, jei tokia jūsų politika.
Pavyzdys
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Kaip įsitikinti, kad pataisymas suveikė
Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.
Susiję vadovai
- Kaip skaityti Cloudflare AI Crawl Control ataskaitą ir matyti, kurie DI robotai patenka
- Ar Cloudflare blokuoja DI robotus? Kaip tai nustatyti ir ištaisyti
- Ar ChatGPT mato mano svetainę? Kaip patikrinti
- 12 AEO patikrų, kurias reikia atlikti prieš paskelbiant puslapį (2027)
- SEO 2.0: kaip DI paieška ir asistentai pakeitė SEO, sluoksnis po sluoksnio