OAI-SearchBot on blokeeritud

Lühike vastus

Selle roboti user agent'iga saadetud päring lükati tagasi: see sai 4xx- või 5xx-olekukoodi, Cloudflare'i cf-mitigated päise või kontrollilehe, tavaline brauseripäring aga sai lehe kätte. Leia tulemüüri, CDN-i või robotireegel, mis selle user agent'iga sobib, ja lase robot läbi.

access.blocked · Prioriteet: P1–P3, sõltuvalt roboti tüübist

Mida see tähendab

Päring OAI-SearchBot user agent'iga sai olekukoodi 403 või kontrollilehe, brauser aga sai lehe kätte. Testitud kinnitamata IP-lt: see näitab, kuidas sinu tulemüür sellesse user agent'isse suhtub; päris robotit selle kinnitatud IP-delt võidakse kohelda teisiti.

Miks see AI-otsingu jaoks oluline on

Otsingu- ja kasutajapäringu robotid, nagu OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ja Perplexity-User, laadivad lehti, et koostada vastuseid ja nende all olevaid linke. Kui nad saavad 403 või kontrollilehe, ei saa lehte tsiteerida ega sellele viidata, ükskõik kui hea see on. Seepärast hindab AISeeWhy nende robotite blokeerimist tasemega P1.

Treeningrobotid (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) saavad taseme P3: nende blokeerimine on poliitika valik, mitte viga. Test tehakse kinnitamata IP-lt, seega näitab see, kuidas sinu reeglid user agent'isse suhtuvad; päris robotit, mis tuleb oma avaldatud IP-vahemikest, võidakse kohelda teisiti.

Kuidas seda parandada

  1. Ava leid, et näha, milline robot blokeeriti, millise olekukoodi see sai ja millise WAF-i audit tuvastas. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.
  2. Cloudflare'is vaata blokeeritud päringut jaotises Security → Events, seejärel lisa WAF-i kohandatud reegel, mis sobib robotiga (kinnitatud robotid või selle user agent'i tunnus) ja millel on toiming Skip ülejäänud kohandatud reeglite, Super Bot Fight Mode'i ja päringute piiramise jaoks. Jaotises AI Crawl Control määra robotile Allow.
  3. Vercelis, Akamais, Impervas, Sucuris või AWS WAF-is leia robotihalduse või hallatud reegel, mis rakendus, ja lisa robotile erand, eelistatult kinnitatuna teenusepakkuja avaldatud IP-vahemike või pöörd-DNS-i järgi, mitte ainult user agent'i järgi.
  4. nginxis või Apaches otsi konfiguratsioonist deny, return 403 või RewriteCond %{HTTP_USER_AGENT} ridu, mis robotit nimetavad, ja WordPressis kontrolli turvapluginaid, mis blokeerivad „halbu roboteid“.
  5. Otsusta iga roboti kohta eraldi: otsingu- ja kasutajapäringu robotite lubamine toob lehtedele viiteid, treeningrobotid võivad aga blokeerituks jääda, kui see on sinu poliitika.

Näide

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Kuidas parandust kinnitada

Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.

Kontrolli minu lehte →

Seotud juhendid

Kõik leiud ja kuidas skoor arvutatakse