OAI-SearchBot ir bloķēta

Īsa atbilde

Pieprasījums ar šīs rāpuļprogrammas user-agent tika noraidīts: tas saņēma 4xx vai 5xx statusu, Cloudflare cf-mitigated galveni vai pārbaudes lapu, kamēr parasts pārlūka pieprasījums saņēma lapu. Atrodiet ugunsmūra, CDN vai robotu noteikumu, kas atbilst šim user-agent, un ielaidiet rāpuļprogrammu.

access.blocked · Prioritāte: P1–P3 atkarībā no rāpuļprogrammas veida

Ko tas nozīmē

Pieprasījums ar OAI-SearchBot user-agent saņēma statusu 403 vai pārbaudes lapu, bet pārlūks saņēma lapu. Pārbaudīts no neverificētas IP: tas parāda, kā jūsu ugunsmūris izturas pret šo user-agent; pret īsto rāpuļprogrammu no tās verificētajām IP var izturēties citādi.

Kāpēc tas ir svarīgi MI meklēšanai

Meklēšanas un lietotāja pieprasījumu rāpuļprogrammas, piemēram, OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot un Perplexity-User, ielādē lapas, lai veidotu atbildes un saites zem tām. Ja tās saņem 403 vai pārbaudes lapu, lapu nevar citēt vai saistīt, lai cik laba tā būtu. Tāpēc AISeeWhy šo rāpuļprogrammu bloķēšanu vērtē kā P1.

Apmācības rāpuļprogrammas (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) tiek vērtētas kā P3: to bloķēšana ir politikas izvēle, nevis kļūda. Pārbaude notiek no neverificētas IP adreses, tāpēc tā parāda, kā jūsu noteikumi izturas pret user-agent; pret īsto rāpuļprogrammu, kas nāk no publicētajiem IP diapazoniem, var izturēties citādi.

Kā to labot

  1. Atveriet konstatējumu, lai redzētu, kura rāpuļprogramma tika bloķēta, kādu statusu tā saņēma un kādu WAF audits noteica. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
  2. Cloudflare sadaļā Security → Events atrodiet bloķēto pieprasījumu, pēc tam pievienojiet WAF pielāgotu noteikumu, kas atbilst rāpuļprogrammai (verificēti roboti vai tās user-agent marķieris), ar darbību Skip atlikušajiem pielāgotajiem noteikumiem, Super Bot Fight Mode un pieprasījumu ierobežošanai. Sadaļā AI Crawl Control iestatiet rāpuļprogrammai Allow.
  3. Vercel, Akamai, Imperva, Sucuri vai AWS WAF atrodiet robotu pārvaldības vai pārvaldīto noteikumu, kas nostrādāja, un pievienojiet izņēmumu rāpuļprogrammai, vēlams verificējot to pēc piegādātāja publicētajiem IP diapazoniem vai reverse DNS, nevis tikai pēc user-agent.
  4. nginx vai Apache konfigurācijā meklējiet deny, return 403 vai RewriteCond %{HTTP_USER_AGENT} rindas, kas nosauc rāpuļprogrammu, un WordPress pārbaudiet drošības spraudņus, kas bloķē “sliktos robotus”.
  5. Izlemiet katrai rāpuļprogrammai atsevišķi: meklēšanas un lietotāja pieprasījumu rāpuļprogrammu atļaušana ļauj lapas citēt, savukārt apmācības rāpuļprogrammas var palikt bloķētas, ja tāda ir jūsu politika.

Piemērs

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Kā pārliecināties, ka labojums darbojas

Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.

Pārbaudīt manu lapu →

Saistītie ceļveži

Visi konstatējumi un kā darbojas vērtējums