OAI-SearchBot е блокиран

Краток одговор

Барањето испратено со user agent-от на овој краулер беше одбиено: доби статус 4xx или 5xx, Cloudflare заглавие cf-mitigated или страница со предизвик, додека обично барање од прелистувач ја доби страницата. Најдете го правилото на заштитниот ѕид, CDN или правилото за ботови што се совпаѓа со user agent-от и пуштете го краулерот.

access.blocked · Приоритет: P1–P3, според типот на краулерот

Што значи

Барање со user agent-от на OAI-SearchBot доби статус 403 или страница со предизвик, додека прелистувачот ја доби страницата. Тестирано од непотврдена IP-адреса: ова покажува како вашиот заштитен ѕид постапува со овој user agent; со вистинскиот краулер од неговите потврдени IP-адреси може да се постапува поинаку.

Зошто е важно за AI пребарувањето

Краулерите за пребарување и корисничките краулери, како OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и Perplexity-User, преземаат страници за да состават одговори и врските под нив. Ако добијат 403 или страница со предизвик, страницата не може да се цитира ниту да се поврзе, колку и да е добра. Затоа AISeeWhy блокирањето на овие краулери го оценува како P1.

Краулерите за обука (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) се оценуваат со P3: нивното блокирање е избор на политика, а не грешка. Пробата се извршува од непотврдена IP адреса, па покажува како вашите правила постапуваат со user agent-от; вистинскиот краулер, кој доаѓа од своите објавени IP опсези, може да биде третиран поинаку.

Како да се поправи

  1. Отворете го наодот за да видите кој краулер беше блокиран, кој статус го доби и кој WAF го откри ревизијата. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
  2. На Cloudflare, проверете го блокираното барање во Security → Events, а потоа додајте прилагодено WAF правило што се совпаѓа со краулерот (потврдени ботови или ознаката од неговиот user agent) со акцијата Skip за преостанатите прилагодени правила, Super Bot Fight Mode и ограничувањето на бројот на барања. Во AI Crawl Control поставете го краулерот на Allow.
  3. На Vercel, Akamai, Imperva, Sucuri или AWS WAF, најдете го правилото за управување со ботови или управуваното правило што се активирало и додајте исклучок за краулерот, по можност потврден преку објавените IP опсези на производителот или обратен DNS, а не само преку user agent.
  4. На nginx или Apache, пребарајте ја конфигурацијата за редови deny, return 403 или RewriteCond %{HTTP_USER_AGENT} што го именуваат краулерот, а во WordPress проверете ги безбедносните приклучоци што блокираат „лоши ботови“.
  5. Одлучете за секој краулер посебно: дозволувањето на краулерите за пребарување и корисничките краулери е она што носи цитирања, додека краулерите за обука можат да останат блокирани ако тоа е ваша политика.

Пример

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Како да се потврди поправката

По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.

Провери ја мојата страница →

Поврзани водичи

Сите наоди и како функционира оцената