OAI-SearchBot е блокиран

Кратък отговор

Заявка с user agent на този бот беше отказана: тя получи статус 4xx или 5xx, хедър cf-mitigated от Cloudflare или страница за проверка, докато обикновена заявка от браузър получи страницата. Намерете правилото в защитната стена, CDN или защитата от ботове, което съвпада с user agent, и пропуснете бота.

access.blocked · Приоритет: P1–P3, според типа бот

Какво означава

Заявка с user agent на OAI-SearchBot получи статус 403 или страница за проверка, докато браузърът получи страницата. Тествано от непроверен IP: това показва как защитната ви стена третира този user agent; истинският бот от проверените си IP адреси може да бъде третиран различно.

Защо това е важно за AI търсенето

Ботовете за търсене и за заявки на потребители като OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и Perplexity-User изтеглят страници, за да съставят отговори и връзките под тях. Ако получат 403 или страница за проверка, страницата не може да бъде цитирана или посочена с връзка, колкото и добра да е. Затова AISeeWhy оценява блокирането на тези ботове като P1.

Ботовете за обучение (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) се оценяват като P3: блокирането им е въпрос на политика, а не грешка. Проверката идва от непроверен IP адрес, така че показва как правилата ви третират user agent; истинският бот, който идва от публикуваните си IP диапазони, може да бъде третиран различно.

Как да го поправите

  1. Отворете находката, за да видите кой бот е блокиран, какъв статус е получил и коя WAF е открил одитът. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
  2. В Cloudflare проверете Security → Events за блокираната заявка, след това добавете персонализирано WAF правило, което съвпада с бота (проверени ботове или токена от неговия user agent), с действие Skip за останалите персонализирани правила, Super Bot Fight Mode и ограничаването на честотата. В AI Crawl Control задайте за бота Allow.
  3. Във Vercel, Akamai, Imperva, Sucuri или AWS WAF намерете правилото за управление на ботове или управляваното правило, което се е задействало, и добавете изключение за бота, по възможност проверено чрез публикуваните IP диапазони на доставчика или обратен DNS, а не само по user agent.
  4. В nginx или Apache потърсете в конфигурацията редове deny, return 403 или RewriteCond %{HTTP_USER_AGENT}, които назовават бота, а в WordPress проверете плъгините за сигурност, които блокират „лоши ботове“.
  5. Решете за всеки бот поотделно: страниците се цитират, когато пропускате ботовете за търсене и за заявки на потребители, а ботовете за обучение могат да останат блокирани, ако такава е политиката ви.

Пример

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Как да потвърдите корекцията

След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.

Проверете страницата ми →

Свързани ръководства

Всички находки и как работи оценката