OAI-SearchBot е блокиран
Заявка с user agent на този бот беше отказана: тя получи статус 4xx или 5xx, хедър cf-mitigated от Cloudflare или страница за проверка, докато обикновена заявка от браузър получи страницата. Намерете правилото в защитната стена, CDN или защитата от ботове, което съвпада с user agent, и пропуснете бота.
Какво означава
Заявка с user agent на OAI-SearchBot получи статус 403 или страница за проверка, докато браузърът получи страницата. Тествано от непроверен IP: това показва как защитната ви стена третира този user agent; истинският бот от проверените си IP адреси може да бъде третиран различно.
Защо това е важно за AI търсенето
Ботовете за търсене и за заявки на потребители като OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и Perplexity-User изтеглят страници, за да съставят отговори и връзките под тях. Ако получат 403 или страница за проверка, страницата не може да бъде цитирана или посочена с връзка, колкото и добра да е. Затова AISeeWhy оценява блокирането на тези ботове като P1.
Ботовете за обучение (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) се оценяват като P3: блокирането им е въпрос на политика, а не грешка. Проверката идва от непроверен IP адрес, така че показва как правилата ви третират user agent; истинският бот, който идва от публикуваните си IP диапазони, може да бъде третиран различно.
Как да го поправите
- Отворете находката, за да видите кой бот е блокиран, какъв статус е получил и коя WAF е открил одитът. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
- В Cloudflare проверете Security → Events за блокираната заявка, след това добавете персонализирано WAF правило, което съвпада с бота (проверени ботове или токена от неговия user agent), с действие Skip за останалите персонализирани правила, Super Bot Fight Mode и ограничаването на честотата. В AI Crawl Control задайте за бота Allow.
- Във Vercel, Akamai, Imperva, Sucuri или AWS WAF намерете правилото за управление на ботове или управляваното правило, което се е задействало, и добавете изключение за бота, по възможност проверено чрез публикуваните IP диапазони на доставчика или обратен DNS, а не само по user agent.
- В nginx или Apache потърсете в конфигурацията редове
deny,return 403илиRewriteCond %{HTTP_USER_AGENT}, които назовават бота, а в WordPress проверете плъгините за сигурност, които блокират „лоши ботове“. - Решете за всеки бот поотделно: страниците се цитират, когато пропускате ботовете за търсене и за заявки на потребители, а ботовете за обучение могат да останат блокирани, ако такава е политиката ви.
Пример
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Как да потвърдите корекцията
След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.
Свързани ръководства
- Как да четете отчета AI Crawl Control на Cloudflare и да видите кои AI ботове влизат
- Блокира ли Cloudflare AI ботовете? Как да разберете и да го поправите
- Вижда ли ChatGPT сайта ми? Как да проверите
- 12 AEO проверки, които да направите, преди да публикувате страница (2027)
- SEO 2.0: как AI търсенето и асистентите промениха SEO, слой по слой