OAI-SearchBot е блокиран
Барањето испратено со user agent-от на овој краулер беше одбиено: доби статус 4xx или 5xx, Cloudflare заглавие cf-mitigated или страница со предизвик, додека обично барање од прелистувач ја доби страницата. Најдете го правилото на заштитниот ѕид, CDN или правилото за ботови што се совпаѓа со user agent-от и пуштете го краулерот.
Што значи
Барање со user agent-от на OAI-SearchBot доби статус 403 или страница со предизвик, додека прелистувачот ја доби страницата. Тестирано од непотврдена IP-адреса: ова покажува како вашиот заштитен ѕид постапува со овој user agent; со вистинскиот краулер од неговите потврдени IP-адреси може да се постапува поинаку.
Зошто е важно за AI пребарувањето
Краулерите за пребарување и корисничките краулери, како OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и Perplexity-User, преземаат страници за да состават одговори и врските под нив. Ако добијат 403 или страница со предизвик, страницата не може да се цитира ниту да се поврзе, колку и да е добра. Затоа AISeeWhy блокирањето на овие краулери го оценува како P1.
Краулерите за обука (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) се оценуваат со P3: нивното блокирање е избор на политика, а не грешка. Пробата се извршува од непотврдена IP адреса, па покажува како вашите правила постапуваат со user agent-от; вистинскиот краулер, кој доаѓа од своите објавени IP опсези, може да биде третиран поинаку.
Како да се поправи
- Отворете го наодот за да видите кој краулер беше блокиран, кој статус го доби и кој WAF го откри ревизијата. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
- На Cloudflare, проверете го блокираното барање во Security → Events, а потоа додајте прилагодено WAF правило што се совпаѓа со краулерот (потврдени ботови или ознаката од неговиот user agent) со акцијата Skip за преостанатите прилагодени правила, Super Bot Fight Mode и ограничувањето на бројот на барања. Во AI Crawl Control поставете го краулерот на Allow.
- На Vercel, Akamai, Imperva, Sucuri или AWS WAF, најдете го правилото за управување со ботови или управуваното правило што се активирало и додајте исклучок за краулерот, по можност потврден преку објавените IP опсези на производителот или обратен DNS, а не само преку user agent.
- На nginx или Apache, пребарајте ја конфигурацијата за редови
deny,return 403илиRewriteCond %{HTTP_USER_AGENT}што го именуваат краулерот, а во WordPress проверете ги безбедносните приклучоци што блокираат „лоши ботови“. - Одлучете за секој краулер посебно: дозволувањето на краулерите за пребарување и корисничките краулери е она што носи цитирања, додека краулерите за обука можат да останат блокирани ако тоа е ваша политика.
Пример
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.
Поврзани водичи
- Како да го читате извештајот AI Crawl Control во Cloudflare и да видите кои AI краулери влегуваат
- Дали Cloudflare ги блокира AI краулерите? Како да дознаете и да поправите
- Дали ChatGPT го гледа мојот веб-сајт? Како да проверите
- 12 AEO проверки што треба да ги направите пред да објавите страница (2027)
- SEO 2.0: како AI пребарувањето и асистентите го сменија SEO, слој по слој