Наша проба је блокирана, резултат није поуздан

Кратак одговор

Чак је и обичан захтев прегледача из аудита одбијен статусом блокаде, грешком или страницом са изазовом, па приступ краулера не може да се процени. То не значи да су краулери блокирани. Накратко додајте аудит на листу дозвољених или га покрените са друге мреже, па поново упоредите резултате краулера.

access.all_blocked · Приоритет: P2

Шта то значи

Чак је и захтев прегледача са нашег сервера добио статус 403 или страницу са изазовом, па се приступ ботова одавде не може проценити. Покрените аудит из друге мреже или накратко додајте аудит на листу дозвољених.

Зашто је ово важно за AI претрагу

Свака оцена приступа у AISeeWhy пореди одговор краулера са захтевом прегледача послатим са истог сервера. Када је и сам захтев прегледача блокиран, нема основе за поређење, па се аудит ту зауставља уместо да пријави блокаде краулера које можда не постоје.

Уобичајени узрок је заштита од ботова која поставља изазов сав саобраћај са cloud и data-центар IP опсега или режим за цео сајт, као што је Cloudflare Under Attack mode. Исто правило може да погоди и праве AI краулере, који такође преузимају из data-центара, па вреди проверити како их третира.

Како да исправите

  1. Прочитајте статус и откривени WAF у доказима налаза.
  2. На Cloudflare-у проверите Security → Events за блокирани захтев и погледајте које се правило активирало: Under Attack mode, JavaScript изазов, блокада земље или ASN-а или ограничење брзине.
  3. Привремено ублажите правило које поставља изазов сваком посетиоцу или накратко додајте аудит на листу дозвољених, па покрените „Провери поново“. Захтев прегледача користи обичан Chrome user agent, па сам изузетак за user agent неће помоћи.
  4. Када захтев прегледача прође, прегледајте редове краулера: сада показују да ли је сваки краулер дозвољен.

Како потврдити исправку

После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.

Провери моју страницу →

Сродни водичи

Сви налази и како функционише оцена