Нашата проба беше блокирана, резултатот е неубедлив
Дури и обичното барање од прелистувач на ревизијата беше одбиено со статус за блокирање, грешка или страница со предизвик, па пристапот на краулерите не може да се процени. Ова не значи дека краулерите се блокирани. Накратко ставете ја ревизијата на листата на дозволени или извршете ја од друга мрежа, а потоа повторно споредете ги резултатите на краулерите.
Што значи
Дури и барањето од прелистувач од нашиот сервер доби статус 403 или страница со предизвик, па пристапот на ботовите не може да се оцени од тука. Извршете ја ревизијата од друга мрежа или привремено додајте ја ревизијата во листата на дозволени.
Зошто е важно за AI пребарувањето
Секоја оценка за пристап во AISeeWhy го споредува одговорот за краулерот со барање од прелистувач испратено од истиот сервер. Кога и самото барање од прелистувач е блокирано, нема основа за споредба, па ревизијата застанува тука наместо да пријавува блокирања на краулери што можеби не се вистински.
Вообичаената причина е заштита од ботови што го предизвикува сиот сообраќај од облачни IP опсези и од податочни центри, или режим за целиот сајт како Under Attack mode на Cloudflare. Истото правило може да влијае и врз вистинските AI краулери, кои исто така преземаат од податочни центри, па вреди да проверите како постапува со нив.
Како да се поправи
- Прочитајте ги статусот и откриениот WAF во доказите на наодот.
- На Cloudflare, проверете го блокираното барање во Security → Events и видете кое правило се активирало: Under Attack mode, JavaScript предизвик, блокирање по земја или ASN, или ограничување на бројот на барања.
- Привремено олабавете го правилото што го предизвикува секој посетител или накратко ставете ја ревизијата на листата на дозволени, а потоа кликнете „Провери повторно“. Барањето од прелистувач користи обичен Chrome user agent, па само исклучок за user agent нема да помогне.
- Кога барањето од прелистувач ќе помине, прегледајте ги редовите за краулерите: сега покажуваат дали секој краулер е дозволен.
Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.