2 страници го одбија обиколувањето
Овие страници одговорија со 401, 403, 429 или 503, или истекоа, кога ревизијата ги преземаше како прелистувач. Тоа често е заштитен ѕид, заштита од ботови или ограничување на бројот на барања, а не расипана страница. Проверете дали краулерите на пребарувачите и AI краулерите го добиваат истиот одговор.
Што значи
Овие страници одговорија со 401, 403, 429 или 503, или истече времето. Заштитен ѕид или ограничување на бројот на барања можеби ги запира и краулерите; проверете дали краулерите за пребарување и AI краулерите го добиваат истиот одговор.
Зошто е важно за AI пребарувањето
Ревизијата презема многу страници за кратко време од еден сервер, па ограничувањето на бројот на барања може да одговори со 429 или 503 дури и кога луѓето ја добиваат страницата. Ако истото правило важи и за краулерите на пребарувачите и AI краулерите, овие страници не се преземаат за нивните индекси и не можат да се цитираат во AI одговори.
401 значи дека страницата бара најава, што е очекувано за делови со сметки, но не и за јавна содржина. 503 на секоја страница може да значи дека режимот на одржување е оставен вклучен. Овие страници се држат одвоено од скршените врски, бидејќи поправката зависи од тоа кој е одбиен.
Како да се поправи
- Отворете неколку од наведените URL-адреси во приватен прозорец на прелистувачот. Ако се вчитуваат, блокирањето е насочено кон автоматизирани барања.
- Побарајте ги одбиените барања во дневниците на заштитниот ѕид, CDN или хостингот. Осигурете се дека потврдените краулери на пребарувачи, како Googlebot и Bingbot, и AI краулерите за пребарување што ги сакате се дозволени; многу CDN, меѓу нив и Cloudflare, имаат поставка за потврдени ботови.
- Ако причината е ограничувањето на бројот на барања, зголемете ја границата за обичните барања за страници или изземете ги HTML страниците од неа.
- Ако страниците одговараат со 401, отстранете ја најавата од јавните страници или престанете да водите врски од јавни до приватни страници.
- Повторно извршете ја ревизијата на сајтот од вашата сметка за да го потврдите резултатот.
Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.