2 oldal elutasította a bejárást
Ezek az oldalak 401, 403, 429 vagy 503 választ adtak, vagy időtúllépéssel zárultak, amikor az audit böngészőként letöltötte őket. Ez gyakran tűzfal, botvédelem vagy sebességkorlát, nem hibás oldal. Ellenőrizze, hogy a kereső- és AI-crawlerek is ugyanezt a választ kapják-e.
Mit jelent
Ezek az oldalak 401, 403, 429 vagy 503 kóddal válaszoltak, vagy időtúllépésbe futottak. Lehet, hogy egy tűzfal vagy sebességkorlát a crawlereket is megállítja. Ellenőrizze, hogy a keresők és az AI-crawlerek ugyanazt a választ kapják-e.
Miért fontos az AI-keresésben
Az audit rövid idő alatt sok oldalt tölt le egyetlen szerverről, így egy sebességkorlát 429-et vagy 503-at adhat akkor is, ha az emberek megkapják az oldalt. Ha ugyanez a szabály a kereső- és AI-crawlerekre is vonatkozik, ezeket az oldalakat nem töltik le az indexeikhez, és nem idézhetők az AI-válaszokban.
A 401 azt jelenti, hogy az oldalhoz bejelentkezés kell, ami fiókterületeknél várható, nyilvános tartalomnál viszont nem. Ha minden oldal 503-at ad, lehet, hogy bekapcsolva maradt a karbantartási mód. Ezeket az oldalakat a hibás linkektől külön kezeljük, mert a javítás attól függ, kit utasítanak el.
Hogyan javítható
- Nyisson meg néhány felsorolt URL-t privát böngészőablakban. Ha betöltődnek, a blokkolás az automatizált kéréseknek szól.
- Keresse meg az elutasított kéréseket a tűzfal, a CDN vagy a tárhely naplóiban. Győződjön meg róla, hogy az ellenőrzött keresőcrawlerek, például a Googlebot és a Bingbot, valamint a kívánt AI-keresőcrawlerek engedélyezve vannak; sok CDN-nek, köztük a Cloudflare-nek, van beállítása az ellenőrzött botokhoz.
- Ha sebességkorlát okozta, emelje meg a korlátot a normál oldalkéréseknél, vagy vegye ki belőle a HTML-oldalakat.
- Ha az oldalak 401-et adnak, vegye le a bejelentkezést a nyilvános oldalakról, vagy ne linkeljen nyilvános oldalakról privát oldalakra.
- Futtassa újra a webhely-auditot a fiókjából az eredmény megerősítéséhez.
Hogyan győződhet meg a javításról
A módosítás után kattintson a jelentésben az „Újraellenőrzés” gombra: látni fogja, mi javult, és hogyan változott a pontszám.