A mérőkérésünket blokkolták, az eredmény nem megbízható
Az audit hagyományos böngészős kérését is elutasították: tiltó státusz, hiba vagy kihívásoldal jött, ezért a crawlerek hozzáférése nem ítélhető meg. Ez nem azt jelenti, hogy a crawlerek tiltva vannak. Engedélyezze rövid időre az auditot, vagy futtassa másik hálózatról, majd vesse össze újra a crawlerek eredményeit.
Mit jelent
Még a szerverünkről küldött böngészős kérés is 403 státuszt vagy ellenőrző oldalt kapott, ezért a botok hozzáférése innen nem ítélhető meg. Futtassa az auditot másik hálózatról, vagy engedélyezze rövid időre az auditot.
Miért fontos az AI-keresésben
Az AISeeWhy minden hozzáférési ítélete a crawler válaszát egy ugyanarról a szerverről küldött böngészős kéréssel veti össze. Ha maga a böngészős kérés is tiltott, nincs alapvonal, ezért az audit itt megáll, ahelyett hogy olyan crawlertiltásokat jelentene, amelyek lehet, hogy nem valósak.
A szokásos ok a botvédelem, amely a felhő- és adatközponti IP-tartományokból érkező összes forgalmat megkérdőjelezi, vagy egy oldalszintű mód, például a Cloudflare Under Attack módja. Ugyanez a szabály az igazi AI-crawlereket is érintheti, mert azok is adatközpontokból töltenek le, ezért érdemes megnézni, hogyan kezeli őket.
Hogyan javítható
- Olvassa el a találat bizonyítékában a státuszt és az észlelt WAF-ot.
- Cloudflare-en nézze meg a Security → Events oldalon a letiltott kérést, és hogy melyik szabály lépett működésbe: Under Attack mód, JavaScript-kihívás, ország- vagy ASN-tiltás, vagy sebességkorlát.
- Ideiglenesen lazítsa azt a szabályt, amely minden látogatót megkérdőjelez, vagy engedélyezze rövid időre az auditot, majd futtassa az „Újraellenőrzés” gombot. A böngészős kérés szokásos Chrome user agentet használ, ezért önmagában a user agent kivétele nem segít.
- Amikor a böngészős kérés átjut, nézze át a crawlersorokat: azok már megmutatják, hogy az egyes crawlerek engedélyezettek-e.
Hogyan győződhet meg a javításról
A módosítás után kattintson a jelentésben az „Újraellenőrzés” gombra: látni fogja, mi javult, és hogyan változott a pontszám.