Náš test bol zablokovaný, výsledok je nepresvedčivý
Aj bežná požiadavka prehliadača z auditu bola odmietnutá stavovým kódom blokovania, chybou alebo overovacou stránkou, takže prístup crawlerov sa nedá posúdiť. Neznamená to, že crawlery sú zablokované. Na chvíľu audit povoľte alebo ho spustite z inej siete a potom výsledky crawlerov porovnajte znova.
Čo to znamená
Aj požiadavka prehliadača z nášho servera dostala stavový kód 403 alebo overovaciu stránku, takže prístup botov sa odtiaľto nedá posúdiť. Spustite audit z inej siete alebo audit na chvíľu povoľte na allowliste.
Prečo je to dôležité pre AI vyhľadávanie
Každý verdikt o prístupe v AISeeWhy porovnáva odpoveď pre crawlera s požiadavkou prehliadača odoslanou z toho istého servera. Keď je zablokovaná aj požiadavka prehliadača, chýba základ na porovnanie, takže audit sa zastaví a nehlási blokovania crawlerov, ktoré nemusia byť skutočné.
Obvyklou príčinou je ochrana proti botom, ktorá overuje všetku prevádzku z cloudových rozsahov IP a dátových centier, alebo režim pre celý web, napríklad Under Attack mode v Cloudflare. To isté pravidlo môže zasiahnuť aj skutočné AI crawlery, ktoré tiež sťahujú z dátových centier, preto sa oplatí overiť, ako s nimi zaobchádza.
Ako to opraviť
- Pozrite si stavový kód a zistený WAF v dôkazoch zistenia.
- V Cloudflare nájdite zablokovanú požiadavku v Security → Events a pozrite sa, ktoré pravidlo sa spustilo: Under Attack mode, overenie JavaScriptom, blokovanie krajiny alebo ASN, alebo obmedzenie rýchlosti.
- Dočasne zmiernite pravidlo, ktoré overuje každého návštevníka, alebo na chvíľu audit povoľte a potom spustite „Skontrolovať znova“. Požiadavka prehliadača používa bežný user agent Chrome, takže samotná výnimka pre user agenta nepomôže.
- Keď požiadavka prehliadača prejde, prezrite si riadky crawlerov: teraz ukazujú, či je každý crawler povolený.
Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.