Naša je proba blokirana, rezultat nije pouzdan
Čak je i običan zahtjev preglednika iz revizije odbijen statusom blokade, pogreškom ili stranicom s provjerom, pa se pristup crawlera ne može procijeniti. To ne znači da su crawleri blokirani. Nakratko dopustite reviziju na popisu dopuštenih ili je pokrenite s druge mreže, a zatim ponovno usporedite rezultate crawlera.
Što to znači
Čak je i zahtjev preglednika s našeg poslužitelja dobio status 403 ili stranicu s provjerom, pa se pristup botova odavde ne može procijeniti. Pokrenite reviziju s druge mreže ili privremeno dopustite reviziju na popisu dopuštenih.
Zašto je to važno za AI pretraživanje
Svaka procjena pristupa u AISeeWhy uspoređuje odgovor crawlera sa zahtjevom preglednika poslanim s istog poslužitelja. Kada je i zahtjev preglednika blokiran, nema osnove za usporedbu, pa se revizija tu zaustavlja umjesto da prijavi blokade crawlera koje možda nisu stvarne.
Uobičajen je uzrok zaštita od botova koja provjerava sav promet iz IP raspona oblaka i podatkovnih centara ili način rada za cijelu web-stranicu poput Cloudflareova Under Attack mode. Isto pravilo može utjecati i na prave AI crawlere, koji također dohvaćaju iz podatkovnih centara, pa vrijedi provjeriti kako ih tretira.
Kako to ispraviti
- Pročitajte status i otkriveni WAF u dokazima nalaza.
- Na Cloudflareu u Security → Events pronađite blokirani zahtjev i pogledajte koje se pravilo aktiviralo: Under Attack mode, JavaScript provjera, blokada zemlje ili ASN-a ili ograničenje broja zahtjeva.
- Privremeno ublažite pravilo koje provjerava svakog posjetitelja ili nakratko dopustite reviziju na popisu dopuštenih, a zatim pokrenite „Provjeri ponovno“. Zahtjev preglednika koristi običan user agent Chromea, pa sama iznimka za user agent neće pomoći.
- Kada zahtjev preglednika prođe, pregledajte retke crawlera: sada pokazuju je li svaki crawler dopušten.
Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.