robots.txt leidžia GPTBot, bet serveris jį blokuoja
Jūsų robots.txt leidžia šiam robotui atsisiųsti puslapį, bet užklausą su jo user agent užblokavo serveris, CDN ar ugniasienė. Nurodyta politika ir tikroji elgsena nesutampa. Pakeiskite ugniasienės taisyklę pagal robots.txt arba uždrauskite robotą robots.txt, jei norėjote jį blokuoti.
Ką tai reiškia
Jūsų taisyklės įleidžia GPTBot, tačiau užklausa su jo user agent buvo užblokuota. Ugniasienė ar CDN nepaiso jūsų nurodytos politikos.
Kodėl tai svarbu DI paieškai
Robotai robots.txt laiko jūsų politika. Kai jis sako „taip“, o serveris atsako 403, robotas švaisto užklausas, gali bandyti vėliau, o puslapis vis tiek nepatenka į atsakymų sistemos indeksą. Komandos dažnai mano, kad leidžia DI paiešką, nes taip rašo robots.txt, nors robotų taisyklė ją tyliai blokuoja.
Patikra vykdoma iš nepatvirtinto IP adreso. Taisyklė, kuri robotą praleidžia tik iš jo paskelbtų IP intervalų (tai pagrįsta sąranka), todėl gali pasirodyti čia, nors tikras robotas patenka. Prieš ką nors keisdami patikrinkite, kuri taisyklė suveikė.
Kaip tai ištaisyti
- Radinyje palyginkite robots.txt grupę ir užblokuotos užklausos būseną. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
- Raskite užklausą užblokavusią taisyklę: Cloudflare patikrinkite Security → Events ir AI Crawl Control bei Bot Fight Mode nustatymus; kituose CDN patikrinkite robotų valdymo žurnalą.
- Jei robotą norite įleisti, pridėkite jam išimtį; jei norite neįleisti, pridėkite jo žymeniui Disallow grupę, kad jūsų politika būtų nurodyta vienoje vietoje.
Kaip įsitikinti, kad pataisymas suveikė
Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.