robots.txt atļauj GPTBot, bet serveris to bloķē
Jūsu robots.txt ļauj šai rāpuļprogrammai ielādēt lapu, bet pieprasījumu ar tās user-agent bloķēja serveris, CDN vai ugunsmūris. Deklarētā politika un faktiskā uzvedība nesakrīt. Mainiet ugunsmūra noteikumu atbilstoši robots.txt vai aizliedziet rāpuļprogrammu robots.txt, ja to gribējāt bloķēt.
Ko tas nozīmē
Jūsu kārtulas ielaiž GPTBot, tomēr pieprasījums ar tās user-agent tika bloķēts. Ugunsmūris vai CDN ignorē jūsu deklarēto politiku.
Kāpēc tas ir svarīgi MI meklēšanai
Rāpuļprogrammas uztver robots.txt kā jūsu politiku. Ja tajā teikts “jā”, bet serveris atbild ar 403, rāpuļprogramma tērē pieprasījumus, var mēģināt vēlāk, un lapa tik un tā nenonāk atbilžu dzinēja indeksā. Komandas bieži uzskata, ka atļauj MI meklēšanu, jo tā rakstīts robots.txt, kamēr robotu noteikums to klusi bloķē.
Pārbaude notiek no neverificētas IP adreses. Noteikums, kas ielaiž rāpuļprogrammu tikai no tās publicētajiem IP diapazoniem, kas ir saprātīga iestatīšana, tāpēc var parādīties šeit, lai gan īstā rāpuļprogramma tiek iekšā. Pirms kaut ko maināt, pārbaudiet, kurš noteikums nostrādāja.
Kā to labot
- Salīdziniet robots.txt grupu un bloķētā pieprasījuma statusu konstatējumā. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
- Atrodiet noteikumu, kas bloķēja pieprasījumu: Cloudflare pārbaudiet Security → Events un AI Crawl Control un Bot Fight Mode iestatījumus; citos CDN pārbaudiet robotu pārvaldības žurnālu.
- Ja vēlaties rāpuļprogrammu ielaist, pievienojiet tai izņēmumu; ja vēlaties to nelaist, pievienojiet Disallow grupu tās marķierim, lai politika būtu norādīta vienuviet.
Kā pārliecināties, ka labojums darbojas
Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.