GPTBot tiek pāradresēta citur
Pieprasījums ar šīs rāpuļprogrammas user-agent nonāca citur, nevis lapā, ko sasniedz pārlūks: citā resursdatorā vai ceļā, kas satur login, signin, captcha vai blocked. Noņemiet pāradresācijas noteikumu, kas vērsts pret šo user-agent, lai rāpuļprogramma nonāktu tajā pašā URL, kur cilvēki.
Ko tas nozīmē
Pieprasījums ar GPTBot user-agent nonāk adresē https://example.com/b, nevis lapā, ko saņem pārlūks.
Kāpēc tas ir svarīgi MI meklēšanai
Rāpuļprogramma, kas tiek pāradresēta uz pieteikšanās formu, captcha lapu vai citu domēnu, nekad neizlasa saturu, pēc kura tika sūtīta. Atbilžu dzinēji tad vai nu izlaiž lapu, vai piedēvē saturu URL, kurā tā nonāca, un tā bieži ir vispārēja lapa bez nekā citējama.
Šīs pāradresācijas parasti rada robotu aizsardzības, maksas satura, dalības vai ģeogrāfiskie noteikumi, kas reaģē uz user-agent. Meklēšanas un lietotāja pieprasījumu rāpuļprogrammas, piemēram, OAI-SearchBot, Claude-User un PerplexityBot, tiek ietekmētas tāpat kā apmācības rāpuļprogrammas, tāpēc šī konstatējuma prioritāte atkarīga no rāpuļprogrammas lomas.
Kā to labot
- Izlasiet konstatējumā galīgo URL, lai redzētu, kur rāpuļprogramma tika nosūtīta. AISeeWhy pārskatā redzami pierādījumi un gatavs labojums ielīmēšanai; pēc tam palaidiet “Pārbaudīt vēlreiz”, lai apstiprinātu rezultātu.
- Pārbaudiet pāradresācijas noteikumus savā CDN (Cloudflare Redirect Rules, Page Rules vai Workers), nginx
return 301/302vairewriteblokos un ApacheRewriteRulerindās ar user-agent nosacījumu. - WordPress vai Shopify apskatiet dalības, vecuma pārbaudes, apkopes režīma un ģeogrāfiskās pāradresācijas lietotnes, kas nezināmus apmeklētājus sūta uz pieteikšanās vai valsts lapu.
- Izslēdziet rāpuļprogrammu no noteikuma vai rādiet slēgtā satura publisko kopsavilkumu sākotnējā URL, nevis pāradresējiet.
Kā pārliecināties, ka labojums darbojas
Pēc izmaiņām pārskatā nospiediet “Pārbaudīt vēlreiz”: tas parāda, kas novērsts un kā mainījās vērtējums.