Pahinang pamalit ang nakukuha ng GPTBot
Nakakuha ang crawler ng status 200, pero hindi ang totoong pahina. Mas mababa sa 15% ng nakuha ng browser ang nakikitang text nito, o may laman itong pariralang pang-block gaya ng "access denied" o "are you a robot" na wala sa pahina ng browser. Hanapin ang bot rule na nagbibigay ng pamalit na pahinang ito at hayaang makita ng crawler ang buong pahina.
Ano ang ibig sabihin nito
Ang request na may user agent ng GPTBot ay nakakuha ng status 200, pero abiso ng pag-block ang text ng pahina o mas maikli ito nang malaki kaysa sa nakukuha ng browser.
Bakit ito mahalaga para sa AI search
Mas mahirap mapansin ang soft block kaysa sa 403 dahil 200 ang ipinapakita ng mga log at uptime monitor. Iniimbak ng crawler ang anumang text na natanggap nito, kaya maaaring mag-index ang answer engine ng pahinang nagsasabing "enable JavaScript and cookies" sa halip na ang content mo, o itapon ang pahina bilang manipis.
Tumatakbo lang ang pagsusuri kapag may hindi bababa sa 200 character na text ang bersyon ng browser. Kinukuha ang dalawang sagot mula sa iisang server nang magkasunod, kaya ang malaking pagkakaiba sa text ay galing sa pagtrato ng stack mo sa user agent ng crawler, hindi sa network o sa pagbabago ng content.
Paano ito ayusin
- Ihambing ang haba ng text at ang tumugmang parirala sa ebidensya ng ulat sa bersyon ng browser. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.
- Hanapin ang mga feature ng bot management na sumasagot ng interstitial sa halip na error: mga challenge o JavaScript detection page ng Cloudflare, mga bot page ng Imperva at Akamai, o plugin na "verify you are human".
- Tingnan ang mga rule ng dynamic rendering o cache na nagbibigay ng ibang template sa mga bot, at mga A/B testing o geo tool na pinapalitan ang pahina para sa mga hindi kilalang bisita.
- Magdagdag ng exception para sa crawler sa rule na nagbibigay ng pamalit na pahina, beripikado sa pamamagitan ng IP range o reverse DNS kung sinusuportahan ito ng platform mo.
Paano kumpirmahin ang ayos
Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.