GPTBot peradresuojamas kitur
Užklausa su šio roboto user agent baigėsi ne tame puslapyje, kurį pasiekia naršyklė: kitame serveryje arba kelyje, kuriame yra login, signin, captcha ar blocked. Pašalinkite peradresavimo taisyklę, taikomą user agent, kad robotas patektų į tą patį URL kaip žmonės.
Ką tai reiškia
Užklausa su GPTBot user agent baigiasi adresu https://example.com/b, o ne puslapiu, kurį gauna naršyklė.
Kodėl tai svarbu DI paieškai
Robotas, peradresuotas į prisijungimo formą, captcha puslapį ar kitą domeną, niekada neperskaito turinio, dėl kurio buvo atsiųstas. Atsakymų sistemos tada arba praleidžia puslapį, arba priskiria turinį URL, kuriame robotas atsidūrė, o tai dažnai yra bendras puslapis, kuriame nėra ką cituoti.
Tokius peradresavimus dažniausiai sukelia apsaugos nuo robotų, mokamo turinio, narystės ar geografinės taisyklės, veikiančios pagal user agent. Paieškos ir naudotojo užklausų robotus, pvz., OAI-SearchBot, Claude-User ir PerplexityBot, jos paveikia taip pat kaip mokymo robotus, todėl šis radinys vertinamas pagal roboto paskirtį.
Kaip tai ištaisyti
- Radinyje perskaitykite galutinį URL ir pamatysite, kur robotas buvo nusiųstas. AISeeWhy ataskaitoje matysite įrodymus ir paruoštą įklijuoti pataisymą; vėliau paspauskite „Patikrinti dar kartą“, kad patvirtintumėte rezultatą.
- Patikrinkite peradresavimo taisykles savo CDN (Cloudflare Redirect Rules, Page Rules ar Workers), nginx blokus
return 301/302arrewriteir Apache eilutesRewriteRulesu user agent sąlyga. - WordPress ar Shopify peržiūrėkite narystės, amžiaus patikros, priežiūros režimo ir geografinio peradresavimo programėles, kurios nežinomus lankytojus siunčia į prisijungimo ar šalies puslapį.
- Išimkite robotą iš taisyklės arba vietoj peradresavimo rodykite riboto turinio viešą santrauką pradiniu URL.
Kaip įsitikinti, kad pataisymas suveikė
Atlikę pakeitimą, ataskaitoje paspauskite „Patikrinti dar kartą“: matysite, kas ištaisyta ir kaip pasikeitė balas.