GPTBot се преусмерава на друго место
Захтев са user agent-ом овог краулера завршио се на другом месту од странице до које стиже прегледач: на другом хосту или на путањи која садржи login, signin, captcha или blocked. Уклоните правило преусмеравања које циља user agent, да би краулер стигао на исти URL као и људи.
Шта то значи
Захтев са user agent-ом GPTBot завршава на https://example.com/b, а не на страници коју добија прегледач.
Зашто је ово важно за AI претрагу
Краулер који је преусмерен на формулар за пријаву, captcha страницу или други домен никада не прочита садржај по који је послат. AI претраживачи тада или прескачу страницу или садржај приписују URL-у на ком су завршили, а то је често општа страница без ичега вредног цитирања.
Ова преусмеравања обично потичу од заштите од ботова, paywall-а, чланства или географских правила која делују на user agent. Краулери претраге и кориснички краулери, као што су OAI-SearchBot, Claude-User и PerplexityBot, погођени су исто као краулери за обуку, па се овај налаз оцењује према улози краулера.
Како да исправите
- Прочитајте коначни URL у налазу да бисте видели куда је краулер послат. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
- Проверите правила преусмеравања у CDN-у (Cloudflare Redirect Rules, Page Rules или Workers), у nginx блоковима
return 301/302илиrewriteи у Apache редовимаRewriteRuleса условом за user agent. - У WordPress-у или Shopify-ју погледајте апликације за чланство, проверу узраста, режим одржавања и географска преусмеравања које непознате посетиоце шаљу на страницу за пријаву или страницу земље.
- Изузмите краулер из правила или на изворном URL-у прикажите јавни сажетак затвореног садржаја уместо преусмеравања.
Како потврдити исправку
После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.