GPTBot добија празну страницу

Кратак одговор

Краулер је добио статус 200, али не и праву страницу. Њен видљиви текст има мање од 15% онога што је добио прегледач или садржи фразу блокаде као што је „access denied“ или „are you a robot“, које нема на страници за прегледач. Пронађите правило за ботове које враћа ову замену и омогућите краулеру да види целу страницу.

access.soft_block · Приоритет: P1–P3, према типу краулера

Шта то значи

Захтев са user agent-ом GPTBot добио је статус 200, али текст странице је обавештење о блокирању или је много краћи од онога што добија прегледач.

Зашто је ово важно за AI претрагу

Меку блокаду је теже уочити од 403, јер логови и монитори доступности показују 200. Краулер чува текст који је добио, па AI претраживач може да индексира страницу на којој пише „укључите JavaScript и колачиће“ уместо вашег садржаја или да је одбаци као сиромашну садржајем.

Провера се покреће само када верзија за прегледач има најмање 200 знакова текста. Оба одговора се преузимају са истог сервера у размаку од тренутка, па велика разлика у тексту потиче од тога како ваш систем третира user agent краулера, а не од мреже или промене садржаја.

Како да исправите

  1. Упоредите дужину текста и пронађену фразу у доказима извештаја са верзијом за прегледач. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
  2. Потражите функције за управљање ботовима које одговарају међустраницом уместо грешке: Cloudflare странице са изазовом или откривањем JavaScript-а, странице за ботове Imperva и Akamai или додатак „потврдите да сте човек“.
  3. Проверите динамичко рендеровање или правила кеша која ботовима враћају други шаблон, као и алате за A/B тестирање или геолокацију који непознатим посетиоцима замењују страницу.
  4. Додајте изузетак за краулер у правило које враћа замену, проверен IP опсегом или обрнутим DNS-ом где ваша платформа то подржава.

Како потврдити исправку

После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.

Провери моју страницу →

Сродни водичи

Сви налази и како функционише оцена