GPTBot добива празна страница
Краулерот доби статус 200, но не и вистинската страница. Неговиот видлив текст е под 15% од она што го доби прелистувачот, или содржи фраза за блокирање како „access denied“ или „are you a robot“ што ја нема на страницата во прелистувачот. Најдете го правилото за ботови што ја сервира оваа празна страница и дозволете му на краулерот да ја види целата страница.
Што значи
Барање со user agent-от на GPTBot доби статус 200, но текстот на страницата е известување за блокирање или е многу пократок од она што го добива прелистувачот.
Зошто е важно за AI пребарувањето
Мекото блокирање е потешко да се забележи од 403, бидејќи дневниците и мониторите за достапност покажуваат 200. Краулерот го зачувува текстот што го добил, па моторот за одговори може да индексира страница на која пишува „овозможете JavaScript и колачиња“ наместо вашата содржина, или да ја отфрли страницата како сиромашна.
Проверката се извршува само кога верзијата за прелистувач има најмалку 200 знаци текст. Двата одговора се преземаат од ист сервер во размак од миг, па големата разлика во текстот доаѓа од тоа како вашиот систем постапува со user agent-от на краулерот, а не од мрежата или од промена на содржината.
Како да се поправи
- Споредете ја должината на текстот и пронајдената фраза во доказите од извештајот со верзијата за прелистувач. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
- Побарајте функции за управување со ботови што одговараат со меѓустраница наместо со грешка: страници со предизвик или JavaScript детекција на Cloudflare, страници за ботови на Imperva и Akamai, или приклучок „потврдете дека сте човек“.
- Проверете ги правилата за динамичко рендерирање или кеширање што им сервираат друг шаблон на ботовите, како и алатките за A/B тестирање или геолокација што ја заменуваат страницата за непознати посетители.
- Додајте исклучок за краулерот во правилото што ја сервира празната страница, потврден преку IP опсег или обратен DNS каде што вашата платформа го поддржува тоа.
Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.