GPTBot получава страница заместител

Кратък отговор

Ботът получи статус 200, но не и истинската страница. Видимият ѝ текст е под 15% от този, който получи браузърът, или съдържа фраза за блокиране като „access denied“ или „are you a robot“, която страницата в браузъра няма. Намерете правилото за ботове, което връща тази заместваща страница, и оставете бота да види цялата страница.

access.soft_block · Приоритет: P1–P3, според типа бот

Какво означава

Заявка с user agent на GPTBot получи статус 200, но текстът на страницата е съобщение за блокиране или е много по-кратък от това, което получава браузърът.

Защо това е важно за AI търсенето

Мекото блокиране се забелязва по-трудно от 403, защото логовете и мониторингът на достъпността показват 200. Ботът запазва текста, който е получил, така че AI търсачка може да индексира страница с текст „включете JavaScript и бисквитките“ вместо вашето съдържание или да отхвърли страницата като бедна на съдържание.

Проверката се изпълнява само когато версията за браузър има поне 200 знака текст. Двата отговора се изтеглят от един и същ сървър с броени мигове разлика, така че голямата разлика в текста идва от начина, по който системата ви третира user agent на бота, а не от мрежата или от промяна в съдържанието.

Как да го поправите

  1. Сравнете дължината на текста и откритата фраза в доказателствата от отчета с версията за браузър. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
  2. Потърсете функции за управление на ботове, които отговарят с междинна страница вместо с грешка: страници за проверка или за откриване на JavaScript в Cloudflare, страници за ботове на Imperva и Akamai или плъгин тип „потвърдете, че сте човек“.
  3. Проверете правилата за динамично рендериране или кеширане, които връщат друг шаблон на ботовете, както и инструменти за A/B тестове или геолокация, които подменят страницата за непознати посетители.
  4. Добавете изключение за бота в правилото, което връща заместващата страница, проверено чрез IP диапазон или обратен DNS, ако платформата ви го поддържа.

Как да потвърдите корекцията

След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.

Проверете страницата ми →

Свързани ръководства

Всички находки и как работи оценката