GPTBot получава страница заместител
Ботът получи статус 200, но не и истинската страница. Видимият ѝ текст е под 15% от този, който получи браузърът, или съдържа фраза за блокиране като „access denied“ или „are you a robot“, която страницата в браузъра няма. Намерете правилото за ботове, което връща тази заместваща страница, и оставете бота да види цялата страница.
Какво означава
Заявка с user agent на GPTBot получи статус 200, но текстът на страницата е съобщение за блокиране или е много по-кратък от това, което получава браузърът.
Защо това е важно за AI търсенето
Мекото блокиране се забелязва по-трудно от 403, защото логовете и мониторингът на достъпността показват 200. Ботът запазва текста, който е получил, така че AI търсачка може да индексира страница с текст „включете JavaScript и бисквитките“ вместо вашето съдържание или да отхвърли страницата като бедна на съдържание.
Проверката се изпълнява само когато версията за браузър има поне 200 знака текст. Двата отговора се изтеглят от един и същ сървър с броени мигове разлика, така че голямата разлика в текста идва от начина, по който системата ви третира user agent на бота, а не от мрежата или от промяна в съдържанието.
Как да го поправите
- Сравнете дължината на текста и откритата фраза в доказателствата от отчета с версията за браузър. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
- Потърсете функции за управление на ботове, които отговарят с междинна страница вместо с грешка: страници за проверка или за откриване на JavaScript в Cloudflare, страници за ботове на Imperva и Akamai или плъгин тип „потвърдете, че сте човек“.
- Проверете правилата за динамично рендериране или кеширане, които връщат друг шаблон на ботовете, както и инструменти за A/B тестове или геолокация, които подменят страницата за непознати посетители.
- Добавете изключение за бота в правилото, което връща заместващата страница, проверено чрез IP диапазон или обратен DNS, ако платформата ви го поддържа.
Как да потвърдите корекцията
След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.