robots.txt позволява GPTBot, но сървърът го блокира
Вашият robots.txt позволява на този бот да изтегли страницата, но заявка с неговия user agent беше блокирана от сървъра, CDN или защитна стена. Заявената политика и реалното поведение се разминават. Променете правилото в защитната стена според robots.txt или забранете бота в robots.txt, ако сте искали да го блокирате.
Какво означава
Правилата ви пускат GPTBot, но заявката с неговия user agent беше блокирана. Защитната стена или CDN отменя заявената ви политика.
Защо това е важно за AI търсенето
Ботовете приемат robots.txt за ваша политика. Когато той казва „да“, а сървърът отговаря с 403, ботът хаби заявки, може да опита отново по-късно, а страницата пак не попада в индекса на AI търсачката. Екипите често вярват, че допускат AI търсенето, защото robots.txt го казва, докато правило за ботове тихо го блокира.
Проверката идва от непроверен IP адрес. Правило, което пропуска бота само от публикуваните му IP диапазони, което е разумна настройка, може затова да се появи тук, макар истинският бот да влиза. Проверете кое правило се е задействало, преди да променяте каквото и да е.
Как да го поправите
- Сравнете групата в robots.txt и статуса на блокираната заявка в находката. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
- Намерете правилото, което е блокирало заявката: в Cloudflare проверете Security → Events и настройките AI Crawl Control и Bot Fight Mode; в други CDN проверете лога за управление на ботове.
- Ако искате да допуснете бота, добавете изключение за него; ако искате да го спрете, добавете група Disallow за неговия токен, така че политиката ви да е записана на едно място.
Как да потвърдите корекцията
След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.