robots.txt го дозволува GPTBot, но серверот го блокира
Вашиот robots.txt му дозволува на овој краулер да ја преземе страницата, но барањето со неговиот user agent беше блокирано од серверот, CDN или заштитен ѕид. Наведената политика и вистинското однесување не се совпаѓаат. Променете го правилото на заштитниот ѕид за да одговара на robots.txt, или забранете го краулерот во robots.txt ако сте сакале да го блокирате.
Што значи
Вашите правила го пуштаат GPTBot, но барањето со неговиот user agent беше блокирано. Заштитниот ѕид или CDN-от ја надвладува вашата наведена политика.
Зошто е важно за AI пребарувањето
Краулерите го сметаат robots.txt за ваша политика. Кога тој вели да, а серверот враќа 403, краулерот троши барања, може да се обиде повторно подоцна, а страницата сепак не влегува во индексот на моторот за одговори. Тимовите често веруваат дека го дозволуваат AI пребарувањето затоа што така пишува во robots.txt, додека правило за ботови тивко го блокира.
Пробата се извршува од непотврдена IP адреса. Правило што го пушта краулерот само од неговите објавени IP опсези, што е разумно поставување, затоа може да се појави тука иако вистинскиот краулер влегува. Проверете кое правило се активирало пред да менувате што било.
Како да се поправи
- Споредете ја групата во robots.txt и статусот на блокираното барање во наодот. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
- Најдете го правилото што го блокирало барањето: на Cloudflare проверете Security → Events и поставките AI Crawl Control и Bot Fight Mode; на други CDN проверете го дневникот за управување со ботови.
- Ако сакате да го пуштите краулерот, додајте исклучок за него; ако сакате да го задржите надвор, додајте група Disallow за неговата ознака, за вашата политика да биде наведена на едно место.
Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.