robots.txt дозвољава GPTBot, али га сервер блокира

Кратак одговор

Ваш robots.txt дозвољава овом краулеру да преузме страницу, али је захтев са његовим user agent-ом блокирао сервер, CDN или заштитни зид. Наведена политика и стварно понашање се не слажу. Измените правило заштитног зида тако да одговара robots.txt-у или забраните краулер у robots.txt ако сте хтели да га блокирате.

robots.access_conflict · Приоритет: P1–P3, према типу краулера

Шта то значи

Ваша правила пуштају GPTBot, али је захтев са његовим user agent-ом блокиран. Заштитни зид или CDN надјачава вашу наведену политику.

Зашто је ово важно за AI претрагу

Краулери robots.txt сматрају вашом политиком. Када он каже да, а сервер одговори 403, краулер троши захтеве, можда покуша поново касније, а страница ипак не стигне у индекс AI претраживача. Тимови често верују да дозвољавају AI претрагу јер тако пише у robots.txt, док је правило за ботове тихо блокира.

Проба се шаље са непроверене IP адресе. Правило које краулер пропушта само са његових објављених IP опсега, што је разумно подешавање, зато може да се појави овде иако прави краулер пролази. Пре било какве промене проверите које се правило активирало.

Како да исправите

  1. Упоредите групу у robots.txt и статус блокираног захтева у налазу. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
  2. Пронађите правило које је блокирало захтев: на Cloudflare-у проверите Security → Events и подешавања AI Crawl Control и Bot Fight Mode; на другим CDN-овима проверите лог управљања ботовима.
  3. Ако желите да пустите краулер, додајте изузетак за њега; ако желите да га не пустите, додајте групу Disallow за његов токен, да би ваша политика била наведена на једном месту.

Како потврдити исправку

После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.

Провери моју страницу →

Сродни водичи

Сви налази и како функционише оцена