robots.txt lubab roboti GPTBot, kuid server blokeerib selle

Lühike vastus

Sinu robots.txt lubab sellel robotil lehte laadida, kuid päringu selle user agent'iga blokeeris server, CDN või tulemüür. Väljendatud poliitika ja tegelik käitumine ei klapi. Muuda tulemüüri reeglit nii, et see vastaks robots.txt-le, või keela robot robots.txt-s, kui soovisid selle blokeerida.

robots.access_conflict · Prioriteet: P1–P3, sõltuvalt roboti tüübist

Mida see tähendab

Sinu reeglid lasevad roboti GPTBot sisse, kuid päring selle user agent'iga blokeeriti. Tulemüür või CDN tühistab sinu väljendatud poliitika.

Miks see AI-otsingu jaoks oluline on

Robotid peavad robots.txt-d sinu poliitikaks. Kui see ütleb jah ja server ütleb 403, raiskab robot päringuid, võib hiljem uuesti proovida ja leht ei jõua ikkagi vastusemootori indeksisse. Meeskonnad usuvad sageli, et lubavad AI-otsingut, sest robots.txt nii ütleb, samal ajal kui robotireegel selle vaikselt blokeerib.

Test tehakse kinnitamata IP-aadressilt. Reegel, mis laseb roboti läbi ainult selle avaldatud IP-vahemikest (mis on mõistlik seadistus), võib seetõttu siin ilmuda, kuigi päris robot pääseb sisse. Enne muutmist kontrolli, milline reegel rakendus.

Kuidas seda parandada

  1. Võrdle leius robots.txt gruppi ja blokeeritud päringu olekukoodi. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.
  2. Leia reegel, mis päringu blokeeris: Cloudflare'is vaata jaotist Security → Events ning AI Crawl Controli ja Bot Fight Mode'i seadeid; teistes CDN-ides vaata robotihalduse logi.
  3. Kui soovid robotit sisse lasta, lisa sellele erand; kui soovid selle välja jätta, lisa selle tunnusele Disallow-grupp, et sinu poliitika oleks kirjas ühes kohas.

Kuidas parandust kinnitada

Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.

Kontrolli minu lehte →

Seotud juhendid

Kõik leiud ja kuidas skoor arvutatakse