robots.txt e lejon GPTBot, por serveri e bllokon

Përgjigje e shkurtër

robots.txt juaj e lejon këtë zvarritës ta marrë faqen, por një kërkesë me user agent-in e tij u bllokua nga serveri, një CDN ose një firewall. Politika e deklaruar dhe sjellja reale nuk përputhen. Ndryshoni rregullin e firewall-it që të përputhet me robots.txt, ose ndalojeni zvarritësin në robots.txt nëse donit ta bllokonit.

robots.access_conflict · Prioriteti: P1–P3, sipas llojit të zvarritësit

Çfarë do të thotë

Rregullat tuaja e lënë GPTBot të hyjë, por kërkesa me user agent-in e tij u bllokua. Firewall-i ose CDN-ja e anashkalon politikën që keni deklaruar.

Pse ka rëndësi për kërkimin me AI

Zvarritësit e trajtojnë robots.txt si politikën tuaj. Kur ai thotë po dhe serveri thotë 403, zvarritësi harxhon kërkesa, mund të provojë sërish më vonë dhe faqja prapë nuk hyn në indeksin e motorit të përgjigjeve. Ekipet shpesh besojnë se e lejojnë kërkimin me AI sepse kështu thotë robots.txt, ndërsa një rregull botësh e bllokon në heshtje.

Sonda punon nga një adresë IP e paverifikuar. Një rregull që e lë zvarritësin të kalojë vetëm nga gamat e tij IP të publikuara, që është një konfigurim i arsyeshëm, mund të dalë këtu edhe pse zvarritësi real hyn. Kontrolloni cili rregull u aktivizua para se të ndryshoni ndonjë gjë.

Si ta rregulloni

  1. Krahasoni grupin e robots.txt dhe statusin e kërkesës së bllokuar në gjetje. Raporti i AISeeWhy tregon provat dhe një rregullim gati për t'u ngjitur; pas kësaj klikoni "Kontrollo sërish" për ta konfirmuar rezultatin.
  2. Gjeni rregullin që e bllokoi kërkesën: në Cloudflare shikoni Security → Events dhe cilësimet AI Crawl Control dhe Bot Fight Mode; në CDN të tjera shikoni log-un e menaxhimit të botëve.
  3. Nëse doni ta lejoni zvarritësin, shtoni një përjashtim për të; nëse doni ta mbani jashtë, shtoni një grup Disallow për token-in e tij, që politika juaj të jetë e deklaruar në një vend.

Si ta konfirmoni rregullimin

Pas ndryshimit, shtypni "Kontrollo sërish" në raport: ai rendit çfarë u rregullua dhe si ndryshoi rezultati.

Kontrollo faqen time →

Udhëzues të ngjashëm

Të gjitha gjetjet dhe si funksionon rezultati