robots.txt dovoli GPTBot, strežnik pa ga blokira

Kratek odgovor

Vaš robots.txt temu pajku dovoli prenos strani, vendar je zahtevo z njegovim user agentom blokiral strežnik, CDN ali požarni zid. Navedena politika in dejansko delovanje se ne ujemata. Pravilo požarnega zidu uskladite z robots.txt ali pa pajka prepovejte v robots.txt, če ste ga želeli blokirati.

robots.access_conflict · Prioriteta: P1–P3, glede na vrsto pajka

Kaj pomeni

Vaša pravila GPTBot spustijo, vendar je bila zahteva z njegovim user agentom blokirana. Požarni zid ali CDN preglasi vašo navedeno politiko.

Zakaj je to pomembno za iskanje z UI

Pajki robots.txt razumejo kot vašo politiko. Ko ta reče da, strežnik pa vrne 403, pajek zapravlja zahteve, morda poskusi znova pozneje, stran pa vseeno ne pride v indeks iskalnika odgovorov. Ekipe pogosto mislijo, da iskanje z UI dovoljujejo, ker tako piše v robots.txt, medtem ko ga pravilo za bote tiho blokira.

Preizkus poteka z nepreverjenega naslova IP. Pravilo, ki pajka spusti le z njegovih objavljenih obsegov IP, kar je smiselna nastavitev, se lahko zato pojavi tukaj, čeprav pravi pajek pride skozi. Preden karkoli spremenite, preverite, katero pravilo se je sprožilo.

Kako to popraviti

  1. V ugotovitvi primerjajte skupino v robots.txt in status blokirane zahteve. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
  2. Poiščite pravilo, ki je blokiralo zahtevo: v Cloudflaru preverite Security → Events ter nastavitvi AI Crawl Control in Bot Fight Mode; pri drugih CDN preverite dnevnik upravljanja botov.
  3. Če želite pajka spustiti, zanj dodajte izjemo; če ga želite izključiti, za njegovo oznako dodajte skupino Disallow, da bo vaša politika navedena na enem mestu.

Kako potrditi popravek

Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.

Preveri mojo stran →

Sorodni vodniki

Vse ugotovitve in kako deluje ocena