robots.txt dovoli GPTBot, strežnik pa ga blokira
Vaš robots.txt temu pajku dovoli prenos strani, vendar je zahtevo z njegovim user agentom blokiral strežnik, CDN ali požarni zid. Navedena politika in dejansko delovanje se ne ujemata. Pravilo požarnega zidu uskladite z robots.txt ali pa pajka prepovejte v robots.txt, če ste ga želeli blokirati.
Kaj pomeni
Vaša pravila GPTBot spustijo, vendar je bila zahteva z njegovim user agentom blokirana. Požarni zid ali CDN preglasi vašo navedeno politiko.
Zakaj je to pomembno za iskanje z UI
Pajki robots.txt razumejo kot vašo politiko. Ko ta reče da, strežnik pa vrne 403, pajek zapravlja zahteve, morda poskusi znova pozneje, stran pa vseeno ne pride v indeks iskalnika odgovorov. Ekipe pogosto mislijo, da iskanje z UI dovoljujejo, ker tako piše v robots.txt, medtem ko ga pravilo za bote tiho blokira.
Preizkus poteka z nepreverjenega naslova IP. Pravilo, ki pajka spusti le z njegovih objavljenih obsegov IP, kar je smiselna nastavitev, se lahko zato pojavi tukaj, čeprav pravi pajek pride skozi. Preden karkoli spremenite, preverite, katero pravilo se je sprožilo.
Kako to popraviti
- V ugotovitvi primerjajte skupino v robots.txt in status blokirane zahteve. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
- Poiščite pravilo, ki je blokiralo zahtevo: v Cloudflaru preverite Security → Events ter nastavitvi AI Crawl Control in Bot Fight Mode; pri drugih CDN preverite dnevnik upravljanja botov.
- Če želite pajka spustiti, zanj dodajte izjemo; če ga želite izključiti, za njegovo oznako dodajte skupino Disallow, da bo vaša politika navedena na enem mestu.
Kako potrditi popravek
Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.