robots.txt dopušta GPTBot, ali ga poslužitelj blokira
Vaš robots.txt dopušta ovom crawleru dohvaćanje stranice, ali je zahtjev s njegovim user agentom blokirao poslužitelj, CDN ili vatrozid. Navedena pravila i stvarno ponašanje se ne slažu. Promijenite pravilo vatrozida tako da odgovara robots.txt ili zabranite crawler u robots.txt ako ste ga htjeli blokirati.
Što to znači
Vaša pravila propuštaju GPTBot, a ipak je zahtjev s njegovim user agentom blokiran. Vatrozid ili CDN nadjačava vaše navedeno pravilo.
Zašto je to važno za AI pretraživanje
Crawleri robots.txt smatraju vašim pravilima. Kada on kaže da, a poslužitelj vrati 403, crawler troši zahtjeve, možda pokuša ponovno kasnije, a stranica ipak ne ulazi u indeks AI tražilice. Timovi često vjeruju da dopuštaju AI pretraživanje jer tako piše u robots.txt, dok ga pravilo za botove tiho blokira.
Proba se izvodi s neprovjerene IP adrese. Pravilo koje crawler propušta samo iz njegovih objavljenih IP raspona, što je razumna postavka, zato se ovdje može pojaviti iako pravi crawler prolazi. Prije ikakve promjene provjerite koje se pravilo aktiviralo.
Kako to ispraviti
- Usporedite grupu u robots.txt i status blokiranog zahtjeva u nalazu. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
- Pronađite pravilo koje je blokiralo zahtjev: na Cloudflareu provjerite Security → Events i postavke AI Crawl Control i Bot Fight Mode; na drugim CDN-ovima provjerite zapisnik upravljanja botovima.
- Ako želite pustiti crawler, dodajte iznimku za njega; ako ga ne želite, dodajte grupu Disallow za njegov token kako bi vaša pravila bila navedena na jednom mjestu.
Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.