robots.txt nije moguće dohvatiti
Dohvaćanje /robots.txt nije uspjelo: poslužitelj je odgovorio statusom 5xx ili 429 ili uopće nije odgovorio. Prema RFC 9309 crawleri tada cijelu web-stranicu smatraju zabranjenom. Neka /robots.txt vraća status 200 s običnim tekstom ili 404 ako nemate pravila.
Što to znači
robots.txt je odgovorio statusom 403 ili nije odgovorio. Prema RFC 9309 crawleri tada cijelu web-stranicu smatraju zabranjenom.
Zašto je to važno za AI pretraživanje
RFC 9309 kaže da crawler koji zbog pogreške poslužitelja ne može doći do robots.txt mora pretpostaviti potpunu zabranu. Googlebot, Bingbot i AI crawleri koji slijede standard prestaju dohvaćati stranice dok robots.txt ponovno ne odgovori, pa jedna neispravna datoteka može sakriti cijelu web-stranicu.
Datoteka koja nedostaje nešto je drugo: 404 ili neki drugi status 4xx znači da pravila nema, pa je sve dopušteno i AISeeWhy ništa ne prijavljuje. Problem su samo pogreške poslužitelja, ograničenja broja zahtjeva (429) i zahtjevi koji isteknu ili budu odbijeni prije nego što stigne ikakav status.
Kako to ispraviti
- Otvorite
https://your-domain/robots.txtizvan svoje mreže i zabilježite status. Revizija ga dohvaća s user agentom preglednika. - Ako je 5xx, provjerite rutu na izvornom poslužitelju: okviri poput Next.js poslužuju ga iz
public/robots.txtiliapp/robots.ts, a WordPress ga generira dinamički, pa ga PHP pogreška pokvari. - Ako je 429 ili istek vremena, izuzmite
/robots.txtiz ograničenja broja zahtjeva i provjera botova u CDN-u ili WAF-u. - Spremite robots.txt u predmemoriju CDN-a kako bi odgovarao i kada je izvorni poslužitelj spor. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.
Kako potvrditi ispravak
Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.