robots.txt nije moguće dohvatiti

Kratki odgovor

Dohvaćanje /robots.txt nije uspjelo: poslužitelj je odgovorio statusom 5xx ili 429 ili uopće nije odgovorio. Prema RFC 9309 crawleri tada cijelu web-stranicu smatraju zabranjenom. Neka /robots.txt vraća status 200 s običnim tekstom ili 404 ako nemate pravila.

robots.unreachable · Prioritet: P1

Što to znači

robots.txt je odgovorio statusom 403 ili nije odgovorio. Prema RFC 9309 crawleri tada cijelu web-stranicu smatraju zabranjenom.

Zašto je to važno za AI pretraživanje

RFC 9309 kaže da crawler koji zbog pogreške poslužitelja ne može doći do robots.txt mora pretpostaviti potpunu zabranu. Googlebot, Bingbot i AI crawleri koji slijede standard prestaju dohvaćati stranice dok robots.txt ponovno ne odgovori, pa jedna neispravna datoteka može sakriti cijelu web-stranicu.

Datoteka koja nedostaje nešto je drugo: 404 ili neki drugi status 4xx znači da pravila nema, pa je sve dopušteno i AISeeWhy ništa ne prijavljuje. Problem su samo pogreške poslužitelja, ograničenja broja zahtjeva (429) i zahtjevi koji isteknu ili budu odbijeni prije nego što stigne ikakav status.

Kako to ispraviti

  1. Otvorite https://your-domain/robots.txt izvan svoje mreže i zabilježite status. Revizija ga dohvaća s user agentom preglednika.
  2. Ako je 5xx, provjerite rutu na izvornom poslužitelju: okviri poput Next.js poslužuju ga iz public/robots.txt ili app/robots.ts, a WordPress ga generira dinamički, pa ga PHP pogreška pokvari.
  3. Ako je 429 ili istek vremena, izuzmite /robots.txt iz ograničenja broja zahtjeva i provjera botova u CDN-u ili WAF-u.
  4. Spremite robots.txt u predmemoriju CDN-a kako bi odgovarao i kada je izvorni poslužitelj spor. Izvješće AISeeWhy prikazuje dokaze i gotov ispravak za lijepljenje; nakon toga pokrenite „Provjeri ponovno“ da potvrdite rezultat.

Kako potvrditi ispravak

Nakon promjene u izvještaju pritisnite „Provjeri ponovno”: navest će što je ispravljeno i kako se ocjena promijenila.

Provjeri moju stranicu →

Povezani vodiči

Svi nalazi i kako se računa ocjena