Kako provjeriti blokira li web-stranica AI crawlere

Zalijepite bilo koju adresu i provjerite blokira li GPTBot, ClaudeBot, PerplexityBot i druge AI crawlere: u robots.txt, u vatrozidu ili na oba mjesta.

Besplatno · Bez registracije · Rezultat za 30 sekundi

Koji su crawleri blokirani

Crawleri za treniranje, pretraživanje i korisničke zahtjeve prikazani su zasebno, jer blokiranje GPTBot ne blokira OAI-SearchBot, a blokiranje ClaudeBot ne blokira Claude-SearchBot.

Redak koji odlučuje

Za svakog crawlera robots.txt se čita prema pravilima RFC 9309: grupa koja ga imenuje ili User-agent: * kao zamjena, i pravilo koje prevladava.

Odbijanja vatrozida

Stranica se traži kao 14 crawlera i kao običan preglednik. Blokade i stranice s provjerom bivaju označene, a vatrozid koji je odgovorio imenuje se.

Rješenje za svaki nalaz

Uz svaki nalaz dolazi promjena koju treba napraviti. Besplatna provjera prikazuje vaš rezultat i prvi nalaz; cijeli izvještaj košta $29, jednokratno.

Kratki odgovor

Web-stranica može blokirati AI crawlere na dva mjesta: u robots.txt, koji crawlere moli da se drže podalje, i na poslužitelju ili vatrozidu, koji ih stvarno odbija. U robots.txt potražite grupu za token svakog crawlera, a ako je nema, grupu User-agent: *. Zatim dohvatite stranicu kao crawler i usporedite je s onim što dobiva preglednik. Proširenje za preglednik dio s robots.txt obavlja za 16 AI crawlera jednim klikom.

Provjerite ručno u 3 koraka

  1. Odaberite crawler

    Svaka AI tvrtka koristi zasebne crawlere. Treniranje: GPTBot, ClaudeBot. Pretraživanje: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Na zahtjev osobe: ChatGPT-User, Claude-User, Perplexity-User.

  2. Pročitajte robots.txt za njega

    Otvorite https://example.com/robots.txt i pronađite grupu koja imenuje crawlera. Ako je nijedna ne imenuje, vrijedi grupa User-agent: *; ako nema ni nje, sve je dopušteno.

  3. Dohvatite stranicu kao crawler

    Zatražite stranicu s user agentom crawlera i usporedite status i veličinu s onima u pregledniku. Kod 403, stranica s provjerom ili mnogo manji odgovor 200 znače da ga vatrozid odbija.

Česta pitanja

Je li web-stranica bez robots.txt otvorena za AI crawlere?

Jest, što se tiče robots.txt. Odgovor 404 za robots.txt znači da pravila nema, pa svaki crawler smije dohvatiti svaku stranicu. Vatrozid i dalje može blokirati crawlere.

Pokazuje li proširenje blokade vatrozida?

Ne. Čita robots.txt iz vašeg preglednika, što pokazuje što web-stranica traži od crawlera. Za blokade vatrozida i zaštite od botova potreban je zahtjev poslan kao crawler, a to radi potpuna provjera na aiseewhy.com.

Mogu li provjeriti web-stranicu koja nije moja?

Možete. robots.txt je javan, a proširenje čita samo datoteke robots.txt i llms.txt koje web-stranica objavljuje, iste datoteke koje čita svaki crawler.

Pročitajte cijeli vodič

Bilo da nakon promjene provjeravate vlastitu web-stranicu ili gledate tuđu prije nego što se na nju oslonite, pitanje „blokira li ova web-stranica AI crawlere?“ ima precizan odgovor. Ovisi o tome na koji crawler mislite, jer AI tvrtke koriste zasebne crawlere za treniranje, za pretraživanje i za posjete uživo, a web-stranica svaki od njih može tretirati drukčije. Ovaj vodič pokazuje tri provjere, od najbrže do najpotpunije.

Gdje web-stranica može blokirati AI crawlere?

Postoje tri sloja, a crawler mora proći kroz sva tri da bi mogao koristiti stranicu.

  • robots.txt: javna datoteka s pravilima koju crawleri koji se pristojno ponašaju čitaju prije nego što išta dohvate. To je zahtjev, a ne brava.
  • Poslužitelj, CDN ili vatrozid: odlučuje što se stvarno šalje natrag. Pravilo zaštite od botova može crawleru odgovoriti kodom 403, 429 ili stranicom s provjerom čak i kad ga robots.txt dopušta.
  • Sama stranica: ako se glavni tekst pojavi tek nakon izvršavanja JavaScripta, crawler koji čita početni HTML dobiva gotovo praznu stranicu, iako ga ništa nije blokiralo.

Većina brzih provjera gleda samo prvi sloj. To je dobar početak, ako ne zaboravite na druga dva.

Kako pročitati robots.txt za jedan AI crawler?

Otvorite https://example.com/robots.txt u pregledniku i pronađite grupu koja se odnosi na crawler. Grupa počinje jednim ili više redaka User-agent. Crawler koristi grupu koja navodi njegov token, na primjer GPTBot; velika i mala slova nisu važna. Ako ga ne navodi nijedna grupa, koristi grupu User-agent: *. Ako nema ni jedne ni druge, dopušteno je sve.

Unutar grupe pobjeđuje pravilo s najduljom putanjom koja odgovara, a kad su Allow i Disallow jednako dugi, pobjeđuje Allow. Datoteka u nastavku zato blokira GPTBot na cijeloj web-stranici, a sve ostale crawlere propušta:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Pogledajte i kako datoteka odgovara. Prema RFC 9309, 404 znači da pravila nema, pa je dopušteno sve. Pogreška poslužitelja (5xx) ili izostanak odgovora znači da crawler cijelu web-stranicu mora smatrati zabranjenom. Česta je pogreška adresa robots.txt koja vraća HTML stranicu: crawleri u njoj ne pronalaze valjana pravila.

Kako provjeriti sve AI crawlere odjednom?

Ručno čitanje datoteke postaje sporo čim vam je važno više od jednog crawlera. Svaka AI tvrtka koristi nekoliko crawlera s različitim zadacima:

  • Crawleri za treniranje prikupljaju sadržaj za treniranje modela: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent te tokeni Google-Extended i Applebot-Extended, koji se pojavljuju samo u robots.txt.
  • Crawleri za pretraživanje indeksiraju stranice kako bi ih AI odgovori mogli citirati: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Korisnički crawleri dohvaćaju stranicu kad osoba to zatraži od asistenta: ChatGPT-User, Claude-User, Perplexity-User.

Besplatno proširenje Provjera AI crawlera za Chrome to radi jednim klikom. Otvorite bilo koju stranicu, kliknite ikonu i proširenje pročita robots.txt te web-stranice te za svaki od 16 crawlera pokaže je li stranica dopuštena i koji redak o tome odlučuje. Pokazuje i postavke Content-Signal, ima li web-stranica llms.txt te sitemape navedene u robots.txt. Radi u vašem pregledniku, ne traži račun i čita samo web-stranicu na kojoj ga kliknete.

Bez Chromea isti odgovor za zalijepljeni URL daje besplatna provjera robots.txt na aiseewhy.com.

Kako provjeriti propušta li ih vatrozid?

robots.txt pokazuje što web-stranica traži. Da biste vidjeli što crawler stvarno dobiva, zatražite stranicu dvaput, jednom kao preglednik i jednom s user agentom crawlera, pa usporedite statusni kod i veličinu odgovora:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ako preglednik dobije 200, a crawler 403, 429 ili 503 ili znatno manju stranicu, vatrozid ili zaštita od botova tretira crawler drukčije. Za svaki vanjski test vrijedi jedno ograničenje: dolazi iz vaše mreže, a ne iz mreže AI tvrtke. Vatrozid koji crawlerima vjeruje prema njihovim objavljenim IP adresama može pravi crawler tretirati drukčije, pa zadnju riječ imaju zapisnici vašeg poslužitelja.

Potpuna provjera na aiseewhy.com dohvaća stranicu kao svih 16 crawlera uz pravi preglednik, imenuje vatrozid ili pravilo koje blokira crawler i uspoređuje tekst koji je svaki od njih dobio.

Kojem rezultatu trebate težiti?

Ovisi o tome što želite. Ako želite biti citirani u pretraživanju ChatGPT-a, u Claudeu i u Perplexityju, crawleri za pretraživanje i korisnički crawleri moraju biti dopušteni u robots.txt i od poslužitelja moraju dobiti pravu stranicu. Ako ne želite da se vaš sadržaj koristi za treniranje, blokirajte samo tokene za treniranje. To su zasebne odluke: blokiranje GPTBot ne blokira OAI-SearchBot, a blokiranje ClaudeBot ne blokira Claude-SearchBot.

Mnoge ih web-stranice miješaju. U našem izvještaju iz studenoga 2026. o 1.000 najpopularnijih domena 63 % web-stranica koje blokiraju crawler za treniranje blokira i barem jedan AI crawler za pretraživanje ili korisnički crawler, čime svoje stranice drže izvan tih AI odgovora.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Izvori

Još članaka

Objavljeno