Zašto moja web-stranica odjednom blokira AI crawlere?
Web-stranica koja počne blokirati AI crawlere gotovo se uvijek promijenila na jednom od pet mjesta: u robots.txt koji se stvarno poslužuje, u postavci CDN-a poput Cloudflareovih pravila za AI crawlere, u zaštiti od botova ili ograničenju broja zahtjeva, u zadanoj postavci hostinga ili u robots.txt koji sada odgovara pogreškom. Dohvatite današnji robots.txt i jednu stranicu kao svaki crawler, usporedite ih s preglednikom i s onim što ste imali prije te provjerite te slojeve tim redoslijedom.
Nitko ne odlučuje nestati iz AI odgovora. To se događa kao nuspojava ažuriranja teme, sigurnosne postavke, migracije ili promijenjene zadane postavke kod pružatelja usluge. Preglednik i dalje normalno vidi web-stranicu, pa promjena može proći nezapaženo dok netko ne pita ChatGPT ili Perplexity o proizvodu i ne dobije konkurenta. Svaki sloj ostavlja tragove koje možete provjeriti izvana ili u svojim zapisnicima.
Na ovoj stranici
- Je li se promijenio robots.txt koji crawleri dobivaju?
- Jesu li Cloudflareova pravila za AI crawlere iz 2026. promijenila što moja web-stranica dopušta?
- Hvataju li crawlere zaštita od botova ili ograničenje broja zahtjeva?
- Je li moj pružatelj hostinga promijenio zadane postavke?
- Odgovara li robots.txt pogreškom?
- Kako saznati kada je počelo?
- Kako to sljedeći put ranije otkriti?
Je li se promijenio robots.txt koji crawleri dobivaju?
Dohvatite https://yourdomain.com/robots.txt i usporedite ga s datotekom u repozitoriju ili sigurnosnoj kopiji. Gledajte posluženu datoteku, a ne onu na disku, jer je usput može promijeniti nekoliko slojeva:
- Implementacija isporuči robots.txt s testnog okruženja s
Disallow: /ili migracija ostavi zadanu datoteku platforme. - Postavka alata za izradu web-stranica dodaje pravila za AI crawlere. Squarespace, na primjer, ima opciju Block known artificial intelligence crawlers koja u robots.txt upisuje 26 imena botova i navodi da se s vremenom mogu dodati novi. Prema zadanim postavkama je isključena, pa je netko mora uključiti, ali se popis poslije može proširiti.
- Ažuriranje SEO ili sigurnosnog dodatka upisuje nova pravila ili dodaje novu opciju koju netko uključi.
- Cloudflare stavlja svoj upravljani robots.txt ispred vaše datoteke kad je uključen Bot Preference Sync, a neko AI pravilo postavljeno na Block ili Disallow. Poslužena datoteka tada počinje s
Disallow: /zaClaudeBot,GPTBoti šest drugih tokena za treniranje, iako se vaša datoteka nije promijenila. - Pravilo namijenjeno crawleru za treniranje kopirano je na druge, uključujući crawlere za pretraživanje poput
OAI-SearchBot,Claude-SearchBotiliPerplexityBot.
Izvješće o robots.txt u Google Search Consoleu prikazuje verzije koje je Google dohvatio u posljednjih 30 dana, s novim unosom svaki put kad se datoteka ili rezultat dohvaćanja promijeni. Obuhvaća samo ono što je Google vidio, ali ako vaš poslužitelj ne mijenja robots.txt prema user agentu, AI crawleri dobili su istu datoteku.
Jesu li Cloudflareova pravila za AI crawlere iz 2026. promijenila što moja web-stranica dopušta?
Cloudflare je nekoliko puta mijenjao kontrole za AI crawlere, a neke promjene mijenjaju ponašanje zone a da je nitko ne uređuje. Od 1. srpnja 2025. pri registraciji novih domena počeo je pitati treba li dopustiti AI crawlere, s blokiranjem kao početnim stanjem. Dana 1. srpnja 2026. jedini prekidač Block AI bots zamijenio je zasebnim pravilima Search, Agent i Training, za sve planove uključujući Free.
Većinu web-stranica iznenade crawleri s više namjena. Cloudflareova dokumentacija navodi da se radnje za Training primjenjuju i na crawlere koji se koriste i za pretraživanje i za treniranje. U najavi iz srpnja 2026. navedeno je da će od 15. rujna 2026. crawleri s više namjena poput Googlebota, Applebota i BingBota biti blokirani za korisnike koji su odabrali blokiranje Traininga, bilo putem novih opcija ili stare postavke Block AI bots. Isključivanje iz treniranja postavljeno prije godinu dana zato sada može pogoditi crawlere za pretraživanje.
Zadane postavke za nove domene s vremenom su opisivane različito. Ista najava navodi da će nove domene od 15. rujna 2026. imati blokirane Training i Agent na stranicama koje prikazuju oglase, dok dokumentacija o pravilima ažurirana 2. studenoga 2026. navodi da nove domene počinju sa sve tri postavke na Allow. Otvorite Security, zatim Settings, filtrirajte prema Bot traffic i pročitajte AI Crawler and Agent access policies za svoju zonu. Naš vodič o Cloudflare AI Crawl Control objašnjava svaku postavku.
Hvataju li crawlere zaštita od botova ili ograničenje broja zahtjeva?
Zaštita od botova procjenjuje svaki zahtjev, a crawleri brzo dohvaćaju mnogo stranica iz podatkovnih centara, što je upravo ono što botovi rade. Crawler koji je prošli mjesec prolazio može početi dobivati stranice s provjerom nakon što njegov operater promijeni IP raspone ili brzinu pretraživanja, ili nakon ažuriranja pravila zaštite. Cloudflareov Bot Fight Mode čest je uzrok, a Cloudflare navodi da ga nije moguće zaobići ni preskočiti prilagođenim pravilima WAF-a ili Page Rules, pa pravilo dopuštanja dodano poslije neće pomoći dok je uključen. Novo ograničenje broja zahtjeva koje na nalete odgovara kodom 429 ima isti učinak na zaposlen crawler.
Testirajte izvana: zatražite stranicu kao preglednik i kao dva AI crawlera za pretraživanje, a zatim zatražite robots.txt kao crawler.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 ili 503 samo za crawler, stranica s naslovom Just a moment... ili tijelo odgovora mnogo manje od onoga za preglednik znači da se s crawlerom postupa drugačije. Test dolazi s vaše IP adrese, a ne s dobavljačeve, pa pravila koja se temelje na statusu provjerenog bota i dalje mogu drugačije postupati sa stvarnim crawlerom. Zapisnik događaja vatrozida pokazuje koje je pravilo odgovorilo.
Je li moj pružatelj hostinga promijenio zadane postavke?
Neki hostovi filtriraju AI promet na poslužitelju, prije nego što se izvrše vaša pravila. SiteGround je, na primjer, u kolovozu 2025. napisao da prema zadanim postavkama blokira AI crawlere namijenjene prikupljanju podataka za treniranje i dopušta crawlere koji dolaze kad osoba AI asistenta pita o nekoj stranici. Takva se pravila ne vide u vašem robots.txt i mogu se promijeniti kad host ažurira svoje popise botova.
Ako se blokada pojavi istodobno na nekoliko web-stranica kod istog hosta, ili u odgovorima koji nikad ne stignu do zapisnika vaše aplikacije, pitajte hosta koja se pravila za botove primjenjuju na vaš račun i možete li izuzeti crawlere koje želite zadržati.
Odgovara li robots.txt pogreškom?
robots.txt koji ne radi može blokirati više od bilo kojeg retka Disallow. Prema RFC 9309 odgovor 4xx znači da crawler smije dohvatiti sve, ali pogreška poslužitelja (5xx) ili izostanak odgovora znači da mora pretpostaviti da je cijela web-stranica zabranjena. Google prvih 12 sati takvih pogrešaka prestaje pretraživati, a zatim do 30 dana koristi posljednju ispravnu kopiju.
Tako skok opterećenja, pravilo vatrozida koje za /robots.txt prikazuje provjeru ili ograničenje broja zahtjeva koje ga obuhvaća mogu isključiti crawlere koji se pristojno ponašaju a da se nijedno pravilo ne promijeni. Posljednja naredba u gornjem testu trebala bi vratiti 200 i text/plain. 5xx, istek vremena ili stranica s provjerom ondje prvo je što treba popraviti.
Kako saznati kada je počelo?
Datum pretvara misterij u usporedbu dvaju stanja. U pristupnim zapisnicima filtrirajte zahtjeve s user agentima AI crawlera i potražite dan kad su se njihovi statusni kodovi promijenili s 200 na 403, 429 ili 503, ili dan kad su nakon čitanja robots.txt prestali tražiti stranice; naš vodič o provjeri zapisnika poslužitelja za AI crawlere sadrži naredbe. Zahtjevi koje je CDN blokirao nikad ne stižu do izvornog poslužitelja, pa provjerite i CDN. Na Cloudflareu AI Crawl Control prikazuje raspodjelu statusnih kodova kroz vrijeme koju možete filtrirati prema crawleru.
Zatim taj datum usporedite s implementacijama, ažuriranjima dodataka i tema, promjenama postavki CDN-a i najavama pružatelja usluga. Prije nego što nešto poduzmete, potvrdite da izvorne IP adrese pripadaju dobavljaču, kako biste gledali stvarni crawler, a ne varalicu koja koristi njegovo ime.
Kako to sljedeći put ranije otkriti?
Provjeravajte pristup nakon svake implementacije, promjene CDN-a i ažuriranja dodatka, a ne samo kad promet padne. Besplatna provjera AISeeWhy dohvaća stranicu kao 16 AI crawlera i crawlera tražilica, usporedno sa stvarnim preglednikom, primjenjuje vaš robots.txt za svaki crawler i prepoznaje stranice s provjerom vatrozida. Besplatni alat za provjeru robots.txt za svaki crawler pokazuje smije li se stranica dohvatiti prema datoteci koja je danas aktivna.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Zašto ChatGPT više ne prikazuje moju web-stranicu?
Često zato što je OAI-SearchBot, crawler iza pretraživanja u ChatGPT-u, blokiran promjenom u robots.txt, pravilom CDN-a ili zaštitom od botova. OpenAI navodi da se web-stranice koje ga blokiraju neće pojavljivati u odgovorima pretraživanja u ChatGPT-u. Provjerite svaki sloj za taj crawler i nakon popravka robots.txt pričekajte oko 24 sata, koliko prema OpenAI-ju treba njegovim sustavima da se prilagode.
Je li Cloudflare počeo blokirati Googlebot na mojoj web-stranici?
To se može dogoditi. Cloudflare je naveo da od 15. rujna 2026. korisnici koji blokiraju Training blokiraju i crawlere s više namjena poput Googlebota, Applebota i BingBota. Njegova dokumentacija navodi da opcija Training Disallow blokira crawlere za treniranje na rubu mreže, ali izostavlja crawlere s mješovitom namjenom, pa provjerite koju opciju koristi vaša zona.
Može li alat za izradu web-stranica ili dodatak promijeniti robots.txt umjesto mene?
Može. Alati za izradu web-stranica te SEO ili sigurnosni dodaci mogu upisati pravila za AI crawlere u robots.txt, a neki s vremenom proširuju svoje popise botova. Nakon svakog ažuriranja dohvatite aktivnu datoteku i pročitajte grupe koje se odnose na crawlere za pretraživanje do kojih vam je stalo.
Zašto se moj aktivni robots.txt razlikuje od datoteke na poslužitelju?
Nešto ispred vašeg poslužitelja ga mijenja. Cloudflareov upravljani robots.txt, na primjer, u istom odgovoru stavlja svoja pravila i content signals ispred vaše datoteke. CMS koji robots.txt generira na zahtjev ili postavka na razini hosta također ga mogu zamijeniti ili proširiti.
Koliko treba da se AI crawleri vrate nakon popravka?
RFC 9309 kaže da crawleri ne bi trebali koristiti predmemorirani robots.txt dulje od 24 sata, OpenAI navodi oko 24 sata, a Perplexity do 24 sata. Promjene vatrozida djeluju čim ih pružatelj usluge primijeni, ali crawleri se vraćaju prema vlastitom rasporedu.
Izvori
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers