AI crawleri i AEO, objašnjeno
Praktični vodiči za vlasnike web-stranica, marketinške stručnjake i programere: koji AI crawleri postoje, što smiju čitati i kako osigurati da AI odgovori mogu pročitati i citirati vaše stranice.
Koliko web-mjesta objavljuje llms.txt? Provjerili smo 10.000 domena
12,4% od 10.000 najpopularnijih domena objavljuje llms.txt, a ta web-mjesta mnogo rjeđe blokiraju AI crawlere. Što podaci pokazuju, a što ne.
Pročitajte članak →Istraživanje AI crawleraPročitali smo robots.txt 10.000 najpopularnijih web-mjesta. Evo što rade s AI crawlerima
23% popularnih domena blokira AI crawler za treniranje, 12% AI crawler za pretraživanje, a polovica prve skupine blokira oba. Podaci iz 10.000 datoteka robots.txt.
Pročitajte članak →Pristup crawleraČetiri od deset poslovnih web-mjesta odbijaju AI crawlere
Testirali smo 165 web-mjesta tvrtki u SAD-u, UK-u i Francuskoj kao 14 AI crawlera: 38% ih je odbilo, a 10% i AI crawler za pretraživanje. Što to znači i kako provjeriti.
Pročitajte članak →Testiranje crawleraŠto AI crawleri zapravo dobivaju s vaše stranice? Skripta od 66 redaka
Dohvatite stranicu kao OAI-SearchBot, ClaudeBot, PerplexityBot i preglednik te usporedite status, veličinu i robots.txt. Hvata 403, challenge stranice i tanke odgovore.
Pročitajte članak →SEO za AISEO 2.0: kako su AI pretraživanje i asistenti promijenili SEO, sloj po sloj
SEO 2.0 objašnjen: kako su AI pretraživanje i asistenti promijenili SEO i pet slojeva koje danas treba provjeriti (SEO osnova, AEO, GEO, AIO, SXO), s popisom.
Pročitajte članak →AI citati12 načina da AI odgovori citiraju vašu web-stranicu (2027)
12 dokumentiranih načina da vas citiraju ChatGPT, Claude, Perplexity i Google AI Overviews: pristup crawlera, odgovor na početku, jasne činjenice, oznake i unosi.
Pročitajte članak →AEO popis provjera12 AEO provjera koje treba napraviti prije objave stranice (2027)
AEO popis prije objave: 12 provjera s naredbama za status, robots.txt, vatrozid, sirovi HTML, noindex, canonical, oznake, datume, sitemap i indeksiranje.
Pročitajte članak →Proizvodi u AI odgovorima11 načina da vaši proizvodi uđu u AI odgovore (2027)
Kako proizvode i cijene uvesti u odgovore ChatGPT-a, Perplexityja i Google AI-ja: cijene kao tekst, Product oznake, dostava, povrat, feedovi i recenzije.
Pročitajte članak →Pristup ClaudeaVidi li Claude moju web-stranicu? Kako to provjeriti
Saznajte za 5 minuta može li Claude čitati i citirati vašu stranicu: robots.txt za Claude-SearchBot i Claude-User, test vatrozida, zapisnici i test u Claudeu.
Pročitajte članak →Pristup GeminijaVidi li Gemini moju web-stranicu? Kako to provjeriti
Za 5 minuta saznajte može li Gemini koristiti i citirati vašu stranicu: Googleov indeks, token Google-Extended, test vatrozida za Googlebot i test u Geminiju.
Pročitajte članak →AI prometKako u Google Analyticsu pratiti promet iz ChatGPT-a i drugih AI asistenata
Posjeti iz ChatGPT-a, Geminija, Claudea, Perplexityja i Copilota u GA4: kanal AI Assistant, prilagođena grupa kanala s regexom i što analitika ne može pokazati.
Pročitajte članak →Pristup crawleraZašto moja web-stranica odjednom blokira AI crawlere?
AI crawleri prošli mjesec mogli su čitati vašu stranicu, a sada ne? Provjerite posluženi robots.txt, Cloudflareova AI pravila iz 2026., zaštitu od botova i hosting.
Pročitajte članak →Content SignalsŠto je Content-Signal u robots.txt i poštuje li ga itko?
Što kaže redak Content-Signal u robots.txt, kako napisati search, ai-input i ai-train, što Cloudflare dodaje umjesto vas i koji AI crawleri dokumentiraju podršku.
Pročitajte članak →Opterećenje od crawleraKako usporiti AI crawlere bez blokiranja
AI crawleri preopterećuju poslužitelj? Usporite ih i ostanite u AI odgovorima: Crawl-delay gdje radi, 429 ili 503 s Retry-After, ograničenja po crawleru, predmemoriranje.
Pročitajte članak →AI sadržajSmijem li koristiti sadržaj iz ChatGPT-a na svojoj web-stranici?
Što OpenAI-jevi uvjeti, Googleova pravila o spamu i US Copyright Office kažu o objavi teksta iz ChatGPT-a: vlasništvo, autorsko pravo, označavanje i provjera.
Pročitajte članak →Vidljivost brenda u AI-juKako provjeriti spominju li ChatGPT, Perplexity ili Google AI Mode vaš brend
Kako provjeriti spominju li, citiraju ili povezuju ChatGPT, Perplexity, Claude, Gemini i Google AI Mode vaš brend te što mogu izmjeriti Search Console i analitika.
Pročitajte članak →Vidljivost u odnosu na konkurenteMoj se konkurent pojavljuje u ChatGPT-u i Perplexityju, a ja ne. Kako saznati zašto?
Redoslijed dijagnoze kad AI odgovori citiraju konkurenta, a ne vas: najprije pristup crawlera, zatim odgovori, činjenice, dosljednost, vanjska spominjanja i datumi.
Pročitajte članak →Testiranje robots.txtKako testirati pravila robots.txt za URL i određeni crawler?
Testirajte pravila robots.txt za jedan URL i crawler: podudaranje po RFC 9309, primjeri, Googleov parser otvorenog koda, Pythonov robotparser i što je zamijenilo tester.
Pročitajte članak →Cloudflareove AI kontroleKako čitati Cloudflareovo izvješće AI Crawl Control i vidjeti koji AI crawleri prolaze
Gdje je Cloudflareovo izvješće o AI crawlerima, što znači svaki stupac, kako dopustiti AI crawlere za pretraživanje i blokirati treniranje te kako testirati s curl.
Pročitajte članak →Provjera crawleraUser agenti i rasponi IP adresa AI crawlera: GPTBot, ClaudeBot, PerplexityBot i drugi
Nizovi user agenta za GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, bingbot, Applebot i CCBot, službeni popisi IP adresa i kako provjeriti zahtjev.
Pročitajte članak →Osnove AEO-aŠto je AEO (optimizacija za tražilice odgovora) i zašto je važan?
AEO objašnjen: što su tražilice odgovora, kako se AEO odnosi prema SEO-u i GEO-u, četiri praktična dijela, kontrolni popis, mjerenje rezultata i pitanja za pružatelja.
Pročitajte članak →Strukturirani podaci FAQŠto je FAQ shema (oznaka FAQPage) i pomaže li još u 2026.?
FAQ shema objašnjena: što je oznaka FAQPage, zašto je Google u svibnju 2026. prestao prikazivati obogaćene rezultate FAQ, što još može za AI odgovore, primjer JSON-LD.
Pročitajte članak →SitemapiŠto znače pogreške sitemapa u Google Search Consoleu i kako ih ispraviti?
Što u Google Search Consoleu znače Couldn't fetch, Sitemap could not be read i Has errors, kako izvana testirati sitemap i kako ispraviti svaku pogrešku.
Pročitajte članak →hreflangŠto je hreflang x-default i kada vam treba?
Što znači hreflang x-default, kada ga Google preporučuje i kako ga dodati u HTML, HTTP zaglavlja ili XML sitemap, uz pogreške zbog kojih Google zanemaruje hreflang.
Pročitajte članak →llms-full.txtŠto je llms-full.txt i trebate li ga objaviti uz llms.txt?
Što je llms-full.txt, po čemu se razlikuje od llms.txt i .md stranica, tko ga objavljuje, što AI crawleri o njemu dokumentiraju te kako ga izraditi i provjeriti.
Pročitajte članak →Pristup crawleraKako provjeriti blokira li web-stranica AI crawlere
Tri načina da provjerite blokira li web-stranica GPTBot, ClaudeBot, PerplexityBot i druge AI crawlere: robots.txt, svi crawleri jednim klikom i test vatrozida.
Pročitajte članak →Vidljivost u PerplexityjuZašto se moja web-stranica ne prikazuje u Perplexityju?
Zašto Perplexity možda ne prikazuje ili ne citira vašu web-stranicu: PerplexityBot i Perplexity-User, robots.txt, vatrozidi, JavaScript i objavljeni IP rasponi.
Pročitajte članak →Treniranje i pretraživanjeKako blokirati AI treniranje, a ostati u odgovorima AI pretraživanja
Blokirajte GPTBot, ClaudeBot i Google-Extended, a ostanite u odgovorima ChatGPT-a, Claudea, Perplexityja i Googlea: tokeni, robots.txt i Content-Signal.
Pročitajte članak →Zapisnici poslužiteljaKako u zapisnicima poslužitelja provjeriti AI crawlere
Pronađite GPTBot, ClaudeBot, PerplexityBot i ostale AI crawlere u zapisnicima nginxa i Apachea pomoću grep i awk te ih provjerite po IP rasponu ili obrnutom DNS-u.
Pročitajte članak →Googleove AI značajkeUklanja li vas blokiranje Google-Extended iz AI Overviews i AI Mode?
Što Google dokumentira o Google-Extended, Googlebotu, AI Overviews i AI Mode: čemu služi svaka kontrola, isključenje u Search Consoleu i što provjeriti.
Pročitajte članak →Pristup ChatGPT-aVidi li ChatGPT moju web-stranicu? Kako to provjeriti
Saznajte za 5 minuta može li ChatGPT čitati i citirati vašu stranicu: robots.txt za OAI-SearchBot, test vatrozida, provjera curlom i test u ChatGPT-u.
Pročitajte članak →OpenAI-jevi crawleriOpenAI-jevi crawleri: GPTBot, OAI-SearchBot i ChatGPT-User
Što rade tri OpenAI-jeva crawlera, njihovi nizovi user agenta i popisi IP adresa, koji token u robots.txt što kontrolira i što mijenja blokiranje svakog od njih.
Pročitajte članak →Vatrozidi i CDN-oviBlokira li Cloudflare AI crawlere? Kako to otkriti i ispraviti
Zašto Cloudflare i drugi WAF-ovi AI crawlerima šalju 403 ili stranicu s provjerom, kako to uočiti i kako sigurno propustiti AI crawlere za pretraživanje.
Pročitajte članak →robots.txtrobots.txt za AI crawlere: što dopustiti, a što blokirati
Kako napisati robots.txt za AI crawlere: dopustite AI pretraživanje, odlučite o treniranju, token za svaki crawler, pravila podudaranja RFC 9309 i česte pogreške.
Pročitajte članak →llms.txtŠto je llms.txt i isplati li se dodati ga?
llms.txt objašnjen: što je taj prijedlog, njegov format u Markdownu, tko ga danas čita i kako ga napisati za deset minuta, uz iskren pogled na prihvaćenost.
Pročitajte članak →Osnove AEO-aAEO i SEO: što je isto, a što se mijenja za AI odgovore
AEO u usporedbi sa SEO-om: što ostaje isto, što se mijenja za AI odgovore (pristup, odgovor na početku, entiteti, ažurnost) i kontrolni popis.
Pročitajte članak →Claudeovi crawleriAnthropicovi crawleri: ClaudeBot, Claude-SearchBot i Claude-User
Tri Anthropicova web-agenta: čemu služe ClaudeBot, Claude-SearchBot i Claude-User, njihovi tokeni u robots.txt i što mijenja blokiranje svakog od njih.
Pročitajte članak →Crawleri PerplexityjaCrawleri Perplexityja: PerplexityBot i Perplexity-User
Dva agenta Perplexityja: čemu služe PerplexityBot i Perplexity-User, kojim upravlja robots.txt i kako ih propustiti ili blokirati na vatrozidu.
Pročitajte članak →Strukturirani podaciStrukturirani podaci za AI pretraživanje i AI odgovore: što označiti i kako
Koje oznake schema.org pomažu AI odgovorima pročitati stranicu: Organization sa sameAs, datumi i autor za Article, FAQPage i Product s cijenom, u JSON-LD-u.
Pročitajte članak →Renderiranje JavaScriptomMogu li AI crawleri pročitati sadržaj koji renderira JavaScript?
Zašto sadržaj koji renderira samo JavaScript AI crawlerima često nedostaje, kako provjeriti što dobivaju i kako to ispraviti SSR-om ili statičkim HTML-om.
Pročitajte članak →