AI краулери и AEO, објашњено
Практични водичи за власнике сајтова, маркетиншке стручњаке и програмере: који AI краулери постоје, шта смеју да читају и како да обезбедите да AI одговори могу да прочитају и цитирају ваше странице.
Колико сајтова објављује llms.txt? Проверили смо 10.000 домена
12,4% од 10.000 најпопуларнијих домена објављује llms.txt, а такви сајтови знатно ређе блокирају AI краулере. Шта подаци показују, а шта не.
Прочитајте чланак →Истраживање AI краулераПрочитали смо robots.txt 10.000 најпопуларнијих сајтова. Ево шта раде са AI краулерима
23% популарних домена блокира AI краулера за тренирање, 12% AI претраживачког, а половина прве групе блокира оба. Подаци из 10.000 robots.txt фајлова.
Прочитајте чланак →Приступ краулераЧетири од десет пословних сајтова одбија AI краулере
Тестирали смо 165 сајтова компанија у САД, УК и Француској као 14 AI краулера: 38% је неке одбило, а 10% AI претраживачког краулера. Шта то значи и како проверити.
Прочитајте чланак →Тестирање краулераШта AI краулери заправо добијају са вашег сајта? Скрипта од 66 редова
Затражите страницу као OAI-SearchBot, ClaudeBot, PerplexityBot и прегледач, па упоредите статус, величину и robots.txt. Хвата 403 и изазовне странице.
Прочитајте чланак →SEO за AISEO 2.0: како су AI претрага и асистенти променили SEO, слој по слој
SEO 2.0 објашњен: како су AI претрага и асистенти променили SEO и којих пет слојева проверити данас (SEO основа, AEO, GEO, AIO, SXO), уз листу за проверу.
Прочитајте чланак →AI цитати12 начина да AI одговори цитирају ваш сајт (2027)
12 документованих начина да вас цитирају ChatGPT, Claude, Perplexity и Google AI Overviews: приступ краулера, одговор на почетку, јасне чињенице, ознаке и листинзи.
Прочитајте чланак →AEO листа провера12 AEO провера пре него што објавите страницу (2027)
AEO листа пре објаве: 12 провера са командама за статус, robots.txt, заштитни зид, сирови HTML, noindex, canonical, ознаке, датуме, sitemap и индексирање.
Прочитајте чланак →Производи у AI одговорима11 начина да ваши производи уђу у AI одговоре (2027)
Како да производи и цене уђу у одговоре ChatGPT-а, Perplexity-ја и Google AI: цене као текст, Product ознаке, достава, повраћај, фидови и рецензије.
Прочитајте чланак →Приступ Claude-аДа ли Claude види мој сајт? Како да проверите
Сазнајте за 5 минута да ли Claude може да чита и цитира ваш сајт: robots.txt за Claude-SearchBot и Claude-User, тест заштитног зида, логови и тест у Claude-у.
Прочитајте чланак →Приступ Gemini-јаДа ли Gemini види мој сајт? Како да проверите
Сазнајте за 5 минута да ли Gemini може да користи и цитира ваш сајт: Google индекс, токен Google-Extended, тест заштитног зида за Googlebot и тест у Gemini-ју.
Прочитајте чланак →AI саобраћајКако да у Google Analytics-у пратите саобраћај из ChatGPT-а и других AI асистената
Посете из ChatGPT-а, Gemini-ја, Claude-а, Perplexity-ја и Copilot-а у GA4: канал AI Assistant, прилагођена група канала са regex-ом и шта аналитика не види.
Прочитајте чланак →Приступ краулераЗашто мој сајт одједном блокира AI краулере?
AI краулери су прошлог месеца читали ваш сајт, а сада не могу? Проверите robots.txt који се шаље, Cloudflare AI политике из 2026, заштиту од ботова и грешке.
Прочитајте чланак →Content SignalsШта је Content-Signal у robots.txt-у и да ли га ико поштује?
Шта каже ред Content-Signal у robots.txt-у, како се пишу search, ai-input и ai-train, шта Cloudflare додаје уместо вас и који AI краулери документују подршку.
Прочитајте чланак →Оптерећење од краулераКако да успорите AI краулере, а да их не блокирате
AI краулери оптерећују сервер? Успорите их и останите у AI одговорима: Crawl-delay где ради, 429 или 503 са Retry-After, ограничења по краулеру, кеширање.
Прочитајте чланак →AI садржајМогу ли да користим ChatGPT садржај на свом сајту?
Шта OpenAI-јеви услови, Google-ове политике о нежељеном садржају и Copyright Office САД кажу о објављивању ChatGPT текста: власништво, ауторско право, ознака.
Прочитајте чланак →Видљивост бренда у AI-јуКако да проверите да ли ChatGPT, Perplexity или Google AI Mode помињу ваш бренд
Како да проверите да ли ChatGPT, Perplexity, Claude, Gemini и Google AI Mode помињу, цитирају или линкују ваш бренд и шта Search Console и аналитика могу да измере.
Прочитајте чланак →Видљивост конкуренатаМој конкурент се појављује у ChatGPT-у и Perplexity-ју, а ја не. Како да откријем зашто?
Редослед провере када AI одговори цитирају конкурента, а не вас: прво приступ краулера, затим одговори, чињенице, доследност, помињања на другим сајтовима и датуми.
Прочитајте чланак →Тестирање robots.txtКако да тестирам robots.txt правила за URL и одређени краулер?
Тестирајте robots.txt правила за један URL и краулер: поклапање по RFC 9309, решени примери, Google-ов парсер отвореног кода, Python robotparser и шта је заменило тестер.
Прочитајте чланак →Cloudflare AI контролеКако читати Cloudflare-ов извештај AI Crawl Control и видети који AI краулери пролазе
Где је Cloudflare-ов извештај о AI краулерима, шта значи свака колона, како дозволити AI краулере за претрагу уз блокаду обуке и како резултат тестирати curl-ом.
Прочитајте чланак →Верификација краулераUser agent-и и IP опсези AI краулера: GPTBot, ClaudeBot, PerplexityBot и други
User agent стрингови за GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, bingbot, Applebot и CCBot, њихове званичне IP листе и како да проверите захтев.
Прочитајте чланак →Основе AEOШта је AEO (answer engine optimization) и зашто је важан?
AEO објашњен: шта су answer engine системи, како се AEO односи према SEO и GEO, четири практична дела, контролна листа, мерење резултата и шта питати агенцију.
Прочитајте чланак →FAQ структурирани подациШта је FAQ schema (ознака FAQPage) и да ли још помаже у 2026?
FAQ schema објашњена: шта је ознака FAQPage, зашто Google од маја 2026. не приказује FAQ проширене резултате, шта још може за AI одговоре, JSON-LD пример и тестови.
Прочитајте чланак →Мапе сајтаШта значе грешке мапе сајта у Google Search Console-у и како да их исправим?
Шта у Google Search Console-у значе Couldn't fetch, Sitemap could not be read и Has errors, како да мапу сајта тестирате споља и како да исправите сваку грешку.
Прочитајте чланак →hreflangШта је hreflang x-default и када вам је потребан?
Шта значи hreflang x-default, када га Google препоручује и како да га додате у HTML, HTTP заглавља или XML мапу сајта, уз грешке због којих Google занемарује hreflang.
Прочитајте чланак →llms-full.txtШта је llms-full.txt и да ли треба да га објавите поред llms.txt?
Шта је llms-full.txt, по чему се разликује од llms.txt и .md страница, ко га објављује, шта AI краулери о њему документују и како да га направите и проверите.
Прочитајте чланак →Приступ краулераКако да проверите да ли сајт блокира AI краулере
Три начина да проверите да ли сајт блокира GPTBot, ClaudeBot, PerplexityBot и друге AI краулере: robots.txt, сви краулери једним кликом и тест заштитног зида.
Прочитајте чланак →Видљивост у Perplexity-јуЗашто се мој сајт не појављује у Perplexity-ју?
Зашто Perplexity можда не приказује нити цитира ваш сајт: PerplexityBot и Perplexity-User, robots.txt, заштитни зидови, JavaScript и објављени IP опсези.
Прочитајте чланак →Обука или претрагаКако блокирати AI обуку, а остати у одговорима AI претраге
Блокирајте GPTBot, ClaudeBot и Google-Extended, а останите у одговорима ChatGPT-а, Claude-а, Perplexity-ја и Google-а: токени, robots.txt и Content-Signal.
Прочитајте чланак →Логови сервераКако да у логовима сервера проверите AI краулере
Пронађите GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и друге AI краулере у nginx или Apache логовима помоћу grep и awk и проверите их по IP опсегу или DNS-у.
Прочитајте чланак →Google AI функцијеДа ли вас блокирање Google-Extended уклања из AI Overviews и AI Mode?
Шта Google документује о Google-Extended, Googlebot-у, AI Overviews и AI Mode: шта ради која контрола, искључивање у Search Console-у и шта проверити.
Прочитајте чланак →Приступ ChatGPT-аДа ли ChatGPT види мој сајт? Како да проверите
Сазнајте за 5 минута да ли ChatGPT може да чита и цитира ваш сајт: robots.txt за OAI-SearchBot, тест заштитног зида, провера curl-ом и тест у ChatGPT-у.
Прочитајте чланак →OpenAI краулериOpenAI краулери објашњени: GPTBot, OAI-SearchBot и ChatGPT-User
Шта раде три OpenAI-јева краулера, њихови user agent стрингови и IP листе, који robots.txt токен шта контролише и шта мења блокирање сваког од њих.
Прочитајте чланак →Заштитни зидови и CDNДа ли Cloudflare блокира AI краулере? Како да откријете и исправите
Зашто Cloudflare и други WAF-ови AI краулерима одговарају са 403 или страницом са изазовом, како то уочити и како безбедно пропустити AI краулере за претрагу.
Прочитајте чланак →robots.txtrobots.txt за AI краулере: шта дозволити, а шта блокирати
Како написати robots.txt за AI краулере: дозволите AI претрагу, одлучите о обуци, токен за сваки краулер, правила поклапања по RFC 9309 и честе грешке.
Прочитајте чланак →llms.txtШта је llms.txt и да ли вреди да га додате?
llms.txt објашњен: шта је предлог, његов Markdown формат, ко га данас чита и како да га напишете за десет минута, уз искрен поглед на прихваћеност.
Прочитајте чланак →Основе AEOAEO или SEO: шта је исто, а шта се мења због AI одговора
AEO у поређењу са SEO: шта остаје исто, шта се мења због AI одговора (приступ, одговор на почетку, ентитети, ажурност) и контролна листа.
Прочитајте чланак →Claude краулериAnthropic-ови краулери: ClaudeBot, Claude-SearchBot и Claude-User
Три Anthropic-ова веб агента: шта раде ClaudeBot, Claude-SearchBot и Claude-User, њихови robots.txt токени и шта мења блокирање сваког од њих.
Прочитајте чланак →Краулери Perplexity-јаКраулери Perplexity-ја: PerplexityBot и Perplexity-User
Два агента Perplexity-ја: шта раде PerplexityBot и Perplexity-User, који од њих контролише robots.txt и како да их дозволите или блокирате у заштитном зиду.
Прочитајте чланак →Структурирани подациСтруктурирани подаци за AI претрагу и AI одговоре: шта означити и како
Које schema.org ознаке помажу AI одговорима да прочитају вашу страницу: Organization са sameAs, датуми и аутор у Article, FAQPage и Product са ценом, као JSON-LD.
Прочитајте чланак →JavaScript рендеровањеДа ли AI краулери могу да читају садржај који рендерује JavaScript?
Зашто AI краулерима често недостаје садржај који рендерује само JavaScript, како да проверите шта добијају и како то решити помоћу SSR-а или статичког HTML-а.
Прочитајте чланак →