AI краулери и AEO, објашњено

Практични водичи за власнике сајтова, маркетиншке стручњаке и програмере: који AI краулери постоје, шта смеју да читају и како да обезбедите да AI одговори могу да прочитају и цитирају ваше странице.

llms.txt

Колико сајтова објављује llms.txt? Проверили смо 10.000 домена

12,4% од 10.000 најпопуларнијих домена објављује llms.txt, а такви сајтови знатно ређе блокирају AI краулере. Шта подаци показују, а шта не.

Прочитајте чланак →
Истраживање AI краулера

Прочитали смо robots.txt 10.000 најпопуларнијих сајтова. Ево шта раде са AI краулерима

23% популарних домена блокира AI краулера за тренирање, 12% AI претраживачког, а половина прве групе блокира оба. Подаци из 10.000 robots.txt фајлова.

Прочитајте чланак →
Приступ краулера

Четири од десет пословних сајтова одбија AI краулере

Тестирали смо 165 сајтова компанија у САД, УК и Француској као 14 AI краулера: 38% је неке одбило, а 10% AI претраживачког краулера. Шта то значи и како проверити.

Прочитајте чланак →
Тестирање краулера

Шта AI краулери заправо добијају са вашег сајта? Скрипта од 66 редова

Затражите страницу као OAI-SearchBot, ClaudeBot, PerplexityBot и прегледач, па упоредите статус, величину и robots.txt. Хвата 403 и изазовне странице.

Прочитајте чланак →
SEO за AI

SEO 2.0: како су AI претрага и асистенти променили SEO, слој по слој

SEO 2.0 објашњен: како су AI претрага и асистенти променили SEO и којих пет слојева проверити данас (SEO основа, AEO, GEO, AIO, SXO), уз листу за проверу.

Прочитајте чланак →
AI цитати

12 начина да AI одговори цитирају ваш сајт (2027)

12 документованих начина да вас цитирају ChatGPT, Claude, Perplexity и Google AI Overviews: приступ краулера, одговор на почетку, јасне чињенице, ознаке и листинзи.

Прочитајте чланак →
AEO листа провера

12 AEO провера пре него што објавите страницу (2027)

AEO листа пре објаве: 12 провера са командама за статус, robots.txt, заштитни зид, сирови HTML, noindex, canonical, ознаке, датуме, sitemap и индексирање.

Прочитајте чланак →
Производи у AI одговорима

11 начина да ваши производи уђу у AI одговоре (2027)

Како да производи и цене уђу у одговоре ChatGPT-а, Perplexity-ја и Google AI: цене као текст, Product ознаке, достава, повраћај, фидови и рецензије.

Прочитајте чланак →
Приступ Claude-а

Да ли Claude види мој сајт? Како да проверите

Сазнајте за 5 минута да ли Claude може да чита и цитира ваш сајт: robots.txt за Claude-SearchBot и Claude-User, тест заштитног зида, логови и тест у Claude-у.

Прочитајте чланак →
Приступ Gemini-ја

Да ли Gemini види мој сајт? Како да проверите

Сазнајте за 5 минута да ли Gemini може да користи и цитира ваш сајт: Google индекс, токен Google-Extended, тест заштитног зида за Googlebot и тест у Gemini-ју.

Прочитајте чланак →
AI саобраћај

Како да у Google Analytics-у пратите саобраћај из ChatGPT-а и других AI асистената

Посете из ChatGPT-а, Gemini-ја, Claude-а, Perplexity-ја и Copilot-а у GA4: канал AI Assistant, прилагођена група канала са regex-ом и шта аналитика не види.

Прочитајте чланак →
Приступ краулера

Зашто мој сајт одједном блокира AI краулере?

AI краулери су прошлог месеца читали ваш сајт, а сада не могу? Проверите robots.txt који се шаље, Cloudflare AI политике из 2026, заштиту од ботова и грешке.

Прочитајте чланак →
Content Signals

Шта је Content-Signal у robots.txt-у и да ли га ико поштује?

Шта каже ред Content-Signal у robots.txt-у, како се пишу search, ai-input и ai-train, шта Cloudflare додаје уместо вас и који AI краулери документују подршку.

Прочитајте чланак →
Оптерећење од краулера

Како да успорите AI краулере, а да их не блокирате

AI краулери оптерећују сервер? Успорите их и останите у AI одговорима: Crawl-delay где ради, 429 или 503 са Retry-After, ограничења по краулеру, кеширање.

Прочитајте чланак →
AI садржај

Могу ли да користим ChatGPT садржај на свом сајту?

Шта OpenAI-јеви услови, Google-ове политике о нежељеном садржају и Copyright Office САД кажу о објављивању ChatGPT текста: власништво, ауторско право, ознака.

Прочитајте чланак →
Видљивост бренда у AI-ју

Како да проверите да ли ChatGPT, Perplexity или Google AI Mode помињу ваш бренд

Како да проверите да ли ChatGPT, Perplexity, Claude, Gemini и Google AI Mode помињу, цитирају или линкују ваш бренд и шта Search Console и аналитика могу да измере.

Прочитајте чланак →
Видљивост конкурената

Мој конкурент се појављује у ChatGPT-у и Perplexity-ју, а ја не. Како да откријем зашто?

Редослед провере када AI одговори цитирају конкурента, а не вас: прво приступ краулера, затим одговори, чињенице, доследност, помињања на другим сајтовима и датуми.

Прочитајте чланак →
Тестирање robots.txt

Како да тестирам robots.txt правила за URL и одређени краулер?

Тестирајте robots.txt правила за један URL и краулер: поклапање по RFC 9309, решени примери, Google-ов парсер отвореног кода, Python robotparser и шта је заменило тестер.

Прочитајте чланак →
Cloudflare AI контроле

Како читати Cloudflare-ов извештај AI Crawl Control и видети који AI краулери пролазе

Где је Cloudflare-ов извештај о AI краулерима, шта значи свака колона, како дозволити AI краулере за претрагу уз блокаду обуке и како резултат тестирати curl-ом.

Прочитајте чланак →
Верификација краулера

User agent-и и IP опсези AI краулера: GPTBot, ClaudeBot, PerplexityBot и други

User agent стрингови за GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, bingbot, Applebot и CCBot, њихове званичне IP листе и како да проверите захтев.

Прочитајте чланак →
Основе AEO

Шта је AEO (answer engine optimization) и зашто је важан?

AEO објашњен: шта су answer engine системи, како се AEO односи према SEO и GEO, четири практична дела, контролна листа, мерење резултата и шта питати агенцију.

Прочитајте чланак →
FAQ структурирани подаци

Шта је FAQ schema (ознака FAQPage) и да ли још помаже у 2026?

FAQ schema објашњена: шта је ознака FAQPage, зашто Google од маја 2026. не приказује FAQ проширене резултате, шта још може за AI одговоре, JSON-LD пример и тестови.

Прочитајте чланак →
Мапе сајта

Шта значе грешке мапе сајта у Google Search Console-у и како да их исправим?

Шта у Google Search Console-у значе Couldn't fetch, Sitemap could not be read и Has errors, како да мапу сајта тестирате споља и како да исправите сваку грешку.

Прочитајте чланак →
hreflang

Шта је hreflang x-default и када вам је потребан?

Шта значи hreflang x-default, када га Google препоручује и како да га додате у HTML, HTTP заглавља или XML мапу сајта, уз грешке због којих Google занемарује hreflang.

Прочитајте чланак →
llms-full.txt

Шта је llms-full.txt и да ли треба да га објавите поред llms.txt?

Шта је llms-full.txt, по чему се разликује од llms.txt и .md страница, ко га објављује, шта AI краулери о њему документују и како да га направите и проверите.

Прочитајте чланак →
Приступ краулера

Како да проверите да ли сајт блокира AI краулере

Три начина да проверите да ли сајт блокира GPTBot, ClaudeBot, PerplexityBot и друге AI краулере: robots.txt, сви краулери једним кликом и тест заштитног зида.

Прочитајте чланак →
Видљивост у Perplexity-ју

Зашто се мој сајт не појављује у Perplexity-ју?

Зашто Perplexity можда не приказује нити цитира ваш сајт: PerplexityBot и Perplexity-User, robots.txt, заштитни зидови, JavaScript и објављени IP опсези.

Прочитајте чланак →
Обука или претрага

Како блокирати AI обуку, а остати у одговорима AI претраге

Блокирајте GPTBot, ClaudeBot и Google-Extended, а останите у одговорима ChatGPT-а, Claude-а, Perplexity-ја и Google-а: токени, robots.txt и Content-Signal.

Прочитајте чланак →
Логови сервера

Како да у логовима сервера проверите AI краулере

Пронађите GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и друге AI краулере у nginx или Apache логовима помоћу grep и awk и проверите их по IP опсегу или DNS-у.

Прочитајте чланак →
Google AI функције

Да ли вас блокирање Google-Extended уклања из AI Overviews и AI Mode?

Шта Google документује о Google-Extended, Googlebot-у, AI Overviews и AI Mode: шта ради која контрола, искључивање у Search Console-у и шта проверити.

Прочитајте чланак →
Приступ ChatGPT-а

Да ли ChatGPT види мој сајт? Како да проверите

Сазнајте за 5 минута да ли ChatGPT може да чита и цитира ваш сајт: robots.txt за OAI-SearchBot, тест заштитног зида, провера curl-ом и тест у ChatGPT-у.

Прочитајте чланак →
OpenAI краулери

OpenAI краулери објашњени: GPTBot, OAI-SearchBot и ChatGPT-User

Шта раде три OpenAI-јева краулера, њихови user agent стрингови и IP листе, који robots.txt токен шта контролише и шта мења блокирање сваког од њих.

Прочитајте чланак →
Заштитни зидови и CDN

Да ли Cloudflare блокира AI краулере? Како да откријете и исправите

Зашто Cloudflare и други WAF-ови AI краулерима одговарају са 403 или страницом са изазовом, како то уочити и како безбедно пропустити AI краулере за претрагу.

Прочитајте чланак →
robots.txt

robots.txt за AI краулере: шта дозволити, а шта блокирати

Како написати robots.txt за AI краулере: дозволите AI претрагу, одлучите о обуци, токен за сваки краулер, правила поклапања по RFC 9309 и честе грешке.

Прочитајте чланак →
llms.txt

Шта је llms.txt и да ли вреди да га додате?

llms.txt објашњен: шта је предлог, његов Markdown формат, ко га данас чита и како да га напишете за десет минута, уз искрен поглед на прихваћеност.

Прочитајте чланак →
Основе AEO

AEO или SEO: шта је исто, а шта се мења због AI одговора

AEO у поређењу са SEO: шта остаје исто, шта се мења због AI одговора (приступ, одговор на почетку, ентитети, ажурност) и контролна листа.

Прочитајте чланак →
Claude краулери

Anthropic-ови краулери: ClaudeBot, Claude-SearchBot и Claude-User

Три Anthropic-ова веб агента: шта раде ClaudeBot, Claude-SearchBot и Claude-User, њихови robots.txt токени и шта мења блокирање сваког од њих.

Прочитајте чланак →
Краулери Perplexity-ја

Краулери Perplexity-ја: PerplexityBot и Perplexity-User

Два агента Perplexity-ја: шта раде PerplexityBot и Perplexity-User, који од њих контролише robots.txt и како да их дозволите или блокирате у заштитном зиду.

Прочитајте чланак →
Структурирани подаци

Структурирани подаци за AI претрагу и AI одговоре: шта означити и како

Које schema.org ознаке помажу AI одговорима да прочитају вашу страницу: Organization са sameAs, датуми и аутор у Article, FAQPage и Product са ценом, као JSON-LD.

Прочитајте чланак →
JavaScript рендеровање

Да ли AI краулери могу да читају садржај који рендерује JavaScript?

Зашто AI краулерима често недостаје садржај који рендерује само JavaScript, како да проверите шта добијају и како то решити помоћу SSR-а или статичког HTML-а.

Прочитајте чланак →