Зашто мој сајт одједном блокира AI краулере?
Сајт који почне да блокира AI краулере готово увек се променио на једном од пет места: у robots.txt-у који се заиста шаље, у подешавању CDN-а као што су Cloudflare-ове политике за AI краулере, у заштити од ботова или ограничењу брзине, у подразумеваном подешавању хостинга, или у robots.txt-у који сада одговара грешком. Преузмите данашњи robots.txt и страницу као сваки краулер, упоредите их са прегледачем и са оним што сте раније имали и проверите те слојеве тим редом.
Нико не одлучује да нестане из AI одговора. То се дешава као споредни ефекат ажурирања теме, безбедносног подешавања, миграције или промењеног подразумеваног подешавања код провајдера. Прегледач и даље нормално види сајт, па промена може да прође незапажено док неко не пита ChatGPT или Perplexity о производу и не добије конкурента. Сваки слој оставља трагове које можете да проверите споља или у логовима.
На овој страници
- Да ли се променио robots.txt који краулери добијају?
- Да ли су Cloudflare-ове AI политике из 2026. промениле шта мој сајт дозвољава?
- Да ли заштита од ботова или ограничење брзине хвата краулере?
- Да ли је мој хостинг провајдер променио подразумевана подешавања?
- Да ли robots.txt одговара грешком?
- Како да сазнам када је почело?
- Како да то следећи пут приметим раније?
Да ли се променио robots.txt који краулери добијају?
Преузмите https://yourdomain.com/robots.txt и упоредите га са фајлом у репозиторијуму или резервној копији. Гледајте фајл који се шаље, а не онај на диску, јер га успут може мењати више слојева:
- Деплој испоручи robots.txt са тест окружења са
Disallow: /, или миграција остави подразумевани фајл платформе. - Подешавање у алатки за прављење сајтова додаје правила за AI краулере. Squarespace, на пример, има опцију Block known artificial intelligence crawlers која у robots.txt уписује 26 имена ботова и наводи да их с временом може бити још. Подразумевано је искључена, па неко мора да је укључи, али листа после тога може да расте.
- Ажурирање SEO или безбедносног додатка уписује нова правила или додаје нову опцију коју неко укључи.
- Cloudflare додаје свој управљани robots.txt на почетак вашег фајла када је укључен Bot Preference Sync, а нека AI политика је постављена на Block или Disallow. Фајл који се шаље тада почиње са
Disallow: /заClaudeBot,GPTBotи још шест токена за тренирање, иако се ваш фајл није променио. - Правило намењено краулеру за тренирање копирано је и на друге, укључујући краулере за претрагу као што су
OAI-SearchBot,Claude-SearchBotилиPerplexityBot.
Извештај robots.txt у Google Search Console-у приказује верзије које је Google преузео у последњих 30 дана, са новим уносом сваки пут када се фајл или резултат преузимања промени. Покрива само оно што је видео Google, али ако ваш сервер не мења robots.txt према user agent-у, AI краулери су добили исти фајл.
Да ли су Cloudflare-ове AI политике из 2026. промениле шта мој сајт дозвољава?
Cloudflare је више пута мењао своје контроле за AI краулере, а неке измене мењају понашање зоне а да је нико не уређује. Од 1. јула 2025. почео је да нове домене при регистрацији пита да ли да дозволе AI краулере, са блокирањем као почетним стањем. Од 1. јула 2026. је један прекидач Block AI bots заменио засебним политикама Search, Agent и Training, за све планове, укључујући Free.
Детаљ који хвата највише сајтова су краулери мешовите намене. Cloudflare-ова документација наводи да се радње за Training примењују и на краулере који служе и за претрагу и за тренирање. Његова најава из јула 2026. каже да ће од 15. септембра 2026. краулери више намена као што су Googlebot, Applebot и BingBot бити блокирани за кориснике који су изабрали да блокирају Training, било преко нових опција или преко старог подешавања Block AI bots. Одјава од тренирања подешена пре годину дана сада зато може да погоди и краулере за претрагу.
Подразумевана подешавања за нове домене временом су описивана различито. Иста најава каже да ће нови домени од 15. септембра 2026. имати блокиране Training и Agent на страницама које приказују огласе, док документација о политикама ажурирана 2. новембра 2026. каже да нови домени почињу са сва три на Allow. Отворите Security, затим Settings, филтрирајте по Bot traffic и прочитајте AI Crawler and Agent access policies за своју зону. Наш водич за Cloudflare AI Crawl Control објашњава свако подешавање.
Да ли заштита од ботова или ограничење брзине хвата краулере?
Заштита од ботова процењује сваки захтев, а краулери брзо преузимају много страница из дата центара, што и јесте понашање ботова. Краулер који је прошлог месеца пролазио може да почне да добија странице са изазовом када његов оператер промени IP опсеге или брзину преузимања, или када се ажурирају правила заштите. Cloudflare-ов Bot Fight Mode је чест узрок, а Cloudflare наводи да се не може заобићи ни прескочити WAF прилагођеним правилима ни Page Rules, па правило за дозволу додато касније не помаже док је он укључен. Ново ограничење брзине које на налете одговара са 429 има исти ефекат на заузетог краулера.
Тестирајте споља: захтевајте страницу као прегледач и као два AI краулера за претрагу, затим захтевајте robots.txt као краулер.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 или 503 само за краулер, страница са насловом Just a moment... или тело много мање од одговора прегледачу значи да се краулер третира другачије. Тест долази са ваше IP адресе, а не са адресе добављача, па правила заснована на статусу верификованог бота и даље могу другачије да третирају правог краулера. Дневник догађаја заштитног зида показује које је правило одговорило.
Да ли је мој хостинг провајдер променио подразумевана подешавања?
Неки хостинзи филтрирају AI саобраћај на серверу, пре него што се изврше ваша правила. SiteGround је, на пример, у августу 2025. написао да подразумевано блокира AI краулере намењене прикупљању података за тренирање, а дозвољава краулере који долазе када особа пита AI асистента о некој страници. Оваква правила се не виде у вашем robots.txt-у и могу да се промене када хостинг ажурира своје листе ботова.
Ако се блокада појави на више сајтова код истог хостинга одједном, или у одговорима који никада не стигну до логова ваше апликације, питајте хостинг која правила за ботове важе за ваш налог и да ли можете да изузмете краулере које желите да задржите.
Да ли robots.txt одговара грешком?
robots.txt који не ради може да блокира више од било ког реда Disallow. Према RFC 9309, одговор 4xx значи да краулер сме да преузме све, али грешка сервера (5xx) или изостанак одговора значи да мора да претпостави да је цео сајт забрањен. Google прекида преузимање током првих 12 сати таквих грешака, а затим до 30 дана користи последњу исправну копију.
Тако скок оптерећења, правило заштитног зида које поставља изазов на /robots.txt или ограничење брзине које га обухвата може да искључи краулере који поштују правила, а да се ниједно правило не промени. Последња команда у тесту изнад треба да врати 200 и text/plain. 5xx, истек времена или страница са изазовом ту су прво што треба поправити.
Како да сазнам када је почело?
Датум мистерију претвара у поређење. У логовима приступа филтрирајте захтеве са user agent-има AI краулера и потражите дан када су им се статусни кодови променили са 200 на 403, 429 или 503, или дан када су престали да захтевају странице после читања robots.txt-а; наш водич о провери логова сервера за AI краулере има команде. Захтеви које је CDN блокирао никада не стигну до изворног сервера, па проверите и CDN. На Cloudflare-у AI Crawl Control приказује расподелу статусних кодова током времена, коју можете да филтрирате по краулеру.
Затим тај датум упоредите са деплојима, ажурирањима додатака и тема, изменама подешавања CDN-а и најавама провајдера. Пре него што нешто урадите, потврдите да изворне IP адресе припадају добављачу, како бисте гледали правог краулера, а не имитатора који користи његово име.
Како да то следећи пут приметим раније?
Проверавајте приступ после сваког деплоја, измене CDN-а и ажурирања додатака, а не само када саобраћај опадне. Бесплатна AISeeWhy провера преузима страницу као 16 AI краулера и краулера претраживача поред правог прегледача, примењује ваш robots.txt за сваки краулер и препознаје странице са изазовом заштитног зида. Бесплатна провера robots.txt за сваки краулер приказује да ли страница сме да се преузме према фајлу који је данас активан.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Зашто ChatGPT више не приказује мој сајт?
Често зато што је OAI-SearchBot, краулер иза ChatGPT претраге, постао блокиран изменом у robots.txt-у, политиком CDN-а или заштитом од ботова. OpenAI наводи да се сајтови који га блокирају неће појављивати у одговорима ChatGPT претраге. Проверите сваки слој за тај краулер и после исправке robots.txt-а сачекајте око 24 сата, колико према OpenAI-ју треба његовим системима да се прилагоде.
Да ли је Cloudflare почео да блокира Googlebot на мом сајту?
Могуће је. Cloudflare је навео да од 15. септембра 2026. корисници који блокирају Training блокирају и краулере више намена као што су Googlebot, Applebot и BingBot. Његова документација каже да опција Disallow за Training блокира краулере за тренирање на ивици мреже, али изоставља краулере мешовите намене, па проверите коју опцију користи ваша зона.
Може ли алатка за прављење сајтова или додатак да промени robots.txt уместо мене?
Да. Алатке за прављење сајтова и SEO или безбедносни додаци могу да упишу правила за AI краулере у robots.txt, а неки с временом проширују своје листе ботова. После сваког ажурирања преузмите активни фајл и прочитајте групе које се примењују на краулере за претрагу који су вам важни.
Зашто се мој активни robots.txt разликује од фајла на серверу?
Нешто испред вашег сервера га мења. Cloudflare-ов управљани robots.txt, на пример, у истом одговору додаје своја правила и content signals на почетак вашег фајла. CMS који robots.txt генерише на захтев, или подешавање на нивоу хостинга, такође може да га замени или прошири.
Колико треба да се AI краулери врате после исправке?
RFC 9309 каже да краулери не би требало да користе кеширани robots.txt дуже од 24 сата, OpenAI наводи око 24 сата, а Perplexity до 24 сата. Измене заштитног зида важе чим их провајдер примени, али краулери се враћају по сопственом распореду.
Извори
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers