Зошто мојот сајт одеднаш ги блокира AI краулерите?

Објавено

Краток одговор

Сајт што почнува да ги блокира AI краулерите речиси секогаш се променил на едно од пет места: robots.txt што навистина се враќа, поставка на CDN како AI политиките за краулери на Cloudflare, заштита од ботови или ограничување на бројот на барања, стандардна поставка на хостингот, или robots.txt што сега одговара со грешка. Преземете го денешниот robots.txt и страница како секој краулер, споредете ги со прелистувач и со она што го имавте порано и проверете ги тие слоеви по тој редослед.

Никој не одлучува да исчезне од AI одговорите. Тоа се случува како споредна последица од ажурирање на темата, безбедносна поставка, миграција или променета стандардна поставка кај давателот. Прелистувачот и понатаму го гледа сајтот нормално, па промената може да остане незабележана сè додека некој не го праша ChatGPT или Perplexity за производот и не добие конкурент. Секој слој остава траги што можете да ги проверите однадвор или во дневниците.

На оваа страница
  1. Дали се промени robots.txt што го добиваат краулерите?
  2. Дали AI политиките за краулери на Cloudflare од 2026 променија што дозволува мојот сајт?
  3. Дали заштитата од ботови или ограничувањето на барањата ги фаќа краулерите?
  4. Дали мојот хостинг-провајдер ги промени стандардните поставки?
  5. Дали robots.txt одговара со грешка?
  6. Како да откријам кога почнало?
  7. Како следниот пат да го забележам порано?

Дали се промени robots.txt што го добиваат краулерите?

Преземете https://yourdomain.com/robots.txt и споредете го со датотеката во вашето складиште или во резервната копија. Гледајте ја вратената датотека, а не онаа на дискот, бидејќи неколку слоеви може да ја сменат по пат:

Извештајот за robots.txt во Google Search Console ги покажува верзиите што Google ги презел во последните 30 дена, со нов запис секој пат кога се променила датотеката или резултатот од преземањето. Го опфаќа само она што го видел Google, но ако вашиот сервер не враќа различен robots.txt според корисничкиот агент, AI краулерите ја добиле истата датотека.

Дали AI политиките за краулери на Cloudflare од 2026 променија што дозволува мојот сајт?

Cloudflare неколку пати ги менувал своите контроли за AI краулери, а некои промени менуваат што прави зоната без некој да ја уредува. На 1 јули 2025 почна да ги прашува новите домени при регистрација дали да ги дозволи AI краулерите, со блокирање како почетна состојба. На 1 јули 2026 го замени единствениот прекинувач Block AI bots со посебни политики Search, Agent и Training, за сите планови вклучително и Free.

Деталот што ги фаќа повеќето сајтови се краулерите со мешана намена. Документацијата на Cloudflare наведува дека дејствата за Training важат и за краулерите што се користат и за пребарување и за обука. Неговата најава од јули 2026 вели дека од 15 септември 2026 повеќенаменските краулери како Googlebot, Applebot и BingBot ќе бидат блокирани за корисниците што избрале да го блокираат Training, било преку новите опции или преку старата поставка Block AI bots. Така откажувањето од обука поставено пред една година сега може да стигне до краулерите за пребарување.

Стандардните поставки за нови домени со текот на времето се опишувани различно. Истата најава вели дека новите домени ќе имаат блокирани Training и Agent на страниците што прикажуваат реклами од 15 септември 2026, додека документацијата за политиките ажурирана на 2 ноември 2026 вели дека новите домени почнуваат со сите три на Allow. Отворете Security, потоа Settings, филтрирајте по Bot traffic и прочитајте ги AI Crawler and Agent access policies за вашата зона. Нашиот водич за Cloudflare AI Crawl Control ја објаснува секоја поставка.

Дали заштитата од ботови или ограничувањето на барањата ги фаќа краулерите?

Заштитата од ботови го оценува секое барање, а краулерите брзо преземаат многу страници од податочни центри, што е токму она што го прават ботовите. Краулер што поминуваше минатиот месец може да почне да добива страници со предизвик откако неговиот оператор ќе ги смени IP опсезите или брзината на обиколување, или откако ќе се ажурираат правилата за заштита. Bot Fight Mode на Cloudflare е честа причина, а Cloudflare наведува дека не може да се заобиколи ниту прескокне со прилагодени WAF правила или Page Rules, па правило за дозволување додадено подоцна нема да помогне додека е вклучен. Ново ограничување на бројот на барања што на налетите одговара со 429 има ист ефект врз зафатен краулер.

Тестирајте однадвор: побарајте страница како прелистувач и како два AI краулери за пребарување, а потоа побарајте го robots.txt како краулер.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

403, 429 или 503 само за краулер, страница со наслов Just a moment... или тело многу помало од она за прелистувачот значи дека кон краулерот се однесуваат поинаку. Тестот доаѓа од вашата IP адреса, а не од онаа на производителот, па правилата засновани на статусот на потврден бот сè уште може поинаку да се однесуваат кон вистинскиот краулер. Дневникот на настани на заштитниот ѕид покажува кое правило одговорило.

Дали мојот хостинг-провајдер ги промени стандардните поставки?

Некои хостинзи го филтрираат AI сообраќајот на серверот, пред да се извршат вашите правила. SiteGround, на пример, во август 2025 напиша дека стандардно ги блокира AI краулерите наменети за собирање податоци за обука и ги дозволува краулерите што доаѓаат кога човек прашува AI асистент за некоја страница. Ваквите правила не се гледаат во вашиот robots.txt и може да се променат кога хостингот ќе ги ажурира своите листи на ботови.

Ако блокирањето се појави истовремено на неколку сајтови кај истиот хостинг, или во одговори што никогаш не стигнуваат до дневниците на вашата апликација, прашајте го хостингот кои правила за ботови важат за вашата сметка и дали можете да ги изземете краулерите што сакате да ги задржите.

Дали robots.txt одговара со грешка?

robots.txt што не успева може да блокира повеќе од кој било ред Disallow. Според RFC 9309, одговор 4xx значи дека краулерот смее да презема сè, но серверска грешка (5xx) или никаков одговор значи дека мора да претпостави дека целиот сајт е забранет. Google престанува да обиколува во првите 12 часа од таквите грешки, а потоа до 30 дена ја користи последната исправна копија.

Така скок на оптоварувањето, правило на заштитниот ѕид што го предизвикува /robots.txt или ограничување на барањата што го вклучува може да ги исклучи добронамерните краулери без да се промени ниту едно правило. Последната команда во тестот погоре треба да врати 200 и text/plain. 5xx, истек на време или страница со предизвик таму е првото нешто што треба да се поправи.

Како да откријам кога почнало?

Датумот ја претвора мистеријата во споредба. Во дневниците за пристап филтрирајте ги барањата од корисничките агенти на AI краулерите и побарајте го денот кога нивните статусни кодови преминале од 200 во 403, 429 или 503, или денот кога престанале да бараат страници откако го прочитале robots.txt; нашиот водич за проверка на серверските дневници за AI краулери ги има командите. Барањата што ги блокирал вашиот CDN никогаш не стигнуваат до изворниот сервер, па проверете го и CDN-от. На Cloudflare, AI Crawl Control покажува распределба на статусните кодови низ времето што можете да ја филтрирате по краулер.

Потоа споредете го тој датум со распоредувањата, ажурирањата на приклучоци и теми, промените во поставките на CDN и најавите на давателите. Пред да дејствувате, потврдете дека изворните IP адреси му припаѓаат на производителот, за да го гледате вистинскиот краулер, а не измамник што го користи неговото име.

Како следниот пат да го забележам порано?

Проверувајте го пристапот по секое распоредување, промена на CDN и ажурирање на приклучок, а не само кога сообраќајот ќе падне. Бесплатната проверка на AISeeWhy ја презема страницата како 16 AI краулери и краулери за пребарување покрај вистински прелистувач, го применува вашиот robots.txt за секој краулер и ги препознава страниците со предизвик на заштитниот ѕид. Бесплатната проверка на robots.txt покажува, за секој краулер, дали страницата смее да се преземе според датотеката што е активна денес.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Зошто ChatGPT престана да го прикажува мојот сајт?

Често затоа што OAI-SearchBot, краулерот зад пребарувањето на ChatGPT, бил блокиран со промена во robots.txt, политика на CDN или заштита од ботови. OpenAI наведува дека сајтовите што го блокираат нема да се појавуваат во одговорите од пребарувањето на ChatGPT. Проверете го секој слој за тој краулер и по поправка на robots.txt почекајте околу 24 часа, колку што според OpenAI им треба на неговите системи да се прилагодат.

Дали Cloudflare почна да го блокира Googlebot на мојот сајт?

Може да се случи. Cloudflare соопшти дека од 15 септември 2026 корисниците што го блокираат Training ги блокираат и повеќенаменските краулери како Googlebot, Applebot и BingBot. Неговата документација вели дека опцијата Training Disallow ги блокира краулерите за обука на работ на мрежата, но ги изостава краулерите со мешана употреба, па проверете која опција ја користи вашата зона.

Може ли градител на сајтови или приклучок да го смени robots.txt наместо мене?

Да. Градителите на сајтови и SEO или безбедносните приклучоци може да запишуваат правила за AI краулери во robots.txt, а некои со текот на времето ги прошируваат своите листи на ботови. По секое ажурирање, преземете ја активната датотека и прочитајте ги групите што се однесуваат на краулерите за пребарување што ви се важни.

Зошто мојот активен robots.txt се разликува од датотеката на мојот сервер?

Нешто пред вашиот сервер го менува. Управуваниот robots.txt на Cloudflare, на пример, ги додава своите правила и сигнали за содржина пред вашата датотека во истиот одговор. CMS што го генерира robots.txt по барање, или поставка на ниво на хостинг, исто така може да го замени или прошири.

За колку време AI краулерите се враќаат откако ќе го поправам?

RFC 9309 вели дека краулерите не треба да користат кеширан robots.txt подолго од 24 часа, OpenAI наведува околу 24 часа, а Perplexity до 24 часа. Промените во заштитниот ѕид важат штом вашиот провајдер ќе ги распореди, но краулерите се враќаат според својот распоред.

Извори

Уште статии