Блокира ли Cloudflare AI ботовете? Как да разберете и да го поправите

Вижте за около 30 секунди дали Cloudflare или друга защитна стена отговаря на AI ботовете с блокиране и вземете правилото, което пропуска нужните.

Безплатно · Без регистрация · Резултат за 30 секунди

403, 429 и страници за проверка

Ботовете може да получат блокиране или страница Just a moment..., докато браузърът ви получава истинската. Страницата се заявява и по двата начина, а разликата се отбелязва.

robots.txt срещу защитната стена

Когато robots.txt разрешава бота, но сървърът го отказва, докладът показва конфликта, така че знаете коя настройка да промените.

Защитната стена, назовава се

CDN или защитната стена, които са отговорили, се назовават, включително Cloudflare, така че не се налага да гадаете къде да търсите.

Правилото за прилагане

Към всяка находка има поправка, например правило в Cloudflare или стъпка за списък с разрешени. Безплатната проверка показва резултата ви и първата находка; пълният доклад струва $29, еднократно.

Кратък отговор

Cloudflare и други защитни стени могат да отговарят на AI ботовете с 403, 429 или страница за проверка „Just a moment...“, докато браузърите получават истинската страница, дори когато robots.txt разрешава бота. Проверете, като заявите страницата с user agent на бота, след това разрешете AI ботовете за търсене в AI Crawl Control или с WAF правило за пропускане.

Намерете и поправете в 3 стъпки

  1. Заявете страницата два пъти

    Веднъж с user agent на браузър, веднъж с този на бота. 403, 429 или 503 само за бота, страница Just a moment... или много по-къс отговор 200 означава блокиране от защитна стена.

  2. Разрешете ботовете за търсене

    В Cloudflare отворете AI Crawl Control, влезте в списъка Crawlers и задайте Allow в колоната Action за ботовете, които искате, например OAI-SearchBot.

  3. При нужда пропуснете другите защити

    Ако WAF правило, Super Bot Fight Mode или ограничаване на заявките все още ги блокират, добавете правило, поставено първо, което пропуска тези функции за проверени ботове. Предпочитайте полето за проверен бот или публикуваните IP диапазони на доставчика пред съвпадение по user agent.

Често задавани въпроси

Къде в Cloudflare мога да видя кои AI ботове са блокирани?

Отворете AI Crawl Control в таблото на Cloudflare. Списъкът с ботове показва всеки AI бот, който Cloudflare е засякъл във вашия домейн, колко заявки е направил и дали действието за него е Allow или Block, и там можете да промените действието. Други функции, като Bot Fight Mode, все още може да блокират бот, който сте разрешили, затова потвърдете резултата със заявка, която използва user agent на бота.

Блокира ли Cloudflare AI ботовете по подразбиране?

Зависи от профила, плана и настройките на зоната ви, а Cloudflare е променял тези опции с времето. Проверете AI Crawl Control и настройките за ботове и тествайте с user agent на бота, вместо да предполагате.

Защо сайтът ми работи в браузър, но не и за ботовете?

Защитните стени преценяват всяка заявка. Браузърът минава JavaScript проверките и пази бисквитки; ботът не го прави, затова може да получи страница за проверка или 403, които вие никога не виждате.

Безопасно ли е да пропусна AI ботовете през WAF?

Пропускането на бот с конкретно име е с нисък риск, ако го проверявате по IP диапазоните на компанията или по сигнала на Cloudflare за проверен бот. Правилата, които се доверяват само на user agent, пропускат и всеки, който го копира.

Влияе ли функцията на Cloudflare за скриване на имейли на AI ботовете?

Тя заменя имейл адресите с връзка, която само скрипт може да декодира, така че ботовете виждат заместител вместо адреса. Ако искате имейлът ви за контакт да се чете, изключете Email Address Obfuscation в Scrape Shield и покажете адреса като обикновен текст.

Прочетете пълното ръководство

Защитата от ботове съществува, за да спира скрейпъри и злоупотреби, и се справя добре с това. Проблемът е, че AI ботовете за търсене също са ботове. Настройка за сигурност, включена преди години, ограничение на заявките или широко правило срещу непознати user agent могат тихо да държат навън точно ботовете, които ви цитират, докато собствените ви посещения изглеждат напълно нормално.

Защо защитна стена би блокирала AI ботове?

Защитните стени преценяват всяка заявка. Ботът не изпълнява JavaScript проверки, не пази бисквитки като браузър и често заявява много страници подред, така че може да изглежда точно като трафика, срещу който е създадена защитата от ботове. Чести причини са:

  • Функции за защита от ботове, които показват проверка на трафик, съвпадащ с известни модели на ботове. Bot Fight Mode на Cloudflare например дава на ботовете изчислително скъпи проверки.
  • Персонализирани WAF правила, които блокират или проверяват user agent с думи като „bot“ или „crawler“ или пропускат само кратък списък търсачки.
  • Настройки, които блокират AI ботовете като категория. Cloudflare ви позволява да задавате политики за ботовете от типовете Search, Agent и Training, а настройка Block там се прилага за всички тях.
  • Ограничение на заявките, което отговаря с 429 на бързата поредица от заявки на бота.
  • Блокиране по държава или ASN, което случайно обхваща мрежите, от които работят ботовете.

Как да различа блокиране от защитна стена от блокиране в robots.txt?

Блокирането в robots.txt е учтива молба: ботът чете правилата ви и не изтегля страницата. Блокирането от защитна стена е отговор: ботът заявява страницата и получава нещо друго. Вторият вид можете да видите пряко. Заявете страницата два пъти – веднъж с браузърен user agent и веднъж с този на бота – и сравнете.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Признаци за блокиране от защитна стена: статус 403, 429 или 503 само за бота; страница със заглавие Just a moment... или Attention Required! | Cloudflare; съдържание, което включва /cdn-cgi/challenge-platform; или отговор 200, който е много по-кратък от този за браузъра. Имайте предвид, че тестът ви идва от вашия IP адрес, а не от проверения IP диапазон на бота, така че показва как защитната стена третира user agent, а не всеки детайл от това как третира истинския бот.

Как да разреша AI ботовете за търсене в Cloudflare?

AI Crawl Control на Cloudflare, достъпен във всички планове, показва AI ботовете, които посещават домейна ви, и ви позволява да зададете действие за всеки. В таблото отворете AI Crawl Control, отидете в списъка Crawlers и изберете Allow или Block в колоната Action за всеки бот. Cloudflare казва, че блокирането там създава или обновява персонализирано WAF правило за зоната ви.

Ако бота блокира персонализирано WAF правило, Super Bot Fight Mode или ограничение на заявките, добавете персонализирано правило, което пропуска тези функции за проверени ботове и за токена на бота:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Поставете правилото първо. Имайте предвид, че съпоставянето по user agent пропуска и всеки, който фалшифицира този user agent. Където е възможно, предпочитайте полето за проверени ботове (cf.client.bot) или IP диапазоните, които публикува компанията.

Ами Bot Fight Mode?

Документацията на Cloudflare изрично казва, че Bot Fight Mode не може да бъде заобиколен или пропуснат с персонализирани WAF правила или Page Rules. Ако тази функция показва проверка на ботовете, правило за пропускане няма да помогне. Възможностите са да изключите Bot Fight Mode или да използвате Super Bot Fight Mode в план, който го включва; той работи на Ruleset Engine и поддържа правила за пропускане.

Кои ботове да пропусна?

Разделете ботовете според това какво правят. Ботовете за търсене и за изтегляне по заявка на потребители решават дали AI отговорите могат да ви намерят и цитират. Ботовете за обучение събират данни за модели и блокирането им е легитимен избор, който не ви изважда от AI търсенето.

  • Търсене: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • Изтегляне по заявка на потребители: ChatGPT-User, Claude-User, Perplexity-User.
  • Обучение: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Собствените настройки за политики на Cloudflare използват същото разделение на Search, Agent и Training, така че можете да разрешите първите две и да решите отделно за третото. Ако използвате друга защитна стена или CDN, принципът е същият: добавете токена на бота в списъка с разрешени, проверен чрез публикуваните IP диапазони на компанията или чрез обратен DNS, където се предлага, така че да получава същия отговор като браузъра.

Как AISeeWhy открива блокиране от защитна стена?

AISeeWhy заявява страницата ви като 14 бота и обикновен браузър, сравнява статуса, размера и пренасочванията, разпознава страниците за проверка и назовава защитната стена или CDN, която е отговорила. Когато robots.txt разрешава бота, а сървърът го блокира, отчетът показва конфликта и дава правилото за Cloudflare или стъпката за списъка с разрешени, с която да го поправите.

Корекции за този проблем

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Източници

Още статии

Публикувано · Обновено