A i bllokon Cloudflare zvarritësit AI? Si ta zbuloni dhe ta rregulloni
Shihni për rreth 30 sekonda nëse Cloudflare ose një firewall tjetër u përgjigjet zvarritësve AI me bllokim dhe merrni rregullin që lejon ata që duhet.
Falas · Pa regjistrim · Rezultate për 30 sekonda
403, 429 dhe faqe sfide
Zvarritësit mund të marrin një bllokim ose një faqe Just a moment... ndërsa shfletuesi juaj merr faqen reale. Faqja kërkohet në të dyja mënyrat dhe dallimi shënohet.
robots.txt kundrejt firewall-it
Kur robots.txt e lejon një zvarritës por serveri e refuzon, raporti e tregon konfliktin, ndaj dini cilin cilësim ta ndryshoni.
Firewall-i, i emërtuar
Emërtohet CDN-ja ose firewall-i që ktheu përgjigjen, përfshirë Cloudflare, ndaj nuk keni pse të hamendësoni ku të kërkoni.
Rregulli për t'u zbatuar
Çdo gjetje vjen me zgjidhjen, si rregulli i Cloudflare ose hapi i listës së lejimit. Kontrolli falas tregon pikëzimin tuaj dhe gjetjen e parë; raporti i plotë kushton $29, një herë të vetme.
Cloudflare dhe firewall-ë të tjerë mund t'u përgjigjen zvarritësve AI me 403, 429 ose një faqe sfide "Just a moment..." ndërsa shfletuesit marrin faqen reale, edhe kur robots.txt e lejon zvarritësin. Kontrollojeni duke kërkuar faqen me user agent-in e zvarritësit, pastaj lejoni zvarritësit e kërkimit AI në AI Crawl Control ose me një rregull WAF skip.
Gjeni dhe rregulloni në 3 hapa
- Kërkoni faqen dy herë
Një herë me user agent shfletuesi, një herë me atë të zvarritësit. Një 403, 429 ose 503 vetëm për zvarritësin, një faqe
Just a moment...ose një 200 shumë më e shkurtër do të thotë bllokim nga firewall-i. - Lejoni zvarritësit e kërkimit
Në Cloudflare, hapni AI Crawl Control, shkoni te lista Crawlers dhe vendosni Allow në kolonën Action për zvarritësit që doni, si
OAI-SearchBot. - Anashkaloni mbrojtjet e tjera nëse duhet
Nëse një rregull i personalizuar WAF, Super Bot Fight Mode ose kufizimi i shpejtësisë prapë i bllokon, shtoni një rregull, të vendosur i pari, që i anashkalon ato veçori për botët e verifikuar. Preferoni fushën e botit të verifikuar ose gamat IP të publikuara nga ofruesi, jo një përputhje me user agent.
Pyetje të shpeshta
Ku mund të shoh në Cloudflare cilët zvarritës AI janë të bllokuar?
Hapni AI Crawl Control në panelin e Cloudflare. Lista e tij e zvarritësve tregon çdo zvarritës AI që Cloudflare ka parë në domenin tuaj, sa kërkesa bëri dhe nëse veprimi i tij është Allow apo Block, dhe aty mund ta ndryshoni veprimin. Funksione të tjera, si Bot Fight Mode, mund ta bllokojnë prapë një zvarritës që e lejuat, ndaj konfirmojeni rezultatin me një kërkesë që përdor user agent-in e zvarritësit.
A i bllokon Cloudflare zvarritësit AI si parazgjedhje?
Varet nga llogaria, plani dhe cilësimet në zonën tuaj, dhe Cloudflare i ka ndryshuar këto opsione me kalimin e kohës. Kontrolloni AI Crawl Control dhe cilësimet e botëve, dhe testoni me user agent-in e zvarritësit në vend që ta supozoni.
Pse sajti im funksionon në shfletues, por jo për zvarritësit?
Firewall-ët e gjykojnë çdo kërkesë. Një shfletues i kalon sfidat JavaScript dhe mban cookies; një zvarritës jo, ndaj mund të marrë një faqe sfide ose një 403 që ju nuk e shihni kurrë.
A është e sigurt t'i lejoni zvarritësit AI përmes WAF-it?
Lejimi i një zvarritësi me emër ka rrezik të ulët nëse e verifikoni me gamat IP të ofruesit ose me sinjalin e botit të verifikuar të Cloudflare. Rregullat që i besojnë vetëm user agent-it lejojnë edhe këdo që e kopjon atë.
A ndikon te zvarritësit AI funksioni i Cloudflare për fshehjen e email-eve?
Ai i zëvendëson adresat e email-it me një lidhje që e deshifron vetëm një skript, ndaj zvarritësit shohin një vendmbajtës në vend të adresës. Nëse doni që email-i juaj i kontaktit të jetë i lexueshëm, çaktivizoni Email Address Obfuscation te Scrape Shield dhe tregojeni adresën si tekst të thjeshtë.
Lexoni udhëzuesin e plotë
Mbrojtja nga botët ekziston për të ndaluar scraper-ët dhe abuzimet, dhe e bën mirë këtë punë. Problemi është që edhe zvarritësit e kërkimit AI janë botë. Një cilësim sigurie i aktivizuar vite më parë, një kufizim kërkesash ose një rregull i gjerë kundër user agent-ëve të panjohur mund t'i mbajë jashtë në heshtje zvarritësit që ju citojnë, ndërsa vizitat tuaja duken krejtësisht normale.
Pse do t'i bllokonte një firewall zvarritësit AI?
Firewall-ët e gjykojnë çdo kërkesë. Një zvarritës nuk ekzekuton sfidat JavaScript, nuk mban cookies si një shfletues dhe shpesh kërkon shumë faqe njëra pas tjetrës, ndaj mund të duket pikërisht si trafiku që mbrojtja nga botët është ndërtuar për ta ndaluar. Shkaqet e zakonshme janë:
- Funksionet e mbrojtjes nga botët që sfidojnë trafikun që përputhet me modele të njohura botësh. Bot Fight Mode i Cloudflare, për shembull, u jep botëve sfida që kërkojnë shumë llogaritje.
- Rregullat WAF të personalizuara që bllokojnë ose sfidojnë user agent-ët që përmbajnë fjalë si "bot" ose "crawler", ose që lejojnë vetëm një listë të shkurtër motorësh kërkimi.
- Cilësimet që i bllokojnë zvarritësit AI si kategori. Cloudflare ju lejon të vendosni politika për zvarritësit Search, Agent dhe Training, dhe një cilësim Block aty vlen për të gjithë.
- Kufizimi i kërkesave, që i përgjigjet me 429 një vargu të shpejtë kërkesash nga një zvarritës.
- Bllokimet sipas vendit ose ASN-së që rastësisht mbulojnë rrjetet nga punojnë zvarritësit.
Si ta dalloj një bllokim firewall-i nga një bllokim në robots.txt?
Një bllokim në robots.txt është një kërkesë e sjellshme: zvarritësi lexon rregullat tuaja dhe nuk e merr faqen. Një bllokim firewall-i është një përgjigje: zvarritësi e kërkon faqen dhe merr diçka tjetër. Llojin e dytë mund ta shihni drejtpërdrejt. Kërkojeni faqen dy herë, njëherë me user agent shfletuesi dhe njëherë me atë të zvarritësit, dhe krahasoni.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Shenjat e një bllokimi firewall-i: status 403, 429 ose 503 vetëm për zvarritësin; një faqe me titull Just a moment... ose Attention Required! | Cloudflare; një trup që përmban /cdn-cgi/challenge-platform; ose një përgjigje 200 shumë më e shkurtër se ajo e shfletuesit. Mbani parasysh që testi juaj vjen nga IP-ja juaj, jo nga gama IP e verifikuar e zvarritësit, ndaj tregon si e trajton firewall-i user agent-in, jo çdo detaj se si e trajton zvarritësin real.
Si t'i lejoj zvarritësit e kërkimit AI në Cloudflare?
AI Crawl Control i Cloudflare, i disponueshëm në të gjitha planet, rendit zvarritësit AI që vizitojnë domenin tuaj dhe ju lejon të vendosni një veprim për secilin. Në panel, hapni AI Crawl Control, shkoni te lista Crawlers dhe zgjidhni Allow ose Block në kolonën Action për çdo zvarritës. Cloudflare thotë se bllokimi aty krijon ose përditëson një rregull WAF të personalizuar në zonën tuaj.
Nëse zvarritësin e bllokon një rregull WAF i personalizuar, Super Bot Fight Mode ose kufizimi i kërkesave, shtoni një rregull të personalizuar që i anashkalon këto funksione për botët e verifikuar dhe për token-in e zvarritësit:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow Vendoseni rregullin të parin. Vini re që përputhja sipas user agent-it lë të kalojë edhe këdo që e falsifikon atë user agent. Kur mundeni, preferoni fushën e botit të verifikuar (cf.client.bot) ose gamat IP që publikon ofruesi.
Po Bot Fight Mode?
Dokumentacioni i Cloudflare thotë qartë se Bot Fight Mode nuk mund të anashkalohet me rregulla WAF të personalizuara ose me Page Rules. Nëse ky është funksioni që i sfidon zvarritësit, një rregull skip nuk ndihmon. Opsionet janë ta çaktivizoni Bot Fight Mode, ose të përdorni Super Bot Fight Mode në një plan që e ka, i cili punon mbi Ruleset Engine dhe i mbështet rregullat skip.
Cilët zvarritës duhet t'i lë të kalojnë?
Ndajini zvarritësit sipas asaj që bëjnë. Zvarritësit e kërkimit dhe ata që marrin faqe për përdoruesit vendosin nëse përgjigjet e AI mund t'ju gjejnë dhe t'ju citojnë. Zvarritësit e trajnimit mbledhin të dhëna për modele, dhe bllokimi i tyre është zgjedhje legjitime që nuk ju heq nga kërkimi me AI.
- Kërkim:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot. - Marrje për përdoruesit:
ChatGPT-User,Claude-User,Perplexity-User. - Trajnim:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider.
Cilësimet e politikave të vetë Cloudflare përdorin të njëjtën ndarje në Search, Agent dhe Training, ndaj mund t'i lejoni dy të parat dhe të vendosni veçmas për të tretën. Nëse përdorni një firewall ose CDN tjetër, parimi është i njëjtë: shtojeni në listën e lejimeve token-in e zvarritësit, të verifikuar me gamat IP të publikuara nga ofruesi ose me reverse DNS aty ku ofrohet, që të marrë të njëjtën përgjigje si një shfletues.
Si i zbulon AISeeWhy bllokimet e firewall-it?
AISeeWhy e kërkon faqen tuaj si 14 zvarritës dhe si një shfletues i zakonshëm, krahason statusin, madhësinë dhe ridrejtimet, i njeh faqet e sfidës dhe emërton firewall-in ose CDN-në që u përgjigj. Kur robots.txt e lejon një zvarritës, por serveri e bllokon, raporti tregon konfliktin dhe jep rregullin e Cloudflare ose hapin e listës së lejimeve për ta rregulluar.
Rregullime për këtë problem
- Sonda jonë u bllokua, rezultati është i papërcaktuar
- OAI-SearchBot është i bllokuar
- GPTBot ridrejtohet diku tjetër
- GPTBot merr një faqe bosh
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolli i IP-së së zvarritësve AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Burimet
- Cloudflare: AI Crawl Control
- Cloudflare: Menaxhimi i zvarritësve AI (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: Politikat e qasjes për zvarritësit dhe agjentët AI
- OpenAI: Përmbledhje e zvarritësve të OpenAI