Blokira li Cloudflare AI crawlere? Kako to otkriti i ispraviti
Za otprilike 30 sekundi saznajte odgovara li Cloudflare ili drugi vatrozid AI crawlerima blokadom i dobijte pravilo koje propušta prave.
Besplatno · Bez registracije · Rezultat za 30 sekundi
Kodovi 403, 429 i stranice s provjerom
Crawleri mogu dobiti blokadu ili stranicu Just a moment..., dok vaš preglednik dobiva pravu. Stranica se traži na oba načina, a razlika se označava.
robots.txt nasuprot vatrozidu
Kad robots.txt dopušta crawlera, a poslužitelj ga odbija, izvještaj prikazuje sukob, pa znate koju postavku promijeniti.
Vatrozid s imenom
CDN ili vatrozid koji je odgovorio imenuje se, uključujući Cloudflare, pa ne morate nagađati gdje tražiti.
Pravilo za primjenu
Uz svaki nalaz dolazi rješenje, poput Cloudflareova pravila ili koraka s popisom dopuštenih. Besplatna provjera prikazuje vaš rezultat i prvi nalaz; cijeli izvještaj košta $29, jednokratno.
Cloudflare i drugi vatrozidi mogu AI crawlerima odgovoriti kodom 403, 429 ili stranicom s provjerom "Just a moment...", dok preglednici dobivaju pravu stranicu, čak i kad robots.txt dopušta crawler. Provjerite to tako da stranicu zatražite s user agentom crawlera, a zatim propustite AI crawlere za pretraživanje u AI Crawl Control ili pravilom WAF-a s radnjom Skip.
Pronađite i ispravite u 3 koraka
- Zatražite stranicu dvaput
Jednom s user agentom preglednika, jednom s user agentom crawlera. Kod 403, 429 ili 503 samo za crawlera, stranica
Just a moment...ili mnogo kraći odgovor 200 znače blokadu vatrozida. - Dopustite crawlere za pretraživanje
U Cloudflareu otvorite AI Crawl Control, idite na popis Crawlers i u stupcu Action postavite Allow za crawlere koje želite, primjerice
OAI-SearchBot. - Po potrebi preskočite ostale zaštite
Ako ih i dalje blokira prilagođeno pravilo WAF-a, Super Bot Fight Mode ili ograničenje broja zahtjeva, dodajte pravilo, postavljeno na prvo mjesto, koje te značajke preskače za provjerene botove. Radije koristite polje verified bot ili objavljene IP raspone dobavljača nego podudaranje user agenta.
Česta pitanja
Gdje u Cloudflareu mogu vidjeti koji su AI crawleri blokirani?
Otvorite AI Crawl Control na Cloudflareovoj nadzornoj ploči. Njegov popis crawlera prikazuje svaki AI crawler koji je Cloudflare vidio na vašoj domeni, koliko je zahtjeva uputio i je li mu radnja Allow ili Block, a radnju ondje možete i promijeniti. Druge značajke, poput Bot Fight Modea, i dalje mogu blokirati crawler koji ste dopustili, pa rezultat potvrdite zahtjevom s user agentom tog crawlera.
Blokira li Cloudflare AI crawlere prema zadanim postavkama?
Ovisi o vašem računu, planu i postavkama vaše zone, a Cloudflare je te mogućnosti s vremenom mijenjao. Provjerite AI Crawl Control i postavke za botove te testirajte s user agentom crawlera umjesto da pretpostavljate.
Zašto moja web-stranica radi u pregledniku, a ne za crawlere?
Vatrozidi procjenjuju svaki zahtjev. Preglednik prolazi JavaScript provjere i čuva kolačiće; crawler ne, pa može dobiti stranicu s provjerom ili 403 koje vi nikad ne vidite.
Je li sigurno propustiti AI crawlere kroz WAF?
Propuštanje imenovanog crawlera nosi mali rizik ako ga provjeravate prema IP rasponima dobavljača ili Cloudflareovu signalu provjerenog bota. Pravila koja vjeruju samo user agentu propuštaju i svakoga tko ga kopira.
Utječe li Cloudflareova značajka zamagljivanja e-adresa na AI crawlere?
Zamjenjuje e-adrese poveznicom koju može dekodirati samo skripta, pa crawleri umjesto adrese vide zamjenski tekst. Ako želite da vaša kontaktna e-adresa bude čitljiva, isključite Email Address Obfuscation u odjeljku Scrape Shield i prikažite adresu kao običan tekst.
Pročitajte cijeli vodič
Zaštita od botova postoji kako bi zaustavila scrapere i zlouporabu, i u tome je dobra. Problem je što su i AI crawleri za pretraživanje botovi. Sigurnosna postavka uključena prije mnogo godina, ograničenje broja zahtjeva ili široko pravilo protiv nepoznatih user agenata mogu tiho zadržati vani upravo crawlere koji vas citiraju, dok vaši vlastiti posjeti izgledaju potpuno normalno.
Zašto bi vatrozid blokirao AI crawlere?
Vatrozidi procjenjuju svaki zahtjev. Crawler ne izvodi JavaScript provjere, ne čuva kolačiće kao preglednik i često traži mnogo stranica zaredom, pa može izgledati točno kao promet za čije je zaustavljanje zaštita od botova izgrađena. Uobičajeni su uzroci:
- Značajke zaštite od botova koje postavljaju provjeru prometu koji odgovara poznatim obrascima botova. Cloudflareov Bot Fight Mode, na primjer, botovima postavlja računski zahtjevne provjere.
- Prilagođena pravila WAF-a koja blokiraju user agente koji sadrže riječi poput "bot" ili "crawler" ili im postavljaju provjeru, odnosno koja propuštaju samo kratak popis tražilica.
- Postavke koje blokiraju AI crawlere kao kategoriju. Cloudflare omogućuje postavljanje pravila za crawlere za pretraživanje (Search), agente (Agent) i treniranje (Training), a postavka Block ondje se primjenjuje na sve njih.
- Ograničenje broja zahtjeva koje na brz niz zahtjeva crawlera odgovara kodom 429.
- Blokade po zemlji ili ASN-u koje slučajno obuhvaćaju mreže s kojih crawleri rade.
Kako razlikovati blokadu vatrozida od blokade u robots.txt?
Blokada u robots.txt pristojna je molba: crawler čita vaša pravila i ne dohvaća stranicu. Blokada vatrozida je odgovor: crawler traži stranicu i dobiva nešto drugo. Drugu vrstu možete vidjeti izravno. Zatražite stranicu dvaput, jednom s user agentom preglednika i jednom s user agentom crawlera, pa usporedite.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Znakovi blokade vatrozida: status 403, 429 ili 503 samo za crawler; stranica s naslovom Just a moment... ili Attention Required! | Cloudflare; sadržaj koji sadrži /cdn-cgi/challenge-platform; ili odgovor 200 znatno kraći od onoga za preglednik. Imajte na umu da vaš test dolazi s vaše IP adrese, a ne iz provjerenog IP raspona crawlera, pa pokazuje kako vatrozid tretira user agent, a ne svaki detalj toga kako tretira pravi crawler.
Kako propustiti AI crawlere za pretraživanje u Cloudflareu?
Cloudflareov AI Crawl Control, dostupan na svim planovima, prikazuje AI crawlere koji posjećuju vašu domenu i omogućuje vam da za svakog postavite radnju. Na nadzornoj ploči otvorite AI Crawl Control, idite na popis Crawlers i u stupcu Action za svaki crawler odaberite Allow ili Block. Cloudflare navodi da blokiranje ondje stvara ili ažurira prilagođeno pravilo WAF-a u vašoj zoni.
Ako crawler blokira prilagođeno pravilo WAF-a, Super Bot Fight Mode ili ograničenje broja zahtjeva, dodajte prilagođeno pravilo koje te značajke preskače za provjerene botove i za token crawlera:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow Postavite pravilo na prvo mjesto. Imajte na umu da podudaranje po user agentu propušta i svakoga tko lažira taj user agent. Gdje možete, radije koristite polje provjerenog bota (cf.client.bot) ili IP raspone koje objavljuje dobavljač.
A što je s Bot Fight Modeom?
Cloudflareova dokumentacija izričito navodi da se Bot Fight Mode ne može zaobići ni preskočiti prilagođenim pravilima WAF-a ni pravilima Page Rules. Ako crawlerima provjeru postavlja upravo ta značajka, pravilo za preskakanje neće pomoći. Mogućnosti su isključiti Bot Fight Mode ili koristiti Super Bot Fight Mode na planu koji ga ima, a koji radi na Ruleset Engineu i podržava pravila za preskakanje.
Koje crawlere trebam propustiti?
Razdvojite crawlere prema onome što rade. Crawleri za pretraživanje i dohvaćanje za korisnike odlučuju mogu li vas AI odgovori pronaći i citirati. Crawleri za treniranje prikupljaju podatke za modele, a njihovo je blokiranje legitiman izbor koji vas ne uklanja iz AI pretraživanja.
- Pretraživanje:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot. - Dohvaćanje za korisnike:
ChatGPT-User,Claude-User,Perplexity-User. - Treniranje:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider.
Cloudflareove postavke pravila koriste istu podjelu na Search, Agent i Training, pa prve dvije skupine možete propustiti, a o trećoj odlučiti zasebno. Ako koristite drugi vatrozid ili CDN, načelo je isto: token crawlera stavite na popis dopuštenih, uz provjeru objavljenim IP rasponima dobavljača ili obrnutim DNS-om gdje je to ponuđeno, kako bi dobio isti odgovor kao preglednik.
Kako AISeeWhy otkriva blokade vatrozida?
AISeeWhy dohvaća vašu stranicu kao 14 crawlera i običan preglednik, uspoređuje status, veličinu i preusmjeravanja, prepoznaje stranice s provjerom i imenuje vatrozid ili CDN koji je odgovorio. Kad robots.txt dopušta crawler, a poslužitelj ga blokira, izvještaj prikazuje sukob i daje pravilo za Cloudflare ili korak za popis dopuštenih kojim se to ispravlja.
Ispravci za ovaj problem
- Naša je proba blokirana, rezultat nije pouzdan
- OAI-SearchBot je blokiran
- GPTBot se preusmjerava drugamo
- GPTBot dobiva zamjensku stranicu
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Izvori
- Cloudflare: AI Crawl Control
- Cloudflare: upravljanje AI crawlerima (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: pravila pristupa za AI crawlere i agente
- OpenAI: pregled crawlera OpenAI-ja