Si të lexoni raportin AI Crawl Control të Cloudflare dhe të shihni cilët zvarritës AI hyjnë
Hapni AI Crawl Control në panelin e Cloudflare: lista e zvarritësve tregon çdo zvarritës AI që Cloudflare ka parë në domenin tuaj, kërkesat e tij, shkeljet e robots.txt dhe nëse veprimi i tij është Allow apo Block. Për ta mbajtur kërkimin me AI duke refuzuar trajnimin, lejoni zvarritësit e kërkimit dhe të agjentëve dhe bllokoni ose ndaloni zvarritësit e trajnimit aty ose te AI Crawler and Agent access policies. Pastaj konfirmojeni nga jashtë me curl, sepse funksione të tjera të Cloudflare mund ta bllokojnë prapë një zvarritës që e lejuat.
Cloudflare tani ka dy vende që vendosin çfarë marrin zvarritësit AI: AI Crawl Control, raporti dhe paneli i komandimit për çdo zvarritës që më parë quhej AI Audit, dhe politikat AI Crawler and Agent access për gjithë zonën te Security settings. Të dyja janë të disponueshme në planin Free, të dyja ndryshuan gjatë 2026 dhe asnjëra nuk ju tregon për çdo funksion tjetër që mund t'i përgjigjet prapë një zvarritësi me 403. Ky udhëzues e shpjegon raportin kolonë pas kolone, tregon ku caktohen lejimi dhe bllokimi dhe përfundon me një test që mund ta ekzekutoni nga kompjuteri juaj.
Në këtë faqe
- Ku është raporti i zvarritësve AI në Cloudflare?
- Çfarë do të thotë çdo kolonë dhe metrikë në raportin AI Crawl Control?
- Si t'i lejoj zvarritësit e kërkimit me AI dhe t'i bllokoj zvarritësit e trajnimit në Cloudflare?
- Çfarë ndryshoi në cilësimet e paracaktuara të Cloudflare për zvarritësit AI?
- Pse Cloudflare vazhdon t'i bllokojë zvarritësit AI pasi i lejova?
- Si ta konfirmoj nga jashtë cilët zvarritës AI lejon Cloudflare?
- Si e kontrollon AISeeWhy çfarë u dërgon Cloudflare zvarritësve AI?
Ku është raporti i zvarritësve AI në Cloudflare?
Në panel, zgjidhni llogarinë dhe domenin, pastaj hapni AI Crawl Control. Cloudflare thotë se funksionon pa konfigurim dhe është i disponueshëm në të gjitha planet, për sa kohë trafiku i domenit tuaj kalon përmes proxy-t të Cloudflare. Ka katër zona:
- Overview: një përmbledhje me kërkesat totale, ndryshimin e vëllimit, kodin e statusit më të shpeshtë, shtegun më të popullarizuar dhe zvarritësit me vëllim të lartë, si dhe nëse robots.txt i menaxhuar i Cloudflare është aktiv, dhe zvarritësit të grupuar sipas operatorit si OpenAI, Microsoft, Google, ByteDance, Anthropic dhe Meta.
- Lista e zvarritësve: një rresht për çdo zvarritës AI, me një kolonë Action ku zgjidhni Allow ose Block. Dokumentacioni i Cloudflare e quan këtë skedë Crawlers në një faqe dhe Security në një tjetër, ndaj kërkoni tabelën me kolonën Action.
- Metrics: kërkesat në kohë, shpërndarja e kodeve të statusit, formati i përmbajtjes, shtigjet më të popullarizuara dhe, në planet me pagesë, referimet. Filtrat mbulojnë periudhën, zvarritësin, operatorin, hostname-in dhe shtegun, dhe mund të eksportoni një CSV.
- Directives: gjendja e skedarit tuaj robots.txt dhe lista e shkeljeve të robots.txt.
Dy kufizime të planeve kanë rëndësi kur lexoni numrat. Në planin Free, AI Crawl Control i njeh zvarritësit vetëm nga vargu i user agent-it, ndaj sheh zvarritësit që e deklarojnë veten dhe asgjë tjetër, dhe skeda Metrics mbulon 24 orët e fundit. Planet me pagesë shtojnë zbulimin përmes ID-së së zbulimit të Bot Management, dhe Enterprise me Bot Management merr periudha kohore të konfigurueshme.
Çfarë do të thotë çdo kolonë dhe metrikë në raportin AI Crawl Control?
Cloudflare i dokumenton fushat si më poshtë. Përkufizimet kanë rëndësi, sepse disa numra numërojnë më shumë se ç'mund të prisni.
- Crawler dhe Category: emri i zvarritësit, operatori i tij dhe kategoria, si AI crawler, AI assistant ose archiver.
- Requests: kërkesat e lejuara plus ato të pasuksesshme, me një grafik prirjeje. Kërkesat e pasuksesshme mund të vijnë nga çdo rregull ose gabim përgjigjeje, jo vetëm nga një bllokim i AI Crawl Control, ndaj një numër i lartë për një zvarritës që e lejuat tregon një rregull tjetër ose gabime në serverin tuaj origjinë.
- Allowed requests: kërkesat që morën një status mes 200 dhe 299. Transferimi i të dhënave matet nga bajtët që Cloudflare dërgoi për kërkesat e lejuara.
- Robots.txt violations: sa herë zvarritësi kërkoi një shteg që robots.txt juaj e ndalon. Cloudflare i krahason kërkesat e kaluara me rregullat tuaja aktuale, ndaj një rregull që shtoni sot mund të shënojë kërkesa që ishin të lejuara kur u bënë.
- Action: Allow, Block ose, për llogaritë në beta-n pay per crawl, Charge.
- Status code distribution: 2xx, 3xx, 4xx dhe 5xx. Grupi 4xx përfshin 403 nga bllokimet dhe 402 nga pay per crawl.
- Referrals dhe top referrers, vetëm në planet me pagesë: vizitat që erdhën nga shërbimet e AI, për shembull nga chatgpt.com, dhe faqet ku mbërritën.
Lexojeni raportin duke u nisur nga veprimi që zgjodhët. Një zvarritës i vendosur në Allow duhet të tregojë kryesisht kërkesa të lejuara dhe kode 2xx. Nëse tregon shumë kërkesa të pasuksesshme, hapni shpërndarjen e kodeve të statusit të filtruar për atë zvarritës dhe kontrolloni Security Analytics për të gjetur rregullin që u përgjigj.
Si t'i lejoj zvarritësit e kërkimit me AI dhe t'i bllokoj zvarritësit e trajnimit në Cloudflare?
Mund ta bëni për çdo zvarritës ose sipas sjelljes. Për çdo zvarritës, hapni AI Crawl Control dhe caktoni Action për çdo rresht. Cloudflare thotë se bllokimi aty krijon ose përditëson një WAF custom rule në zonën tuaj, të cilin mund ta zgjeroni në WAF për përjashtime shtigjesh. Në planet me pagesë mund të zgjidhni nëse zvarritësit e bllokuar marrin 403 apo 402 dhe të caktoni një trup përgjigjeje në tekst të thjeshtë.
Sipas sjelljes, shkoni te Security, pastaj Settings, filtroni sipas Bot traffic dhe hapni AI Crawler and Agent access policies. Cloudflare e ndan trafikun e AI në tri sjellje, dhe çdo politikë zbatohet për botët e verifikuar me atë sjellje dhe për botët e paverifikuar që përputhen:
- Search: mbledhja ose indeksimi i përmbajtjes për t'iu përgjigjur pyetjeve më vonë.
- Agent: veprim në kohë reale në emër të një personi, si marrjet nga bisedat dhe agjentët e shfletuesit.
- Training: mbledhja e përmbajtjes për të trajnuar ose përshtatur modele, përfshirë zvarritësit që përdoren si për trajnim ashtu edhe për kërkim.
Çdo sjellje mund të vendoset në Block, Block on pages with ads ose Allow (do not block). Training ka edhe Disallow, që vetëm u kërkon zvarritësve përmes robots.txt. Me Bot Preference Sync të aktivizuar, Cloudflare shton në fillim të robots.txt tuaj rregulla të menaxhuara që ndalojnë Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot dhe meta-externalagent, shton një rresht Content Signals dhe bllokon gjithashtu zvarritësit e trajnimit të AI në edge, përveç zvarritësve që përdoren si për kërkim ashtu edhe për trajnim.
Për shumicën e sajteve që duan citime nga AI, kombinimi i sigurt është Search dhe Agent në Allow dhe Training në Disallow, pastaj veprime Block individuale në AI Crawl Control për zvarritësit vetëm të trajnimit që doni t'i ndaloni në edge.
Çfarë ndryshoi në cilësimet e paracaktuara të Cloudflare për zvarritësit AI?
Më 1 korrik 2025, Cloudflare njoftoi se po e ndryshonte cilësimin e paracaktuar në bllokimin e zvarritësve AI, përveç nëse u paguajnë krijuesve. Më 1 korrik 2026, e zëvendësoi çelësin e vetëm Block AI bots me politikat e veçanta Search, Agent dhe Training të përshkruara më sipër, për të gjitha planet, përfshirë Free. I njëjti njoftim thoshte se domenet e reja që shtohen nga 15 shtatori 2026 do të kishin Training dhe Agent të bllokuar në faqet që shfaqin reklama, me Search të lejuar.
Dokumentacioni aktual i politikave të Cloudflare, i përditësuar për herë të fundit më 2 nëntor 2026, thotë se domenet e reja kanë si parazgjedhje Allow (do not block) për të tri sjelljet. Meqë faqet e vetë Cloudflare kanë përshkruar parazgjedhje të ndryshme në kohë të ndryshme, mos u mbështetni te asnjëra për zonën tuaj: hapni faqen e politikave dhe lexoni çfarë është caktuar.
Pse Cloudflare vazhdon t'i bllokojë zvarritësit AI pasi i lejova?
Veprimi Allow në AI Crawl Control vetëm e ndalon AI Crawl Control të bllokojë. Funksione të tjera veprojnë ende mbi kërkesën. Shkaqet e zakonshme:
- Bllokimi i Training bllokon edhe zvarritësit e kërkimit që bëjnë të dyja. Dokumentacioni i Cloudflare thotë se veprimet e Training zbatohen për zvarritësit me qëllim të përzier, dhe njoftimi i tij i korrikut 2026 përmend Googlebot, Applebot dhe bingbot si zvarritës që klientët që bllokojnë Training do t'i bllokojnë nga 15 shtatori 2026. Disallow është zgjedhja më e ngushtë, sepse bllokimi i tij në edge i anashkalon zvarritësit me qëllim të përzier.
- Bot Fight Mode është aktiv. Cloudflare deklaron se Bot Fight Mode nuk mund të anashkalohet me WAF custom rules ose Page Rules. Nëse i vë sfidë një zvarritësi, çaktivizojeni, ose në një plan që e ka, përdorni Super Bot Fight Mode, që mbështet rregulla skip.
- Një WAF custom rule më i vjetër bllokon user agent-ët që përmbajnë
bot, ose një rregull rate limiting u përgjigjet valëve të kërkesave me 429. Këto ekzekutohen pavarësisht nga Action në AI Crawl Control. - Rregulli i bllokimit u ndryshua me dorë. Nëse rregulli WAF pas AI Crawl Control u ndryshua në një kod tjetër përgjigjeje, paneli nuk mund ta zbatojë më zgjedhjen tuaj.
- robots.txt e ndalon ende zvarritësin. Allow i Cloudflare nuk e ndryshon robots.txt tuaj, ndaj një zvarritës i sjellshëm qëndron larg gjithsesi. Në studimin tonë të 1 000 domeneve më të njohura, 98 nga 155 sajtet që bllokonin një zvarritës trajnimi AI në robots.txt bllokonin edhe të paktën një zvarritës kërkimi ose përdoruesi të AI.
Si ta konfirmoj nga jashtë cilët zvarritës AI lejon Cloudflare?
Kërkoni të njëjtën faqe me një user agent shfletuesi dhe me user agent-in e çdo zvarritësi, pastaj krahasoni statusin dhe madhësinë. Vargjet e OpenAI, Perplexity dhe Google më poshtë janë ato që publikojnë këto kompani.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Një rresht zvarritësi me 403, 429 ose 503, ose me madhësi shumë më të vogël se rreshti i shfletuesit, do të thotë që diçka para serverit tuaj origjinë u përgjigj ndryshe. Në planin Free, AI Crawl Control i zbulon zvarritësit nga user agent-i, ndaj ky test është kontroll i arsyeshëm i bllokimeve të tij. Rregullat bazuar në statusin e botit të verifikuar ose në pikët e botit mund ta trajtojnë kërkesën tuaj ndryshe nga zvarritësi i vërtetë, sepse ajo vjen nga adresa juaj IP dhe jo nga gamat e publikuara të operatorit. Pas testimit, kërkoni kërkesat tuaja në Security Analytics për të parë cili rregull u përputh.
Si e kontrollon AISeeWhy çfarë u dërgon Cloudflare zvarritësve AI?
Kontrolli falas i AISeeWhy e kërkon faqen tuaj si 16 zvarritës AI dhe kërkimi krahas një shfletuesi real, zbaton robots.txt tuaj për çdo zvarritës dhe i njeh faqet e sfidës të firewall-it, që të shihni nëse rezultati në panelin e Cloudflare përputhet me atë që marrin realisht zvarritësit.
Rregullime për këtë problem
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolli i IP-së së zvarritësve AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A është falas Cloudflare AI Crawl Control?
Po. Cloudflare e rendit AI Crawl Control si të disponueshëm në të gjitha planet. Plani Free i zbulon zvarritësit vetëm nga user agent-i dhe tregon 24 orët e fundit te Metrics; të dhënat e referimeve dhe përgjigjet e personalizuara të bllokimit kërkojnë plan me pagesë.
Çfarë ndodhi me Cloudflare AI Audit?
U riemërtua. Dokumentacioni i Cloudflare e përshkruan AI Crawl Control si ish-AI Audit, me të njëjtin qëllim: të shihni cilët zvarritës AI vizitojnë dhe të caktoni një veprim për secilin.
A e ndryshon robots.txt bllokimi i një zvarritësi në AI Crawl Control?
Jo. Një veprim Block krijon ose përditëson një WAF custom rule. robots.txt ndryshon vetëm nëse përdorni opsionin Disallow për Training me Bot Preference Sync, i cili shton rregullat e menaxhuara të Cloudflare në fillim të skedarit tuaj.
Çfarë llogaritet si shkelje e robots.txt në Cloudflare?
Një kërkesë nga një zvarritës AI drejt një shtegu që robots.txt juaj e ndalon. Cloudflare i krahason kërkesat e kaluara me rregullat tuaja aktuale, ndaj një rregull i ri mund të shënojë kërkesa më të vjetra që në atë kohë ishin të lejuara.
Çfarë është pay per crawl?
Një veprim Charge që u kërkon zvarritësve AI të paguajnë për çdo kërkesë dhe përndryshe u përgjigjet me HTTP 402 dhe një çmim. Cloudflare e përshkruan si beta të mbyllur, dhe bllokimet e WAF ose Bot Management kanë përparësi ndaj tij.
Burimet
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Raport mbi qasjen e zvarritësve AI, 2026-11