Si të lexoni raportin AI Crawl Control të Cloudflare dhe të shihni cilët zvarritës AI hyjnë

Publikuar

Përgjigje e shkurtër

Hapni AI Crawl Control në panelin e Cloudflare: lista e zvarritësve tregon çdo zvarritës AI që Cloudflare ka parë në domenin tuaj, kërkesat e tij, shkeljet e robots.txt dhe nëse veprimi i tij është Allow apo Block. Për ta mbajtur kërkimin me AI duke refuzuar trajnimin, lejoni zvarritësit e kërkimit dhe të agjentëve dhe bllokoni ose ndaloni zvarritësit e trajnimit aty ose te AI Crawler and Agent access policies. Pastaj konfirmojeni nga jashtë me curl, sepse funksione të tjera të Cloudflare mund ta bllokojnë prapë një zvarritës që e lejuat.

Cloudflare tani ka dy vende që vendosin çfarë marrin zvarritësit AI: AI Crawl Control, raporti dhe paneli i komandimit për çdo zvarritës që më parë quhej AI Audit, dhe politikat AI Crawler and Agent access për gjithë zonën te Security settings. Të dyja janë të disponueshme në planin Free, të dyja ndryshuan gjatë 2026 dhe asnjëra nuk ju tregon për çdo funksion tjetër që mund t'i përgjigjet prapë një zvarritësi me 403. Ky udhëzues e shpjegon raportin kolonë pas kolone, tregon ku caktohen lejimi dhe bllokimi dhe përfundon me një test që mund ta ekzekutoni nga kompjuteri juaj.

Në këtë faqe
  1. Ku është raporti i zvarritësve AI në Cloudflare?
  2. Çfarë do të thotë çdo kolonë dhe metrikë në raportin AI Crawl Control?
  3. Si t'i lejoj zvarritësit e kërkimit me AI dhe t'i bllokoj zvarritësit e trajnimit në Cloudflare?
  4. Çfarë ndryshoi në cilësimet e paracaktuara të Cloudflare për zvarritësit AI?
  5. Pse Cloudflare vazhdon t'i bllokojë zvarritësit AI pasi i lejova?
  6. Si ta konfirmoj nga jashtë cilët zvarritës AI lejon Cloudflare?
  7. Si e kontrollon AISeeWhy çfarë u dërgon Cloudflare zvarritësve AI?

Ku është raporti i zvarritësve AI në Cloudflare?

Në panel, zgjidhni llogarinë dhe domenin, pastaj hapni AI Crawl Control. Cloudflare thotë se funksionon pa konfigurim dhe është i disponueshëm në të gjitha planet, për sa kohë trafiku i domenit tuaj kalon përmes proxy-t të Cloudflare. Ka katër zona:

Dy kufizime të planeve kanë rëndësi kur lexoni numrat. Në planin Free, AI Crawl Control i njeh zvarritësit vetëm nga vargu i user agent-it, ndaj sheh zvarritësit që e deklarojnë veten dhe asgjë tjetër, dhe skeda Metrics mbulon 24 orët e fundit. Planet me pagesë shtojnë zbulimin përmes ID-së së zbulimit të Bot Management, dhe Enterprise me Bot Management merr periudha kohore të konfigurueshme.

Çfarë do të thotë çdo kolonë dhe metrikë në raportin AI Crawl Control?

Cloudflare i dokumenton fushat si më poshtë. Përkufizimet kanë rëndësi, sepse disa numra numërojnë më shumë se ç'mund të prisni.

Lexojeni raportin duke u nisur nga veprimi që zgjodhët. Një zvarritës i vendosur në Allow duhet të tregojë kryesisht kërkesa të lejuara dhe kode 2xx. Nëse tregon shumë kërkesa të pasuksesshme, hapni shpërndarjen e kodeve të statusit të filtruar për atë zvarritës dhe kontrolloni Security Analytics për të gjetur rregullin që u përgjigj.

Si t'i lejoj zvarritësit e kërkimit me AI dhe t'i bllokoj zvarritësit e trajnimit në Cloudflare?

Mund ta bëni për çdo zvarritës ose sipas sjelljes. Për çdo zvarritës, hapni AI Crawl Control dhe caktoni Action për çdo rresht. Cloudflare thotë se bllokimi aty krijon ose përditëson një WAF custom rule në zonën tuaj, të cilin mund ta zgjeroni në WAF për përjashtime shtigjesh. Në planet me pagesë mund të zgjidhni nëse zvarritësit e bllokuar marrin 403 apo 402 dhe të caktoni një trup përgjigjeje në tekst të thjeshtë.

Sipas sjelljes, shkoni te Security, pastaj Settings, filtroni sipas Bot traffic dhe hapni AI Crawler and Agent access policies. Cloudflare e ndan trafikun e AI në tri sjellje, dhe çdo politikë zbatohet për botët e verifikuar me atë sjellje dhe për botët e paverifikuar që përputhen:

Çdo sjellje mund të vendoset në Block, Block on pages with ads ose Allow (do not block). Training ka edhe Disallow, që vetëm u kërkon zvarritësve përmes robots.txt. Me Bot Preference Sync të aktivizuar, Cloudflare shton në fillim të robots.txt tuaj rregulla të menaxhuara që ndalojnë Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot dhe meta-externalagent, shton një rresht Content Signals dhe bllokon gjithashtu zvarritësit e trajnimit të AI në edge, përveç zvarritësve që përdoren si për kërkim ashtu edhe për trajnim.

Për shumicën e sajteve që duan citime nga AI, kombinimi i sigurt është Search dhe Agent në Allow dhe Training në Disallow, pastaj veprime Block individuale në AI Crawl Control për zvarritësit vetëm të trajnimit që doni t'i ndaloni në edge.

Çfarë ndryshoi në cilësimet e paracaktuara të Cloudflare për zvarritësit AI?

Më 1 korrik 2025, Cloudflare njoftoi se po e ndryshonte cilësimin e paracaktuar në bllokimin e zvarritësve AI, përveç nëse u paguajnë krijuesve. Më 1 korrik 2026, e zëvendësoi çelësin e vetëm Block AI bots me politikat e veçanta Search, Agent dhe Training të përshkruara më sipër, për të gjitha planet, përfshirë Free. I njëjti njoftim thoshte se domenet e reja që shtohen nga 15 shtatori 2026 do të kishin Training dhe Agent të bllokuar në faqet që shfaqin reklama, me Search të lejuar.

Dokumentacioni aktual i politikave të Cloudflare, i përditësuar për herë të fundit më 2 nëntor 2026, thotë se domenet e reja kanë si parazgjedhje Allow (do not block) për të tri sjelljet. Meqë faqet e vetë Cloudflare kanë përshkruar parazgjedhje të ndryshme në kohë të ndryshme, mos u mbështetni te asnjëra për zonën tuaj: hapni faqen e politikave dhe lexoni çfarë është caktuar.

Pse Cloudflare vazhdon t'i bllokojë zvarritësit AI pasi i lejova?

Veprimi Allow në AI Crawl Control vetëm e ndalon AI Crawl Control të bllokojë. Funksione të tjera veprojnë ende mbi kërkesën. Shkaqet e zakonshme:

Si ta konfirmoj nga jashtë cilët zvarritës AI lejon Cloudflare?

Kërkoni të njëjtën faqe me një user agent shfletuesi dhe me user agent-in e çdo zvarritësi, pastaj krahasoni statusin dhe madhësinë. Vargjet e OpenAI, Perplexity dhe Google më poshtë janë ato që publikojnë këto kompani.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Një rresht zvarritësi me 403, 429 ose 503, ose me madhësi shumë më të vogël se rreshti i shfletuesit, do të thotë që diçka para serverit tuaj origjinë u përgjigj ndryshe. Në planin Free, AI Crawl Control i zbulon zvarritësit nga user agent-i, ndaj ky test është kontroll i arsyeshëm i bllokimeve të tij. Rregullat bazuar në statusin e botit të verifikuar ose në pikët e botit mund ta trajtojnë kërkesën tuaj ndryshe nga zvarritësi i vërtetë, sepse ajo vjen nga adresa juaj IP dhe jo nga gamat e publikuara të operatorit. Pas testimit, kërkoni kërkesat tuaja në Security Analytics për të parë cili rregull u përputh.

Si e kontrollon AISeeWhy çfarë u dërgon Cloudflare zvarritësve AI?

Kontrolli falas i AISeeWhy e kërkon faqen tuaj si 16 zvarritës AI dhe kërkimi krahas një shfletuesi real, zbaton robots.txt tuaj për çdo zvarritës dhe i njeh faqet e sfidës të firewall-it, që të shihni nëse rezultati në panelin e Cloudflare përputhet me atë që marrin realisht zvarritësit.

Rregullime për këtë problem

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A është falas Cloudflare AI Crawl Control?

Po. Cloudflare e rendit AI Crawl Control si të disponueshëm në të gjitha planet. Plani Free i zbulon zvarritësit vetëm nga user agent-i dhe tregon 24 orët e fundit te Metrics; të dhënat e referimeve dhe përgjigjet e personalizuara të bllokimit kërkojnë plan me pagesë.

Çfarë ndodhi me Cloudflare AI Audit?

U riemërtua. Dokumentacioni i Cloudflare e përshkruan AI Crawl Control si ish-AI Audit, me të njëjtin qëllim: të shihni cilët zvarritës AI vizitojnë dhe të caktoni një veprim për secilin.

A e ndryshon robots.txt bllokimi i një zvarritësi në AI Crawl Control?

Jo. Një veprim Block krijon ose përditëson një WAF custom rule. robots.txt ndryshon vetëm nëse përdorni opsionin Disallow për Training me Bot Preference Sync, i cili shton rregullat e menaxhuara të Cloudflare në fillim të skedarit tuaj.

Çfarë llogaritet si shkelje e robots.txt në Cloudflare?

Një kërkesë nga një zvarritës AI drejt një shtegu që robots.txt juaj e ndalon. Cloudflare i krahason kërkesat e kaluara me rregullat tuaja aktuale, ndaj një rregull i ri mund të shënojë kërkesa më të vjetra që në atë kohë ishin të lejuara.

Çfarë është pay per crawl?

Një veprim Charge që u kërkon zvarritësve AI të paguajnë për çdo kërkesë dhe përndryshe u përgjigjet me HTTP 402 dhe një çmim. Cloudflare e përshkruan si beta të mbyllur, dhe bllokimet e WAF ose Bot Management kanë përparësi ndaj tij.

Burimet

Më shumë artikuj