Cloudflare-ന്റെ AI Crawl Control റിപ്പോർട്ട് എങ്ങനെ വായിക്കാം, ഏതൊക്കെ AI ക്രോളറുകൾ കടക്കുന്നു എന്ന് എങ്ങനെ കാണാം

പ്രസിദ്ധീകരിച്ചത്

ചുരുക്കത്തിൽ

നിങ്ങളുടെ Cloudflare ഡാഷ്ബോർഡിൽ AI Crawl Control തുറക്കുക: നിങ്ങളുടെ ഡൊമെയ്‌നിൽ Cloudflare കണ്ട ഓരോ AI ക്രോളറും, അതിന്റെ അഭ്യർത്ഥനകളും, robots.txt ലംഘനങ്ങളും, അതിന്റെ ആക്ഷൻ Allow ആണോ Block ആണോ എന്നതും ക്രോളർ പട്ടിക കാണിക്കുന്നു. പരിശീലനം നിരസിച്ചുകൊണ്ട് AI സെർച്ചിൽ തുടരാൻ, അവിടെയോ AI Crawler and Agent access policies-ലോ സെർച്ച്, ഏജന്റ് ക്രോളറുകളെ അനുവദിക്കുകയും പരിശീലന ക്രോളറുകളെ തടയുകയോ വിലക്കുകയോ ചെയ്യുക. തുടർന്ന് curl ഉപയോഗിച്ച് പുറത്തുനിന്ന് ഉറപ്പാക്കുക, കാരണം നിങ്ങൾ അനുവദിച്ച ക്രോളറെ മറ്റ് Cloudflare ഫീച്ചറുകൾ ഇപ്പോഴും തടഞ്ഞേക്കാം.

AI ക്രോളറുകൾക്ക് എന്ത് ലഭിക്കുമെന്ന് തീരുമാനിക്കുന്ന രണ്ട് ഇടങ്ങൾ ഇപ്പോൾ Cloudflare-ലുണ്ട്: മുമ്പ് AI Audit എന്ന് വിളിച്ചിരുന്ന, ക്രോളർ തിരിച്ചുള്ള റിപ്പോർട്ടും നിയന്ത്രണ പാനലുമായ AI Crawl Control, കൂടാതെ Security ക്രമീകരണങ്ങളിലെ സോൺ മുഴുവനുമുള്ള AI Crawler and Agent access policies. രണ്ടും Free പ്ലാനിൽ ലഭ്യമാണ്, രണ്ടും 2026-ൽ മാറി, ഒരു ക്രോളറിന് ഇപ്പോഴും 403 നൽകാൻ കഴിയുന്ന മറ്റെല്ലാ ഫീച്ചറുകളെക്കുറിച്ചും ഇവ രണ്ടും പറയുന്നില്ല. ഈ ഗൈഡ് റിപ്പോർട്ട് കോളം തോറും വിശദീകരിക്കുന്നു, അനുവദിക്കലും തടയലും എവിടെ സജ്ജമാക്കണമെന്ന് കാണിക്കുന്നു, നിങ്ങളുടെ സ്വന്തം മെഷീനിൽ നിന്ന് പ്രവർത്തിപ്പിക്കാവുന്ന ഒരു ടെസ്റ്റോടെ അവസാനിക്കുന്നു.

ഈ പേജിൽ
  1. Cloudflare-ലെ AI ക്രോളർ റിപ്പോർട്ട് എവിടെയാണ്?
  2. AI Crawl Control റിപ്പോർട്ടിലെ ഓരോ കോളവും മെട്രിക്കും എന്താണ് അർത്ഥമാക്കുന്നത്?
  3. Cloudflare-ൽ AI സെർച്ച് ക്രോളറുകളെ അനുവദിച്ച് പരിശീലന ക്രോളറുകളെ എങ്ങനെ തടയാം?
  4. Cloudflare-ന്റെ AI ക്രോളർ ഡിഫോൾട്ടുകളിൽ എന്താണ് മാറിയത്?
  5. ഞാൻ അനുവദിച്ചിട്ടും Cloudflare എന്തുകൊണ്ട് ഇപ്പോഴും AI ക്രോളറുകളെ തടയുന്നു?
  6. Cloudflare ഏതൊക്കെ AI ക്രോളറുകളെ കടത്തിവിടുന്നു എന്ന് പുറത്തുനിന്ന് എങ്ങനെ ഉറപ്പാക്കാം?
  7. Cloudflare AI ക്രോളറുകൾക്ക് എന്ത് അയയ്ക്കുന്നു എന്ന് AISeeWhy എങ്ങനെ പരിശോധിക്കുന്നു?

Cloudflare-ലെ AI ക്രോളർ റിപ്പോർട്ട് എവിടെയാണ്?

ഡാഷ്ബോർഡിൽ നിങ്ങളുടെ അക്കൗണ്ടും ഡൊമെയ്‌നും തിരഞ്ഞെടുത്ത് AI Crawl Control തുറക്കുക. ഡൊമെയ്‌നിന്റെ ട്രാഫിക് Cloudflare വഴി പ്രോക്സി ചെയ്യുന്നിടത്തോളം, കോൺഫിഗറേഷൻ ഇല്ലാതെ ഇത് പ്രവർത്തിക്കുമെന്നും എല്ലാ പ്ലാനുകളിലും ലഭ്യമാണെന്നും Cloudflare പറയുന്നു. ഇതിന് നാല് ഭാഗങ്ങളുണ്ട്:

സംഖ്യകൾ വായിക്കുമ്പോൾ രണ്ട് പ്ലാൻ പരിധികൾ പ്രധാനമാണ്. Free പ്ലാനിൽ, AI Crawl Control ക്രോളറുകളെ യൂസർ ഏജന്റ് സ്ട്രിംഗ് വഴി മാത്രമേ തിരിച്ചറിയൂ, അതിനാൽ സ്വയം പരിചയപ്പെടുത്തുന്ന ക്രോളറുകളെ മാത്രമേ അത് കാണൂ, Metrics ടാബ് കഴിഞ്ഞ 24 മണിക്കൂർ മാത്രം ഉൾക്കൊള്ളുന്നു. പണമടച്ചുള്ള പ്ലാനുകൾ Bot Management detection ID വഴിയുള്ള കണ്ടെത്തൽ ചേർക്കുന്നു, Bot Management ഉള്ള Enterprise-ന് ക്രമീകരിക്കാവുന്ന സമയപരിധികൾ ലഭിക്കും.

AI Crawl Control റിപ്പോർട്ടിലെ ഓരോ കോളവും മെട്രിക്കും എന്താണ് അർത്ഥമാക്കുന്നത്?

Cloudflare ഫീൽഡുകൾ ഇങ്ങനെയാണ് രേഖപ്പെടുത്തുന്നത്. നിർവചനങ്ങൾ പ്രധാനമാണ്, കാരണം പല സംഖ്യകളും നിങ്ങൾ പ്രതീക്ഷിക്കുന്നതിലും കൂടുതൽ എണ്ണുന്നു.

നിങ്ങൾ തിരഞ്ഞെടുത്ത ആക്ഷനിൽ നിന്ന് തുടങ്ങി റിപ്പോർട്ട് വായിക്കുക. Allow ആയി സജ്ജമാക്കിയ ക്രോളർ മിക്കവാറും അനുവദിച്ച അഭ്യർത്ഥനകളും 2xx കോഡുകളും കാണിക്കണം. ധാരാളം പരാജയപ്പെട്ട അഭ്യർത്ഥനകൾ കാണിക്കുന്നുവെങ്കിൽ, ആ ക്രോളറിനായി ഫിൽട്ടർ ചെയ്ത സ്റ്റാറ്റസ് കോഡ് വിതരണം തുറക്കുക, മറുപടി നൽകിയ നിയമം കണ്ടെത്താൻ Security Analytics പരിശോധിക്കുക.

Cloudflare-ൽ AI സെർച്ച് ക്രോളറുകളെ അനുവദിച്ച് പരിശീലന ക്രോളറുകളെ എങ്ങനെ തടയാം?

ക്രോളർ തിരിച്ചോ പെരുമാറ്റം തിരിച്ചോ ഇത് ചെയ്യാം. ക്രോളർ തിരിച്ച്: AI Crawl Control തുറന്ന് ഓരോ വരിക്കും Action സജ്ജമാക്കുക. അവിടെ തടയുന്നത് നിങ്ങളുടെ സോണിൽ ഒരു WAF കസ്റ്റം നിയമം ഉണ്ടാക്കുകയോ അപ്ഡേറ്റ് ചെയ്യുകയോ ചെയ്യുന്നുവെന്ന് Cloudflare പറയുന്നു, പാത്ത് ഒഴിവാക്കലുകൾക്കായി അത് WAF-ൽ വികസിപ്പിക്കാം. പണമടച്ചുള്ള പ്ലാനുകളിൽ, തടഞ്ഞ ക്രോളറുകൾക്ക് 403 വേണോ 402 വേണോ എന്ന് തിരഞ്ഞെടുക്കാനും ഒരു പ്ലെയിൻ ടെക്സ്റ്റ് ബോഡി സജ്ജമാക്കാനും കഴിയും.

പെരുമാറ്റം തിരിച്ച്: Security, തുടർന്ന് Settings എന്നതിലേക്ക് പോയി Bot traffic ഫിൽട്ടർ ചെയ്ത് AI Crawler and Agent access policies തുറക്കുക. Cloudflare AI ട്രാഫിക്കിനെ മൂന്ന് പെരുമാറ്റങ്ങളായി തരംതിരിക്കുന്നു, ഓരോ നയവും ആ പെരുമാറ്റമുള്ള വെരിഫൈഡ് ബോട്ടുകൾക്കും ചേരുന്ന അൺവെരിഫൈഡ് ബോട്ടുകൾക്കും ബാധകമാണ്:

ഓരോ പെരുമാറ്റവും Block, Block on pages with ads, അല്ലെങ്കിൽ Allow (do not block) ആയി സജ്ജമാക്കാം. Training-ന് Disallow-ഉം ഉണ്ട്, അത് robots.txt വഴി ക്രോളറുകളോട് അഭ്യർത്ഥിക്കുക മാത്രം ചെയ്യുന്നു. Bot Preference Sync ഓണാണെങ്കിൽ, Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, meta-externalagent എന്നിവയെ വിലക്കുന്ന മാനേജ്ഡ് നിയമങ്ങൾ Cloudflare നിങ്ങളുടെ robots.txt-ന്റെ തുടക്കത്തിൽ ചേർക്കുന്നു, ഒരു Content Signals വരി ചേർക്കുന്നു, സെർച്ചിനും പരിശീലനത്തിനും ഉപയോഗിക്കുന്നവ ഒഴികെയുള്ള AI പരിശീലന ക്രോളറുകളെ എഡ്ജിൽ തടയുകയും ചെയ്യുന്നു.

AI ഉദ്ധരണികൾ ആഗ്രഹിക്കുന്ന മിക്ക സൈറ്റുകൾക്കും സുരക്ഷിതമായ സംയോജനം Search-ഉം Agent-ഉം Allow-ലും Training Disallow-ലും ആണ്, തുടർന്ന് എഡ്ജിൽ നിർത്താൻ ആഗ്രഹിക്കുന്ന പരിശീലനത്തിന് മാത്രമുള്ള ക്രോളറുകൾക്ക് AI Crawl Control-ൽ വ്യക്തിഗത Block ആക്ഷനുകൾ.

Cloudflare-ന്റെ AI ക്രോളർ ഡിഫോൾട്ടുകളിൽ എന്താണ് മാറിയത്?

2025 ജൂലൈ 1-ന്, സ്രഷ്ടാക്കൾക്ക് പണം നൽകാത്ത AI ക്രോളറുകളെ ഡിഫോൾട്ടായി തടയുന്ന രീതിയിലേക്ക് മാറുകയാണെന്ന് Cloudflare പ്രഖ്യാപിച്ചു. 2026 ജൂലൈ 1-ന്, ഒറ്റ Block AI bots സ്വിച്ചിന് പകരം മുകളിൽ വിവരിച്ച പ്രത്യേക Search, Agent, Training നയങ്ങൾ Free ഉൾപ്പെടെ എല്ലാ പ്ലാനുകൾക്കും കൊണ്ടുവന്നു. 2026 സെപ്റ്റംബർ 15 മുതൽ ചേരുന്ന പുതിയ ഡൊമെയ്‌നുകൾക്ക്, പരസ്യങ്ങൾ കാണിക്കുന്ന പേജുകളിൽ Training-ഉം Agent-ഉം തടയുകയും Search അനുവദിക്കുകയും ചെയ്യുമെന്ന് ഇതേ പ്രഖ്യാപനം പറഞ്ഞു.

2026 നവംബർ 2-ന് അവസാനം അപ്ഡേറ്റ് ചെയ്ത Cloudflare-ന്റെ നിലവിലെ നയ ഡോക്യുമെന്റേഷൻ പ്രകാരം, പുതിയ ഡൊമെയ്‌നുകൾക്ക് മൂന്ന് പെരുമാറ്റങ്ങൾക്കും ഡിഫോൾട്ട് Allow (do not block) ആണ്. Cloudflare-ന്റെ സ്വന്തം പേജുകൾ വിവിധ സമയങ്ങളിൽ വ്യത്യസ്ത ഡിഫോൾട്ടുകൾ വിവരിച്ചിട്ടുള്ളതിനാൽ, നിങ്ങളുടെ സോണിനായി അവയിലൊന്നിനെയും ആശ്രയിക്കരുത്: നയ പേജ് തുറന്ന് എന്താണ് സജ്ജമാക്കിയിരിക്കുന്നതെന്ന് വായിക്കുക.

ഞാൻ അനുവദിച്ചിട്ടും Cloudflare എന്തുകൊണ്ട് ഇപ്പോഴും AI ക്രോളറുകളെ തടയുന്നു?

AI Crawl Control-ലെ Allow ആക്ഷൻ AI Crawl Control തടയുന്നത് മാത്രമേ നിർത്തൂ. മറ്റ് ഫീച്ചറുകൾ ഇപ്പോഴും അഭ്യർത്ഥനയിൽ പ്രവർത്തിക്കുന്നു. സാധാരണ കാരണങ്ങൾ:

Cloudflare ഏതൊക്കെ AI ക്രോളറുകളെ കടത്തിവിടുന്നു എന്ന് പുറത്തുനിന്ന് എങ്ങനെ ഉറപ്പാക്കാം?

ഒരേ പേജ് ഒരു ബ്രൗസർ യൂസർ ഏജന്റ് ഉപയോഗിച്ചും ഓരോ ക്രോളറിന്റെയും യൂസർ ഏജന്റ് ഉപയോഗിച്ചും അഭ്യർത്ഥിക്കുക, തുടർന്ന് സ്റ്റാറ്റസും വലുപ്പവും താരതമ്യം ചെയ്യുക. താഴെയുള്ള OpenAI, Perplexity, Google സ്ട്രിംഗുകൾ ആ കമ്പനികൾ പ്രസിദ്ധീകരിക്കുന്നവയാണ്.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429, 503 എന്നിവയുള്ള, അല്ലെങ്കിൽ ബ്രൗസർ വരിയേക്കാൾ വളരെ ചെറിയ വലുപ്പമുള്ള ഒരു ക്രോളർ വരി അർത്ഥമാക്കുന്നത് നിങ്ങളുടെ ഒറിജിന് മുന്നിലുള്ള എന്തോ വ്യത്യസ്തമായി മറുപടി നൽകി എന്നാണ്. Free പ്ലാനിൽ AI Crawl Control ക്രോളറുകളെ യൂസർ ഏജന്റ് വഴി കണ്ടെത്തുന്നു, അതിനാൽ ഈ ടെസ്റ്റ് അതിന്റെ തടയലുകളുടെ ന്യായമായ പരിശോധനയാണ്. വെരിഫൈഡ് ബോട്ട് സ്റ്റാറ്റസിനെയോ ബോട്ട് സ്കോറുകളെയോ അടിസ്ഥാനമാക്കിയുള്ള നിയമങ്ങൾ നിങ്ങളുടെ അഭ്യർത്ഥനയെ യഥാർത്ഥ ക്രോളറിൽ നിന്ന് വ്യത്യസ്തമായി കണക്കാക്കിയേക്കാം, കാരണം അത് ഓപ്പറേറ്ററുടെ പ്രസിദ്ധീകരിച്ച ശ്രേണികളിൽ നിന്നല്ല, നിങ്ങളുടെ IP വിലാസത്തിൽ നിന്നാണ് വരുന്നത്. ടെസ്റ്റിന് ശേഷം, ഏത് നിയമമാണ് ചേർന്നതെന്ന് കാണാൻ Security Analytics-ൽ നിങ്ങളുടെ സ്വന്തം അഭ്യർത്ഥനകൾ നോക്കുക.

Cloudflare AI ക്രോളറുകൾക്ക് എന്ത് അയയ്ക്കുന്നു എന്ന് AISeeWhy എങ്ങനെ പരിശോധിക്കുന്നു?

സൗജന്യ AISeeWhy പരിശോധന ഒരു യഥാർത്ഥ ബ്രൗസറിനൊപ്പം 16 AI, സെർച്ച് ക്രോളറുകളായി നിങ്ങളുടെ പേജ് അഭ്യർത്ഥിക്കുന്നു, ഓരോ ക്രോളറിനും നിങ്ങളുടെ robots.txt ബാധകമാക്കുന്നു, ഫയർവാൾ ചലഞ്ച് പേജുകൾ തിരിച്ചറിയുന്നു, അതിനാൽ Cloudflare ഡാഷ്ബോർഡിലെ ഫലം ക്രോളറുകൾക്ക് യഥാർത്ഥത്തിൽ ലഭിക്കുന്നതുമായി ചേരുന്നുണ്ടോ എന്ന് കാണാം.

ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

പതിവ് ചോദ്യങ്ങൾ

Cloudflare AI Crawl Control സൗജന്യമാണോ?

അതെ. AI Crawl Control എല്ലാ പ്ലാനുകളിലും ലഭ്യമാണെന്ന് Cloudflare പട്ടികപ്പെടുത്തുന്നു. Free പ്ലാൻ യൂസർ ഏജന്റ് വഴി മാത്രം ക്രോളറുകളെ കണ്ടെത്തുന്നു, Metrics-ൽ കഴിഞ്ഞ 24 മണിക്കൂർ കാണിക്കുന്നു; റഫറൽ ഡാറ്റയ്ക്കും കസ്റ്റം തടയൽ മറുപടികൾക്കും പണമടച്ചുള്ള പ്ലാൻ വേണം.

Cloudflare AI Audit-ന് എന്ത് സംഭവിച്ചു?

അതിന്റെ പേര് മാറ്റി. Cloudflare-ന്റെ ഡോക്യുമെന്റേഷൻ AI Crawl Control-നെ മുമ്പത്തെ AI Audit ആയി വിവരിക്കുന്നു, ഉദ്ദേശ്യം അതുതന്നെ: ഏതൊക്കെ AI ക്രോളറുകൾ വരുന്നു എന്ന് കാണുക, ഓരോന്നിനും ഒരു ആക്ഷൻ സജ്ജമാക്കുക.

AI Crawl Control-ൽ ഒരു ക്രോളറെ തടയുന്നത് എന്റെ robots.txt മാറ്റുമോ?

ഇല്ല. Block ആക്ഷൻ ഒരു WAF കസ്റ്റം നിയമം ഉണ്ടാക്കുകയോ അപ്ഡേറ്റ് ചെയ്യുകയോ ചെയ്യുന്നു. Bot Preference Sync-നൊപ്പം Training-നുള്ള Disallow ഓപ്ഷൻ ഉപയോഗിച്ചാൽ മാത്രമേ robots.txt മാറൂ, അത് Cloudflare-ന്റെ മാനേജ്ഡ് നിയമങ്ങൾ നിങ്ങളുടെ ഫയലിന്റെ തുടക്കത്തിൽ ചേർക്കുന്നു.

Cloudflare-ൽ robots.txt ലംഘനമായി കണക്കാക്കുന്നത് എന്താണ്?

നിങ്ങളുടെ robots.txt വിലക്കുന്ന ഒരു പാത്തിലേക്ക് ഒരു AI ക്രോളറിൽ നിന്നുള്ള അഭ്യർത്ഥന. Cloudflare മുൻ അഭ്യർത്ഥനകളെ നിങ്ങളുടെ നിലവിലെ നിയമങ്ങളുമായി താരതമ്യം ചെയ്യുന്നു, അതിനാൽ ഒരു പുതിയ നിയമം അന്ന് അനുവദനീയമായിരുന്ന പഴയ അഭ്യർത്ഥനകളെ അടയാളപ്പെടുത്തിയേക്കാം.

pay per crawl എന്താണ്?

AI ക്രോളറുകളോട് ഓരോ അഭ്യർത്ഥനയ്ക്കും പണം നൽകാൻ ആവശ്യപ്പെടുന്ന, അല്ലാത്തപക്ഷം HTTP 402-ഉം വിലയും നൽകുന്ന Charge ആക്ഷൻ. Cloudflare ഇതിനെ ക്ലോസ്ഡ് ബീറ്റയായി വിവരിക്കുന്നു, WAF അല്ലെങ്കിൽ Bot Management തടയലുകൾക്ക് ഇതിനേക്കാൾ മുൻഗണനയുണ്ട്.

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ