Cloudflare-ന്റെ AI Crawl Control റിപ്പോർട്ട് എങ്ങനെ വായിക്കാം, ഏതൊക്കെ AI ക്രോളറുകൾ കടക്കുന്നു എന്ന് എങ്ങനെ കാണാം
നിങ്ങളുടെ Cloudflare ഡാഷ്ബോർഡിൽ AI Crawl Control തുറക്കുക: നിങ്ങളുടെ ഡൊമെയ്നിൽ Cloudflare കണ്ട ഓരോ AI ക്രോളറും, അതിന്റെ അഭ്യർത്ഥനകളും, robots.txt ലംഘനങ്ങളും, അതിന്റെ ആക്ഷൻ Allow ആണോ Block ആണോ എന്നതും ക്രോളർ പട്ടിക കാണിക്കുന്നു. പരിശീലനം നിരസിച്ചുകൊണ്ട് AI സെർച്ചിൽ തുടരാൻ, അവിടെയോ AI Crawler and Agent access policies-ലോ സെർച്ച്, ഏജന്റ് ക്രോളറുകളെ അനുവദിക്കുകയും പരിശീലന ക്രോളറുകളെ തടയുകയോ വിലക്കുകയോ ചെയ്യുക. തുടർന്ന് curl ഉപയോഗിച്ച് പുറത്തുനിന്ന് ഉറപ്പാക്കുക, കാരണം നിങ്ങൾ അനുവദിച്ച ക്രോളറെ മറ്റ് Cloudflare ഫീച്ചറുകൾ ഇപ്പോഴും തടഞ്ഞേക്കാം.
AI ക്രോളറുകൾക്ക് എന്ത് ലഭിക്കുമെന്ന് തീരുമാനിക്കുന്ന രണ്ട് ഇടങ്ങൾ ഇപ്പോൾ Cloudflare-ലുണ്ട്: മുമ്പ് AI Audit എന്ന് വിളിച്ചിരുന്ന, ക്രോളർ തിരിച്ചുള്ള റിപ്പോർട്ടും നിയന്ത്രണ പാനലുമായ AI Crawl Control, കൂടാതെ Security ക്രമീകരണങ്ങളിലെ സോൺ മുഴുവനുമുള്ള AI Crawler and Agent access policies. രണ്ടും Free പ്ലാനിൽ ലഭ്യമാണ്, രണ്ടും 2026-ൽ മാറി, ഒരു ക്രോളറിന് ഇപ്പോഴും 403 നൽകാൻ കഴിയുന്ന മറ്റെല്ലാ ഫീച്ചറുകളെക്കുറിച്ചും ഇവ രണ്ടും പറയുന്നില്ല. ഈ ഗൈഡ് റിപ്പോർട്ട് കോളം തോറും വിശദീകരിക്കുന്നു, അനുവദിക്കലും തടയലും എവിടെ സജ്ജമാക്കണമെന്ന് കാണിക്കുന്നു, നിങ്ങളുടെ സ്വന്തം മെഷീനിൽ നിന്ന് പ്രവർത്തിപ്പിക്കാവുന്ന ഒരു ടെസ്റ്റോടെ അവസാനിക്കുന്നു.
ഈ പേജിൽ
- Cloudflare-ലെ AI ക്രോളർ റിപ്പോർട്ട് എവിടെയാണ്?
- AI Crawl Control റിപ്പോർട്ടിലെ ഓരോ കോളവും മെട്രിക്കും എന്താണ് അർത്ഥമാക്കുന്നത്?
- Cloudflare-ൽ AI സെർച്ച് ക്രോളറുകളെ അനുവദിച്ച് പരിശീലന ക്രോളറുകളെ എങ്ങനെ തടയാം?
- Cloudflare-ന്റെ AI ക്രോളർ ഡിഫോൾട്ടുകളിൽ എന്താണ് മാറിയത്?
- ഞാൻ അനുവദിച്ചിട്ടും Cloudflare എന്തുകൊണ്ട് ഇപ്പോഴും AI ക്രോളറുകളെ തടയുന്നു?
- Cloudflare ഏതൊക്കെ AI ക്രോളറുകളെ കടത്തിവിടുന്നു എന്ന് പുറത്തുനിന്ന് എങ്ങനെ ഉറപ്പാക്കാം?
- Cloudflare AI ക്രോളറുകൾക്ക് എന്ത് അയയ്ക്കുന്നു എന്ന് AISeeWhy എങ്ങനെ പരിശോധിക്കുന്നു?
Cloudflare-ലെ AI ക്രോളർ റിപ്പോർട്ട് എവിടെയാണ്?
ഡാഷ്ബോർഡിൽ നിങ്ങളുടെ അക്കൗണ്ടും ഡൊമെയ്നും തിരഞ്ഞെടുത്ത് AI Crawl Control തുറക്കുക. ഡൊമെയ്നിന്റെ ട്രാഫിക് Cloudflare വഴി പ്രോക്സി ചെയ്യുന്നിടത്തോളം, കോൺഫിഗറേഷൻ ഇല്ലാതെ ഇത് പ്രവർത്തിക്കുമെന്നും എല്ലാ പ്ലാനുകളിലും ലഭ്യമാണെന്നും Cloudflare പറയുന്നു. ഇതിന് നാല് ഭാഗങ്ങളുണ്ട്:
- Overview: ആകെ അഭ്യർത്ഥനകൾ, അളവിലെ മാറ്റം, ഏറ്റവും സാധാരണമായ സ്റ്റാറ്റസ് കോഡ്, ഏറ്റവും ജനപ്രിയമായ പാത്ത്, ഉയർന്ന അളവിലുള്ള ക്രോളറുകൾ എന്നിവയുള്ള ചുരുക്കം, Cloudflare-ന്റെ മാനേജ്ഡ് robots.txt ഓണാണോ എന്നതും, OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta തുടങ്ങിയ ഓപ്പറേറ്റർമാർ തിരിച്ചുള്ള ക്രോളറുകളും.
- ക്രോളർ പട്ടിക: ഓരോ AI ക്രോളറിനും ഒരു വരി, Allow അല്ലെങ്കിൽ Block തിരഞ്ഞെടുക്കാവുന്ന Action കോളം സഹിതം. Cloudflare-ന്റെ ഡോക്യുമെന്റേഷൻ ഈ ടാബിനെ ഒരു പേജിൽ Crawlers എന്നും മറ്റൊന്നിൽ Security എന്നും വിളിക്കുന്നു, അതിനാൽ Action കോളമുള്ള പട്ടിക നോക്കുക.
- Metrics: കാലക്രമേണയുള്ള അഭ്യർത്ഥനകൾ, സ്റ്റാറ്റസ് കോഡ് വിതരണം, ഉള്ളടക്ക ഫോർമാറ്റ്, ഏറ്റവും ജനപ്രിയമായ പാത്തുകൾ, പണമടച്ചുള്ള പ്ലാനുകളിൽ റഫറലുകൾ. തീയതി പരിധി, ക്രോളർ, ഓപ്പറേറ്റർ, ഹോസ്റ്റ്നെയിം, പാത്ത് എന്നിവയ്ക്ക് ഫിൽട്ടറുകളുണ്ട്, CSV എക്സ്പോർട്ട് ചെയ്യാം.
- Directives: നിങ്ങളുടെ robots.txt ഫയലിന്റെ ആരോഗ്യവും robots.txt ലംഘനങ്ങളുടെ പട്ടികയും.
സംഖ്യകൾ വായിക്കുമ്പോൾ രണ്ട് പ്ലാൻ പരിധികൾ പ്രധാനമാണ്. Free പ്ലാനിൽ, AI Crawl Control ക്രോളറുകളെ യൂസർ ഏജന്റ് സ്ട്രിംഗ് വഴി മാത്രമേ തിരിച്ചറിയൂ, അതിനാൽ സ്വയം പരിചയപ്പെടുത്തുന്ന ക്രോളറുകളെ മാത്രമേ അത് കാണൂ, Metrics ടാബ് കഴിഞ്ഞ 24 മണിക്കൂർ മാത്രം ഉൾക്കൊള്ളുന്നു. പണമടച്ചുള്ള പ്ലാനുകൾ Bot Management detection ID വഴിയുള്ള കണ്ടെത്തൽ ചേർക്കുന്നു, Bot Management ഉള്ള Enterprise-ന് ക്രമീകരിക്കാവുന്ന സമയപരിധികൾ ലഭിക്കും.
AI Crawl Control റിപ്പോർട്ടിലെ ഓരോ കോളവും മെട്രിക്കും എന്താണ് അർത്ഥമാക്കുന്നത്?
Cloudflare ഫീൽഡുകൾ ഇങ്ങനെയാണ് രേഖപ്പെടുത്തുന്നത്. നിർവചനങ്ങൾ പ്രധാനമാണ്, കാരണം പല സംഖ്യകളും നിങ്ങൾ പ്രതീക്ഷിക്കുന്നതിലും കൂടുതൽ എണ്ണുന്നു.
- Crawler, Category: ക്രോളറിന്റെ പേര്, ഓപ്പറേറ്റർ, AI ക്രോളർ, AI അസിസ്റ്റന്റ്, ആർക്കൈവർ പോലുള്ള വിഭാഗം.
- Requests: അനുവദിച്ചതും പരാജയപ്പെട്ടതുമായ അഭ്യർത്ഥനകൾ, ട്രെൻഡ് ചാർട്ട് സഹിതം. പരാജയപ്പെട്ട അഭ്യർത്ഥനകൾ AI Crawl Control തടയലിൽ നിന്ന് മാത്രമല്ല, ഏത് നിയമത്തിൽ നിന്നോ റെസ്പോൺസ് പിശകിൽ നിന്നോ വരാം, അതിനാൽ നിങ്ങൾ അനുവദിച്ച ക്രോളറിന് ഉയർന്ന സംഖ്യ കാണുന്നുവെങ്കിൽ അത് മറ്റൊരു നിയമത്തിലേക്കോ നിങ്ങളുടെ ഒറിജിൻ സെർവറിലെ പിശകുകളിലേക്കോ ചൂണ്ടുന്നു.
- Allowed requests: 200-നും 299-നും ഇടയിലുള്ള സ്റ്റാറ്റസ് ലഭിച്ച അഭ്യർത്ഥനകൾ. അനുവദിച്ച അഭ്യർത്ഥനകൾക്ക് Cloudflare അയച്ച ബൈറ്റുകളിൽ നിന്നാണ് ഡാറ്റ കൈമാറ്റം അളക്കുന്നത്.
- Robots.txt violations: നിങ്ങളുടെ robots.txt വിലക്കുന്ന പാത്ത് ക്രോളർ എത്ര തവണ അഭ്യർത്ഥിച്ചു. Cloudflare മുൻ അഭ്യർത്ഥനകളെ നിങ്ങളുടെ നിലവിലെ നിയമങ്ങളുമായി താരതമ്യം ചെയ്യുന്നു, അതിനാൽ ഇന്ന് ചേർക്കുന്ന ഒരു നിയമം, നടന്ന സമയത്ത് അനുവദനീയമായിരുന്ന അഭ്യർത്ഥനകളെ അടയാളപ്പെടുത്തിയേക്കാം.
- Action: Allow, Block, അല്ലെങ്കിൽ pay per crawl ബീറ്റയിലുള്ള അക്കൗണ്ടുകൾക്ക് Charge.
- സ്റ്റാറ്റസ് കോഡ് വിതരണം: 2xx, 3xx, 4xx, 5xx. 4xx ഗ്രൂപ്പിൽ തടയലുകളിൽ നിന്നുള്ള 403-ഉം pay per crawl-ൽ നിന്നുള്ള 402-ഉം ഉൾപ്പെടുന്നു.
- Referrals, പ്രധാന റഫററുകൾ, പണമടച്ചുള്ള പ്ലാനുകളിൽ മാത്രം: ഉദാഹരണത്തിന് chatgpt.com പോലുള്ള AI സേവനങ്ങളിൽ നിന്ന് വന്ന സന്ദർശനങ്ങളും അവ എത്തിയ പേജുകളും.
നിങ്ങൾ തിരഞ്ഞെടുത്ത ആക്ഷനിൽ നിന്ന് തുടങ്ങി റിപ്പോർട്ട് വായിക്കുക. Allow ആയി സജ്ജമാക്കിയ ക്രോളർ മിക്കവാറും അനുവദിച്ച അഭ്യർത്ഥനകളും 2xx കോഡുകളും കാണിക്കണം. ധാരാളം പരാജയപ്പെട്ട അഭ്യർത്ഥനകൾ കാണിക്കുന്നുവെങ്കിൽ, ആ ക്രോളറിനായി ഫിൽട്ടർ ചെയ്ത സ്റ്റാറ്റസ് കോഡ് വിതരണം തുറക്കുക, മറുപടി നൽകിയ നിയമം കണ്ടെത്താൻ Security Analytics പരിശോധിക്കുക.
Cloudflare-ൽ AI സെർച്ച് ക്രോളറുകളെ അനുവദിച്ച് പരിശീലന ക്രോളറുകളെ എങ്ങനെ തടയാം?
ക്രോളർ തിരിച്ചോ പെരുമാറ്റം തിരിച്ചോ ഇത് ചെയ്യാം. ക്രോളർ തിരിച്ച്: AI Crawl Control തുറന്ന് ഓരോ വരിക്കും Action സജ്ജമാക്കുക. അവിടെ തടയുന്നത് നിങ്ങളുടെ സോണിൽ ഒരു WAF കസ്റ്റം നിയമം ഉണ്ടാക്കുകയോ അപ്ഡേറ്റ് ചെയ്യുകയോ ചെയ്യുന്നുവെന്ന് Cloudflare പറയുന്നു, പാത്ത് ഒഴിവാക്കലുകൾക്കായി അത് WAF-ൽ വികസിപ്പിക്കാം. പണമടച്ചുള്ള പ്ലാനുകളിൽ, തടഞ്ഞ ക്രോളറുകൾക്ക് 403 വേണോ 402 വേണോ എന്ന് തിരഞ്ഞെടുക്കാനും ഒരു പ്ലെയിൻ ടെക്സ്റ്റ് ബോഡി സജ്ജമാക്കാനും കഴിയും.
പെരുമാറ്റം തിരിച്ച്: Security, തുടർന്ന് Settings എന്നതിലേക്ക് പോയി Bot traffic ഫിൽട്ടർ ചെയ്ത് AI Crawler and Agent access policies തുറക്കുക. Cloudflare AI ട്രാഫിക്കിനെ മൂന്ന് പെരുമാറ്റങ്ങളായി തരംതിരിക്കുന്നു, ഓരോ നയവും ആ പെരുമാറ്റമുള്ള വെരിഫൈഡ് ബോട്ടുകൾക്കും ചേരുന്ന അൺവെരിഫൈഡ് ബോട്ടുകൾക്കും ബാധകമാണ്:
- Search: പിന്നീട് ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാൻ ഉള്ളടക്കം ശേഖരിക്കുകയോ ഇൻഡക്സ് ചെയ്യുകയോ ചെയ്യുന്നത്.
- Agent: ചാറ്റ് ഫെച്ചുകളും ബ്രൗസർ ഏജന്റുകളും പോലെ, ഒരാൾക്കുവേണ്ടി തത്സമയം പ്രവർത്തിക്കുന്നത്.
- Training: മോഡലുകളെ പരിശീലിപ്പിക്കാനോ ഫൈൻ-ട്യൂൺ ചെയ്യാനോ ഉള്ളടക്കം ശേഖരിക്കുന്നത്, പരിശീലനത്തിനും സെർച്ചിനും ഉപയോഗിക്കുന്ന ക്രോളറുകൾ ഉൾപ്പെടെ.
ഓരോ പെരുമാറ്റവും Block, Block on pages with ads, അല്ലെങ്കിൽ Allow (do not block) ആയി സജ്ജമാക്കാം. Training-ന് Disallow-ഉം ഉണ്ട്, അത് robots.txt വഴി ക്രോളറുകളോട് അഭ്യർത്ഥിക്കുക മാത്രം ചെയ്യുന്നു. Bot Preference Sync ഓണാണെങ്കിൽ, Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, meta-externalagent എന്നിവയെ വിലക്കുന്ന മാനേജ്ഡ് നിയമങ്ങൾ Cloudflare നിങ്ങളുടെ robots.txt-ന്റെ തുടക്കത്തിൽ ചേർക്കുന്നു, ഒരു Content Signals വരി ചേർക്കുന്നു, സെർച്ചിനും പരിശീലനത്തിനും ഉപയോഗിക്കുന്നവ ഒഴികെയുള്ള AI പരിശീലന ക്രോളറുകളെ എഡ്ജിൽ തടയുകയും ചെയ്യുന്നു.
AI ഉദ്ധരണികൾ ആഗ്രഹിക്കുന്ന മിക്ക സൈറ്റുകൾക്കും സുരക്ഷിതമായ സംയോജനം Search-ഉം Agent-ഉം Allow-ലും Training Disallow-ലും ആണ്, തുടർന്ന് എഡ്ജിൽ നിർത്താൻ ആഗ്രഹിക്കുന്ന പരിശീലനത്തിന് മാത്രമുള്ള ക്രോളറുകൾക്ക് AI Crawl Control-ൽ വ്യക്തിഗത Block ആക്ഷനുകൾ.
Cloudflare-ന്റെ AI ക്രോളർ ഡിഫോൾട്ടുകളിൽ എന്താണ് മാറിയത്?
2025 ജൂലൈ 1-ന്, സ്രഷ്ടാക്കൾക്ക് പണം നൽകാത്ത AI ക്രോളറുകളെ ഡിഫോൾട്ടായി തടയുന്ന രീതിയിലേക്ക് മാറുകയാണെന്ന് Cloudflare പ്രഖ്യാപിച്ചു. 2026 ജൂലൈ 1-ന്, ഒറ്റ Block AI bots സ്വിച്ചിന് പകരം മുകളിൽ വിവരിച്ച പ്രത്യേക Search, Agent, Training നയങ്ങൾ Free ഉൾപ്പെടെ എല്ലാ പ്ലാനുകൾക്കും കൊണ്ടുവന്നു. 2026 സെപ്റ്റംബർ 15 മുതൽ ചേരുന്ന പുതിയ ഡൊമെയ്നുകൾക്ക്, പരസ്യങ്ങൾ കാണിക്കുന്ന പേജുകളിൽ Training-ഉം Agent-ഉം തടയുകയും Search അനുവദിക്കുകയും ചെയ്യുമെന്ന് ഇതേ പ്രഖ്യാപനം പറഞ്ഞു.
2026 നവംബർ 2-ന് അവസാനം അപ്ഡേറ്റ് ചെയ്ത Cloudflare-ന്റെ നിലവിലെ നയ ഡോക്യുമെന്റേഷൻ പ്രകാരം, പുതിയ ഡൊമെയ്നുകൾക്ക് മൂന്ന് പെരുമാറ്റങ്ങൾക്കും ഡിഫോൾട്ട് Allow (do not block) ആണ്. Cloudflare-ന്റെ സ്വന്തം പേജുകൾ വിവിധ സമയങ്ങളിൽ വ്യത്യസ്ത ഡിഫോൾട്ടുകൾ വിവരിച്ചിട്ടുള്ളതിനാൽ, നിങ്ങളുടെ സോണിനായി അവയിലൊന്നിനെയും ആശ്രയിക്കരുത്: നയ പേജ് തുറന്ന് എന്താണ് സജ്ജമാക്കിയിരിക്കുന്നതെന്ന് വായിക്കുക.
ഞാൻ അനുവദിച്ചിട്ടും Cloudflare എന്തുകൊണ്ട് ഇപ്പോഴും AI ക്രോളറുകളെ തടയുന്നു?
AI Crawl Control-ലെ Allow ആക്ഷൻ AI Crawl Control തടയുന്നത് മാത്രമേ നിർത്തൂ. മറ്റ് ഫീച്ചറുകൾ ഇപ്പോഴും അഭ്യർത്ഥനയിൽ പ്രവർത്തിക്കുന്നു. സാധാരണ കാരണങ്ങൾ:
- Training തടയുന്നത് രണ്ടും ചെയ്യുന്ന സെർച്ച് ക്രോളറുകളെയും തടയുന്നു. Training ആക്ഷനുകൾ മിശ്ര ഉദ്ദേശ്യ ക്രോളറുകൾക്ക് ബാധകമാണെന്ന് Cloudflare-ന്റെ ഡോക്യുമെന്റേഷൻ പറയുന്നു, Training തടയുന്ന ഉപഭോക്താക്കൾ 2026 സെപ്റ്റംബർ 15 മുതൽ തടയുന്ന ക്രോളറുകളായി Googlebot, Applebot, bingbot എന്നിവയെ അതിന്റെ 2026 ജൂലൈ പ്രഖ്യാപനം പേരെടുത്ത് പറയുന്നു. Disallow ആണ് ഇടുങ്ങിയ തിരഞ്ഞെടുപ്പ്, കാരണം അതിന്റെ എഡ്ജ് തടയൽ മിശ്ര ഉദ്ദേശ്യ ക്രോളറുകളെ ഒഴിവാക്കുന്നു.
- Bot Fight Mode ഓണാണ്. WAF കസ്റ്റം നിയമങ്ങളോ Page Rules-ഓ ഉപയോഗിച്ച് Bot Fight Mode മറികടക്കാനോ ഒഴിവാക്കാനോ കഴിയില്ലെന്ന് Cloudflare പറയുന്നു. അത് ഒരു ക്രോളറിന് ചലഞ്ച് നൽകുന്നുവെങ്കിൽ, അത് ഓഫാക്കുക, അല്ലെങ്കിൽ ലഭ്യമായ പ്ലാനിൽ skip നിയമങ്ങൾ പിന്തുണയ്ക്കുന്ന Super Bot Fight Mode ഉപയോഗിക്കുക.
- പഴയ ഒരു WAF കസ്റ്റം നിയമം
botഅടങ്ങിയ യൂസർ ഏജന്റുകളെ തടയുന്നു, അല്ലെങ്കിൽ ഒരു റേറ്റ് ലിമിറ്റിംഗ് നിയമം പെട്ടെന്നുള്ള തിരക്കിന് 429 നൽകുന്നു. AI Crawl Control-ലെ Action എന്തായാലും ഇവ പ്രവർത്തിക്കും. - തടയൽ നിയമം കൈകൊണ്ട് മാറ്റി. AI Crawl Control-ന് പിന്നിലുള്ള WAF നിയമം മറ്റൊരു റെസ്പോൺസ് കോഡിലേക്ക് മാറ്റിയാൽ, ഡാഷ്ബോർഡിന് നിങ്ങളുടെ തിരഞ്ഞെടുപ്പ് നടപ്പാക്കാൻ കഴിയില്ല.
- robots.txt ഇപ്പോഴും ക്രോളറെ വിലക്കുന്നു. Cloudflare-ന്റെ Allow നിങ്ങളുടെ robots.txt മാറ്റുന്നില്ല, അതിനാൽ മര്യാദയുള്ള ഒരു ക്രോളർ എന്തായാലും വിട്ടുനിൽക്കും. ഏറ്റവും ജനപ്രിയമായ 1,000 ഡൊമെയ്നുകളെക്കുറിച്ചുള്ള ഞങ്ങളുടെ പഠനത്തിൽ, robots.txt-ൽ ഒരു AI പരിശീലന ക്രോളറെ തടഞ്ഞ 155 സൈറ്റുകളിൽ 98 എണ്ണം കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രോളറെയും തടഞ്ഞിരുന്നു.
Cloudflare ഏതൊക്കെ AI ക്രോളറുകളെ കടത്തിവിടുന്നു എന്ന് പുറത്തുനിന്ന് എങ്ങനെ ഉറപ്പാക്കാം?
ഒരേ പേജ് ഒരു ബ്രൗസർ യൂസർ ഏജന്റ് ഉപയോഗിച്ചും ഓരോ ക്രോളറിന്റെയും യൂസർ ഏജന്റ് ഉപയോഗിച്ചും അഭ്യർത്ഥിക്കുക, തുടർന്ന് സ്റ്റാറ്റസും വലുപ്പവും താരതമ്യം ചെയ്യുക. താഴെയുള്ള OpenAI, Perplexity, Google സ്ട്രിംഗുകൾ ആ കമ്പനികൾ പ്രസിദ്ധീകരിക്കുന്നവയാണ്.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429, 503 എന്നിവയുള്ള, അല്ലെങ്കിൽ ബ്രൗസർ വരിയേക്കാൾ വളരെ ചെറിയ വലുപ്പമുള്ള ഒരു ക്രോളർ വരി അർത്ഥമാക്കുന്നത് നിങ്ങളുടെ ഒറിജിന് മുന്നിലുള്ള എന്തോ വ്യത്യസ്തമായി മറുപടി നൽകി എന്നാണ്. Free പ്ലാനിൽ AI Crawl Control ക്രോളറുകളെ യൂസർ ഏജന്റ് വഴി കണ്ടെത്തുന്നു, അതിനാൽ ഈ ടെസ്റ്റ് അതിന്റെ തടയലുകളുടെ ന്യായമായ പരിശോധനയാണ്. വെരിഫൈഡ് ബോട്ട് സ്റ്റാറ്റസിനെയോ ബോട്ട് സ്കോറുകളെയോ അടിസ്ഥാനമാക്കിയുള്ള നിയമങ്ങൾ നിങ്ങളുടെ അഭ്യർത്ഥനയെ യഥാർത്ഥ ക്രോളറിൽ നിന്ന് വ്യത്യസ്തമായി കണക്കാക്കിയേക്കാം, കാരണം അത് ഓപ്പറേറ്ററുടെ പ്രസിദ്ധീകരിച്ച ശ്രേണികളിൽ നിന്നല്ല, നിങ്ങളുടെ IP വിലാസത്തിൽ നിന്നാണ് വരുന്നത്. ടെസ്റ്റിന് ശേഷം, ഏത് നിയമമാണ് ചേർന്നതെന്ന് കാണാൻ Security Analytics-ൽ നിങ്ങളുടെ സ്വന്തം അഭ്യർത്ഥനകൾ നോക്കുക.
Cloudflare AI ക്രോളറുകൾക്ക് എന്ത് അയയ്ക്കുന്നു എന്ന് AISeeWhy എങ്ങനെ പരിശോധിക്കുന്നു?
സൗജന്യ AISeeWhy പരിശോധന ഒരു യഥാർത്ഥ ബ്രൗസറിനൊപ്പം 16 AI, സെർച്ച് ക്രോളറുകളായി നിങ്ങളുടെ പേജ് അഭ്യർത്ഥിക്കുന്നു, ഓരോ ക്രോളറിനും നിങ്ങളുടെ robots.txt ബാധകമാക്കുന്നു, ഫയർവാൾ ചലഞ്ച് പേജുകൾ തിരിച്ചറിയുന്നു, അതിനാൽ Cloudflare ഡാഷ്ബോർഡിലെ ഫലം ക്രോളറുകൾക്ക് യഥാർത്ഥത്തിൽ ലഭിക്കുന്നതുമായി ചേരുന്നുണ്ടോ എന്ന് കാണാം.
ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
Cloudflare AI Crawl Control സൗജന്യമാണോ?
അതെ. AI Crawl Control എല്ലാ പ്ലാനുകളിലും ലഭ്യമാണെന്ന് Cloudflare പട്ടികപ്പെടുത്തുന്നു. Free പ്ലാൻ യൂസർ ഏജന്റ് വഴി മാത്രം ക്രോളറുകളെ കണ്ടെത്തുന്നു, Metrics-ൽ കഴിഞ്ഞ 24 മണിക്കൂർ കാണിക്കുന്നു; റഫറൽ ഡാറ്റയ്ക്കും കസ്റ്റം തടയൽ മറുപടികൾക്കും പണമടച്ചുള്ള പ്ലാൻ വേണം.
Cloudflare AI Audit-ന് എന്ത് സംഭവിച്ചു?
അതിന്റെ പേര് മാറ്റി. Cloudflare-ന്റെ ഡോക്യുമെന്റേഷൻ AI Crawl Control-നെ മുമ്പത്തെ AI Audit ആയി വിവരിക്കുന്നു, ഉദ്ദേശ്യം അതുതന്നെ: ഏതൊക്കെ AI ക്രോളറുകൾ വരുന്നു എന്ന് കാണുക, ഓരോന്നിനും ഒരു ആക്ഷൻ സജ്ജമാക്കുക.
AI Crawl Control-ൽ ഒരു ക്രോളറെ തടയുന്നത് എന്റെ robots.txt മാറ്റുമോ?
ഇല്ല. Block ആക്ഷൻ ഒരു WAF കസ്റ്റം നിയമം ഉണ്ടാക്കുകയോ അപ്ഡേറ്റ് ചെയ്യുകയോ ചെയ്യുന്നു. Bot Preference Sync-നൊപ്പം Training-നുള്ള Disallow ഓപ്ഷൻ ഉപയോഗിച്ചാൽ മാത്രമേ robots.txt മാറൂ, അത് Cloudflare-ന്റെ മാനേജ്ഡ് നിയമങ്ങൾ നിങ്ങളുടെ ഫയലിന്റെ തുടക്കത്തിൽ ചേർക്കുന്നു.
Cloudflare-ൽ robots.txt ലംഘനമായി കണക്കാക്കുന്നത് എന്താണ്?
നിങ്ങളുടെ robots.txt വിലക്കുന്ന ഒരു പാത്തിലേക്ക് ഒരു AI ക്രോളറിൽ നിന്നുള്ള അഭ്യർത്ഥന. Cloudflare മുൻ അഭ്യർത്ഥനകളെ നിങ്ങളുടെ നിലവിലെ നിയമങ്ങളുമായി താരതമ്യം ചെയ്യുന്നു, അതിനാൽ ഒരു പുതിയ നിയമം അന്ന് അനുവദനീയമായിരുന്ന പഴയ അഭ്യർത്ഥനകളെ അടയാളപ്പെടുത്തിയേക്കാം.
pay per crawl എന്താണ്?
AI ക്രോളറുകളോട് ഓരോ അഭ്യർത്ഥനയ്ക്കും പണം നൽകാൻ ആവശ്യപ്പെടുന്ന, അല്ലാത്തപക്ഷം HTTP 402-ഉം വിലയും നൽകുന്ന Charge ആക്ഷൻ. Cloudflare ഇതിനെ ക്ലോസ്ഡ് ബീറ്റയായി വിവരിക്കുന്നു, WAF അല്ലെങ്കിൽ Bot Management തടയലുകൾക്ക് ഇതിനേക്കാൾ മുൻഗണനയുണ്ട്.
ഉറവിടങ്ങൾ
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ക്രോളർ ആക്സസ് റിപ്പോർട്ട്, 2026-11