Cloudflare AI ക്രോളറുകളെ തടയുന്നുണ്ടോ? എങ്ങനെ കണ്ടെത്തി പരിഹരിക്കാം
Cloudflare അല്ലെങ്കിൽ മറ്റൊരു ഫയർവാൾ AI ക്രോളറുകൾക്ക് തടയൽ നൽകുന്നുണ്ടോ എന്ന് ഏകദേശം 30 സെക്കൻഡിൽ അറിയുക, ശരിയായവയെ കടത്തിവിടുന്ന നിയമവും നേടുക.
സൗജന്യം · സൈൻ-അപ്പ് വേണ്ട · 30 സെക്കൻഡിൽ ഫലം
403, 429, ചലഞ്ച് പേജുകൾ
നിങ്ങളുടെ ബ്രൗസറിന് യഥാർത്ഥ പേജ് ലഭിക്കുമ്പോൾ ക്രോളറുകൾക്ക് തടയലോ Just a moment... പേജോ ലഭിച്ചേക്കാം. പേജ് രണ്ട് രീതിയിലും അഭ്യർത്ഥിച്ച് വ്യത്യാസം അടയാളപ്പെടുത്തുന്നു.
robots.txt-ഉം ഫയർവാളും
robots.txt ഒരു ക്രോളറിനെ അനുവദിക്കുകയും സെർവർ നിരസിക്കുകയും ചെയ്യുമ്പോൾ, റിപ്പോർട്ട് ആ വൈരുദ്ധ്യം കാണിക്കുന്നു, അതിനാൽ ഏത് ക്രമീകരണം മാറ്റണമെന്ന് അറിയാം.
ഫയർവാളിന്റെ പേര്
മറുപടി നൽകിയ CDN അല്ലെങ്കിൽ ഫയർവാളിന്റെ പേര്, Cloudflare ഉൾപ്പെടെ, കാണിക്കുന്നു, അതിനാൽ എവിടെ നോക്കണമെന്ന് ഊഹിക്കേണ്ടതില്ല.
പ്രയോഗിക്കേണ്ട നിയമം
ഓരോ കണ്ടെത്തലിനും ഒപ്പം Cloudflare നിയമം അല്ലെങ്കിൽ allowlist ഘട്ടം പോലുള്ള പരിഹാരവും ഉണ്ട്. സൗജന്യ പരിശോധന നിങ്ങളുടെ സ്കോറും ആദ്യ കണ്ടെത്തലും കാണിക്കുന്നു; പൂർണ റിപ്പോർട്ടിന് $29, ഒറ്റത്തവണ.
robots.txt ക്രോളറിനെ അനുവദിക്കുമ്പോഴും, Cloudflare-ഉം മറ്റ് ഫയർവാളുകളും ബ്രൗസറുകൾക്ക് യഥാർത്ഥ പേജ് നൽകുമ്പോൾ AI ക്രോളറുകൾക്ക് 403, 429 അല്ലെങ്കിൽ “Just a moment...” ചലഞ്ച് പേജ് നൽകിയേക്കാം. ക്രോളറിന്റെ യൂസർ ഏജന്റ് ഉപയോഗിച്ച് പേജ് അഭ്യർത്ഥിച്ച് പരിശോധിക്കുക, തുടർന്ന് AI Crawl Control-ൽ അല്ലെങ്കിൽ ഒരു WAF skip നിയമം ഉപയോഗിച്ച് AI സെർച്ച് ക്രോളറുകളെ അനുവദിക്കുക.
3 ഘട്ടങ്ങളിലായി കണ്ടെത്തി പരിഹരിക്കുക
- പേജ് രണ്ടുതവണ അഭ്യർത്ഥിക്കുക
ഒരിക്കൽ ബ്രൗസർ യൂസർ ഏജന്റ് ഉപയോഗിച്ച്, ഒരിക്കൽ ക്രോളറിന്റേത് ഉപയോഗിച്ച്. ക്രോളറിന് മാത്രം 403, 429 അല്ലെങ്കിൽ 503,
Just a moment...പേജ്, അല്ലെങ്കിൽ വളരെ ചെറിയ 200 എന്നിവ ഫയർവാൾ തടയലാണ് എന്ന് സൂചിപ്പിക്കുന്നു. - സെർച്ച് ക്രോളറുകളെ അനുവദിക്കുക
Cloudflare-ൽ AI Crawl Control തുറന്ന്, Crawlers പട്ടികയിൽ പോയി, നിങ്ങൾക്ക് വേണ്ട ക്രോളറുകൾക്ക് (ഉദാ.
OAI-SearchBot) Action കോളത്തിൽ Allow നൽകുക. - ആവശ്യമെങ്കിൽ മറ്റ് സംരക്ഷണങ്ങൾ ഒഴിവാക്കുക
ഒരു WAF custom rule, Super Bot Fight Mode അല്ലെങ്കിൽ rate limiting ഇപ്പോഴും അവയെ തടയുന്നുവെങ്കിൽ, verified bots-ന് ആ ഫീച്ചറുകൾ ഒഴിവാക്കുന്ന ഒരു നിയമം ആദ്യസ്ഥാനത്ത് ചേർക്കുക. യൂസർ ഏജന്റ് പൊരുത്തത്തേക്കാൾ verified bot ഫീൽഡോ വെണ്ടർ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളോ ഉപയോഗിക്കുക.
പതിവ് ചോദ്യങ്ങൾ
ഏതൊക്കെ AI ക്രോളറുകൾ തടയപ്പെട്ടിരിക്കുന്നു എന്ന് Cloudflare-ൽ എവിടെ കാണാം?
Cloudflare ഡാഷ്ബോർഡിൽ AI Crawl Control തുറക്കുക. നിങ്ങളുടെ ഡൊമെയ്നിൽ Cloudflare കണ്ട ഓരോ AI ക്രോളറും, അത് എത്ര അഭ്യർത്ഥനകൾ നടത്തി, അതിന്റെ ആക്ഷൻ Allow ആണോ Block ആണോ എന്നിവ അതിന്റെ ക്രോളർ പട്ടിക കാണിക്കുന്നു, അവിടെ ആക്ഷൻ മാറ്റാനും കഴിയും. Bot Fight Mode പോലുള്ള മറ്റ് ഫീച്ചറുകൾ നിങ്ങൾ അനുവദിച്ച ക്രോളറെ ഇപ്പോഴും തടഞ്ഞേക്കാം, അതിനാൽ ക്രോളറിന്റെ യൂസർ ഏജന്റ് ഉപയോഗിക്കുന്ന ഒരു അഭ്യർത്ഥന കൊണ്ട് ഫലം ഉറപ്പാക്കുക.
Cloudflare സ്ഥിരസ്ഥിതിയായി AI ക്രോളറുകളെ തടയുന്നുണ്ടോ?
അത് നിങ്ങളുടെ അക്കൗണ്ട്, പ്ലാൻ, സോണിലെ ക്രമീകരണങ്ങൾ എന്നിവയെ ആശ്രയിച്ചിരിക്കുന്നു, Cloudflare കാലക്രമേണ ഈ ഓപ്ഷനുകൾ മാറ്റിയിട്ടുമുണ്ട്. ഊഹിക്കുന്നതിന് പകരം AI Crawl Control-ഉം നിങ്ങളുടെ ബോട്ട് ക്രമീകരണങ്ങളും പരിശോധിക്കുകയും ക്രോളറിന്റെ യൂസർ ഏജന്റ് ഉപയോഗിച്ച് പരീക്ഷിക്കുകയും ചെയ്യുക.
എന്റെ സൈറ്റ് ബ്രൗസറിൽ പ്രവർത്തിക്കുന്നു, പക്ഷേ ക്രോളറുകൾക്ക് എന്തുകൊണ്ട് പ്രവർത്തിക്കുന്നില്ല?
ഫയർവാളുകൾ ഓരോ അഭ്യർത്ഥനയും വിലയിരുത്തുന്നു. ഒരു ബ്രൗസർ JavaScript ചലഞ്ചുകൾ കടക്കുകയും കുക്കികൾ സൂക്ഷിക്കുകയും ചെയ്യുന്നു; ക്രോളർ അങ്ങനെ ചെയ്യുന്നില്ല, അതിനാൽ നിങ്ങൾ ഒരിക്കലും കാണാത്ത ഒരു ചലഞ്ച് പേജോ 403-ഓ അതിന് ലഭിച്ചേക്കാം.
WAF വഴി AI ക്രോളറുകളെ അനുവദിക്കുന്നത് സുരക്ഷിതമാണോ?
കമ്പനിയുടെ IP ശ്രേണികളോ Cloudflare-ന്റെ സ്ഥിരീകരിച്ച ബോട്ട് സിഗ്നലോ ഉപയോഗിച്ച് സ്ഥിരീകരിക്കുന്നുണ്ടെങ്കിൽ പേരുള്ള ഒരു ക്രോളറിനെ അനുവദിക്കുന്നതിൽ അപകടസാധ്യത കുറവാണ്. യൂസർ ഏജന്റിനെ മാത്രം വിശ്വസിക്കുന്ന നിയമങ്ങൾ അത് പകർത്തുന്ന ആരെയും കടത്തിവിടുന്നു.
Cloudflare-ന്റെ ഇമെയിൽ മറയ്ക്കൽ ഫീച്ചർ AI ക്രോളറുകളെ ബാധിക്കുമോ?
അത് ഇമെയിൽ വിലാസങ്ങളെ ഒരു സ്ക്രിപ്റ്റിന് മാത്രം ഡീകോഡ് ചെയ്യാവുന്ന ലിങ്ക് കൊണ്ട് മാറ്റിസ്ഥാപിക്കുന്നു, അതിനാൽ ക്രോളറുകൾ വിലാസത്തിന് പകരം ഒരു പ്ലേസ്ഹോൾഡർ കാണുന്നു. നിങ്ങളുടെ കോൺടാക്റ്റ് ഇമെയിൽ വായിക്കാനാകണമെങ്കിൽ, Scrape Shield-ന് കീഴിലുള്ള Email Address Obfuscation ഓഫാക്കി വിലാസം സാധാരണ ടെക്സ്റ്റായി കാണിക്കുക.
പൂർണ ഗൈഡ് വായിക്കുക
സ്ക്രേപ്പറുകളെയും ദുരുപയോഗത്തെയും തടയാനാണ് ബോട്ട് സംരക്ഷണം, അത് അതിൽ മിടുക്കുമാണ്. പ്രശ്നം എന്തെന്നാൽ AI സെർച്ച് ക്രോളറുകളും ബോട്ടുകളാണ്. വർഷങ്ങൾക്ക് മുമ്പ് ഓണാക്കിയ ഒരു സുരക്ഷാ ക്രമീകരണമോ ഒരു നിരക്ക് പരിധിയോ അജ്ഞാത യൂസർ ഏജന്റുകൾക്കെതിരായ ഒരു വിശാലമായ നിയമമോ, നിങ്ങളെ ഉദ്ധരിക്കുന്ന ക്രോളറുകളെ നിശ്ശബ്ദമായി പുറത്തുനിർത്തിയേക്കാം, അതേസമയം നിങ്ങളുടെ സ്വന്തം സന്ദർശനങ്ങൾ പൂർണ്ണമായും സാധാരണപോലെ തോന്നും.
ഒരു ഫയർവാൾ AI ക്രോളറുകളെ എന്തിന് തടയുന്നു?
ഫയർവാളുകൾ ഓരോ അഭ്യർത്ഥനയും വിലയിരുത്തുന്നു. ഒരു ക്രോളർ JavaScript ചലഞ്ചുകൾ പ്രവർത്തിപ്പിക്കുന്നില്ല, ബ്രൗസറിനെപ്പോലെ കുക്കികൾ സൂക്ഷിക്കുന്നില്ല, പലപ്പോഴും തുടർച്ചയായി നിരവധി പേജുകൾ അഭ്യർത്ഥിക്കുന്നു. അതിനാൽ ബോട്ട് സംരക്ഷണം തടയാൻ നിർമ്മിച്ച ട്രാഫിക് പോലെതന്നെ അത് തോന്നാം. സാധാരണ കാരണങ്ങൾ:
- അറിയപ്പെടുന്ന ബോട്ട് രീതികളുമായി പൊരുത്തപ്പെടുന്ന ട്രാഫിക്കിനെ ചലഞ്ച് ചെയ്യുന്ന ബോട്ട് സംരക്ഷണ ഫീച്ചറുകൾ. ഉദാഹരണത്തിന്, Cloudflare-ന്റെ Bot Fight Mode ബോട്ടുകൾക്ക് കമ്പ്യൂട്ടേഷണലായി ഭാരമേറിയ ചലഞ്ചുകൾ നൽകുന്നു.
- “bot” അല്ലെങ്കിൽ “crawler” പോലുള്ള വാക്കുകൾ അടങ്ങിയ യൂസർ ഏജന്റുകളെ തടയുകയോ ചലഞ്ച് ചെയ്യുകയോ ചെയ്യുന്ന, അല്ലെങ്കിൽ സെർച്ച് എഞ്ചിനുകളുടെ ഒരു ചെറിയ പട്ടികയെ മാത്രം അനുവദിക്കുന്ന WAF കസ്റ്റം നിയമങ്ങൾ.
- AI ക്രോളറുകളെ ഒരു വിഭാഗമായി തടയുന്ന ക്രമീകരണങ്ങൾ. Search, Agent, Training ക്രോളറുകൾക്ക് നയങ്ങൾ സജ്ജമാക്കാൻ Cloudflare അനുവദിക്കുന്നു, അവിടെയുള്ള Block ക്രമീകരണം അവയ്ക്കെല്ലാം ബാധകമാണ്.
- ഒരു ക്രോളറിന്റെ വേഗത്തിലുള്ള അഭ്യർത്ഥനകൾക്ക് 429 നൽകുന്ന നിരക്ക് പരിധി.
- ക്രോളറുകൾ പ്രവർത്തിക്കുന്ന നെറ്റ്വർക്കുകളെ യാദൃച്ഛികമായി ഉൾക്കൊള്ളുന്ന രാജ്യ അല്ലെങ്കിൽ ASN തടയലുകൾ.
ഫയർവാൾ തടയലും robots.txt തടയലും എങ്ങനെ വേർതിരിച്ചറിയാം?
robots.txt തടയൽ ഒരു മര്യാദപൂർവമായ അഭ്യർത്ഥനയാണ്: ക്രോളർ നിങ്ങളുടെ നിയമങ്ങൾ വായിക്കുകയും പേജ് എടുക്കാതിരിക്കുകയും ചെയ്യുന്നു. ഫയർവാൾ തടയൽ ഒരു മറുപടിയാണ്: ക്രോളർ പേജ് അഭ്യർത്ഥിക്കുകയും മറ്റെന്തെങ്കിലും ലഭിക്കുകയും ചെയ്യുന്നു. രണ്ടാമത്തേത് നിങ്ങൾക്ക് നേരിട്ട് കാണാം. പേജ് രണ്ടുതവണ അഭ്യർത്ഥിക്കുക, ഒരിക്കൽ ബ്രൗസർ യൂസർ ഏജന്റോടെയും ഒരിക്കൽ ക്രോളറിന്റേതോടെയും, താരതമ്യം ചെയ്യുക.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done ഫയർവാൾ തടയലിന്റെ ലക്ഷണങ്ങൾ: ക്രോളറിന് മാത്രം സ്റ്റാറ്റസ് 403, 429 അല്ലെങ്കിൽ 503; Just a moment... അല്ലെങ്കിൽ Attention Required! | Cloudflare എന്ന തലക്കെട്ടുള്ള പേജ്; /cdn-cgi/challenge-platform അടങ്ങിയ ബോഡി; അല്ലെങ്കിൽ ബ്രൗസറിന്റേതിനേക്കാൾ വളരെ ചെറിയ 200 മറുപടി. നിങ്ങളുടെ പരിശോധന ക്രോളറിന്റെ സ്ഥിരീകരിച്ച IP ശ്രേണിയിൽ നിന്നല്ല, നിങ്ങളുടെ സ്വന്തം IP-യിൽ നിന്നാണ് വരുന്നതെന്ന് ഓർക്കുക. അതിനാൽ ഫയർവാൾ യൂസർ ഏജന്റിനെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നുവെന്ന് ഇത് കാണിക്കുന്നു, യഥാർത്ഥ ക്രോളറിനെ കൈകാര്യം ചെയ്യുന്നതിന്റെ എല്ലാ വിശദാംശങ്ങളുമല്ല.
Cloudflare-ൽ AI സെർച്ച് ക്രോളറുകളെ എങ്ങനെ അനുവദിക്കാം?
എല്ലാ പ്ലാനുകളിലും ലഭ്യമായ Cloudflare-ന്റെ AI Crawl Control നിങ്ങളുടെ ഡൊമെയ്ൻ സന്ദർശിക്കുന്ന AI ക്രോളറുകളെ പട്ടികപ്പെടുത്തുകയും ഓരോന്നിനും ഒരു പ്രവൃത്തി സജ്ജമാക്കാൻ അനുവദിക്കുകയും ചെയ്യുന്നു. ഡാഷ്ബോർഡിൽ AI Crawl Control തുറന്ന് Crawlers പട്ടികയിലേക്ക് പോയി ഓരോ ക്രോളറിനും Action കോളത്തിൽ Allow അല്ലെങ്കിൽ Block തിരഞ്ഞെടുക്കുക. അവിടെ തടയുന്നത് നിങ്ങളുടെ സോണിൽ ഒരു WAF കസ്റ്റം നിയമം സൃഷ്ടിക്കുകയോ അപ്ഡേറ്റ് ചെയ്യുകയോ ചെയ്യുന്നുവെന്ന് Cloudflare പറയുന്നു.
ഒരു WAF കസ്റ്റം നിയമമോ Super Bot Fight Mode-ഓ നിരക്ക് പരിധിയോ ആണ് ക്രോളറിനെ തടയുന്നതെങ്കിൽ, സ്ഥിരീകരിച്ച ബോട്ടുകൾക്കും ക്രോളറിന്റെ ടോക്കണിനും ആ ഫീച്ചറുകൾ ഒഴിവാക്കുന്ന ഒരു കസ്റ്റം നിയമം ചേർക്കുക:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow നിയമം ആദ്യം വെക്കുക. യൂസർ ഏജന്റ് ഒത്തുനോക്കുന്നത് ആ യൂസർ ഏജന്റ് വ്യാജമായി ഉപയോഗിക്കുന്ന ആരെയും കടത്തിവിടുന്നു എന്നത് ശ്രദ്ധിക്കുക. കഴിയുന്നിടത്ത് സ്ഥിരീകരിച്ച ബോട്ട് ഫീൽഡോ (cf.client.bot) കമ്പനി പ്രസിദ്ധീകരിക്കുന്ന IP ശ്രേണികളോ ഉപയോഗിക്കുക.
Bot Fight Mode-ന്റെ കാര്യമോ?
WAF കസ്റ്റം നിയമങ്ങളോ Page Rules-ഓ ഉപയോഗിച്ച് Bot Fight Mode മറികടക്കാനോ ഒഴിവാക്കാനോ കഴിയില്ലെന്ന് Cloudflare-ന്റെ ഡോക്യുമെന്റേഷൻ വ്യക്തമായി പറയുന്നു. ക്രോളറുകളെ ചലഞ്ച് ചെയ്യുന്ന ഫീച്ചർ അതാണെങ്കിൽ, ഒരു skip നിയമം സഹായിക്കില്ല. Bot Fight Mode ഓഫാക്കുക, അല്ലെങ്കിൽ Ruleset Engine-ൽ പ്രവർത്തിക്കുന്നതും skip നിയമങ്ങൾ പിന്തുണയ്ക്കുന്നതുമായ Super Bot Fight Mode അത് ലഭ്യമായ പ്ലാനിൽ ഉപയോഗിക്കുക എന്നിവയാണ് വഴികൾ.
ഏതൊക്കെ ക്രോളറുകളെ കടത്തിവിടണം?
ക്രോളറുകളെ അവ ചെയ്യുന്നതനുസരിച്ച് വേർതിരിക്കുക. AI ഉത്തരങ്ങൾക്ക് നിങ്ങളെ കണ്ടെത്താനും ഉദ്ധരിക്കാനും കഴിയുമോ എന്ന് സെർച്ച് ക്രോളറുകളും ഉപയോക്തൃ ഫെച്ച് ക്രോളറുകളും തീരുമാനിക്കുന്നു. പരിശീലന ക്രോളറുകൾ മോഡലുകൾക്കായി ഡാറ്റ ശേഖരിക്കുന്നു, അവയെ തടയുന്നത് നിങ്ങളെ AI സെർച്ചിൽ നിന്ന് നീക്കം ചെയ്യാത്ത ന്യായമായ തീരുമാനമാണ്.
- സെർച്ച്:
OAI-SearchBot,Claude-SearchBot,PerplexityBot,Googlebot,bingbot,Applebot. - ഉപയോക്തൃ ഫെച്ചുകൾ:
ChatGPT-User,Claude-User,Perplexity-User. - പരിശീലനം:
GPTBot,ClaudeBot,CCBot,meta-externalagent,Bytespider.
Cloudflare-ന്റെ സ്വന്തം നയ ക്രമീകരണങ്ങളും Search, Agent, Training എന്ന ഇതേ വിഭജനം ഉപയോഗിക്കുന്നു, അതിനാൽ ആദ്യ രണ്ടെണ്ണം അനുവദിക്കുകയും മൂന്നാമത്തേതിനെക്കുറിച്ച് വെവ്വേറെ തീരുമാനിക്കുകയും ചെയ്യാം. നിങ്ങൾ മറ്റൊരു ഫയർവാളോ CDN-ഓ ഉപയോഗിക്കുന്നുണ്ടെങ്കിലും തത്വം ഒന്നുതന്നെയാണ്: ക്രോളറിന്റെ ടോക്കൺ അലൗലിസ്റ്റിൽ ചേർക്കുക, ലഭ്യമായിടത്ത് കമ്പനിയുടെ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളോ റിവേഴ്സ് DNS-ഓ ഉപയോഗിച്ച് സ്ഥിരീകരിക്കുക, അങ്ങനെ അതിന് ബ്രൗസറിന് ലഭിക്കുന്ന അതേ മറുപടി ലഭിക്കും.
AISeeWhy ഫയർവാൾ തടയലുകൾ എങ്ങനെ കണ്ടെത്തുന്നു?
AISeeWhy 14 ക്രോളറുകളായും ഒരു സാധാരണ ബ്രൗസറായും നിങ്ങളുടെ പേജ് അഭ്യർത്ഥിക്കുന്നു, സ്റ്റാറ്റസ്, വലിപ്പം, റീഡയറക്ടുകൾ എന്നിവ താരതമ്യം ചെയ്യുന്നു, ചലഞ്ച് പേജുകൾ തിരിച്ചറിയുന്നു, മറുപടി നൽകിയ ഫയർവാളിന്റെയോ CDN-ന്റെയോ പേര് പറയുന്നു. robots.txt ഒരു ക്രോളറിനെ അനുവദിക്കുകയും സെർവർ അതിനെ തടയുകയും ചെയ്യുമ്പോൾ, റിപ്പോർട്ട് ഈ വൈരുദ്ധ്യം കാണിക്കുകയും അത് പരിഹരിക്കാനുള്ള Cloudflare നിയമമോ അലൗലിസ്റ്റ് ഘട്ടമോ നൽകുകയും ചെയ്യുന്നു.
ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ
- ഞങ്ങളുടെ പരിശോധന തടയപ്പെട്ടു, ഫലം നിർണ്ണായകമല്ല
- OAI-SearchBot തടയപ്പെട്ടിരിക്കുന്നു
- GPTBot മറ്റൊരിടത്തേക്ക് റീഡയറക്ട് ചെയ്യപ്പെടുന്നു
- GPTBot-ന് ഡമ്മി പേജ് ലഭിക്കുന്നു
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
ഉറവിടങ്ങൾ
- Cloudflare: AI Crawl Control
- Cloudflare: AI ക്രോളറുകൾ നിയന്ത്രിക്കൽ (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI ക്രോളർ, ഏജന്റ് ആക്സസ് നയങ്ങൾ
- OpenAI: OpenAI ക്രോളറുകളുടെ അവലോകനം