എന്റെ സൈറ്റ് പെട്ടെന്ന് AI ക്രോളറുകളെ തടയുന്നത് എന്തുകൊണ്ട്?

പ്രസിദ്ധീകരിച്ചത്

ചുരുക്കത്തിൽ

AI ക്രോളറുകളെ തടയാൻ തുടങ്ങുന്ന ഒരു സൈറ്റിൽ മിക്കവാറും എപ്പോഴും അഞ്ച് സ്ഥലങ്ങളിൽ ഒന്നിലാണ് മാറ്റം വന്നത്: യഥാർത്ഥത്തിൽ നൽകുന്ന robots.txt, Cloudflare-ന്റെ AI ക്രോളർ നയങ്ങൾ പോലുള്ള ഒരു CDN ക്രമീകരണം, ബോട്ട് സംരക്ഷണമോ നിരക്ക് പരിധിയോ, ഒരു ഹോസ്റ്റിംഗ് ഡിഫോൾട്ട്, അല്ലെങ്കിൽ ഇപ്പോൾ പിശക് നൽകുന്ന robots.txt. ഇന്നത്തെ robots.txt-ഉം ഒരു പേജും ഓരോ ക്രോളറായും എടുത്ത്, ഒരു ബ്രൗസറുമായും മുമ്പ് ഉണ്ടായിരുന്നതുമായും താരതമ്യം ചെയ്ത്, ആ ലെയറുകൾ ആ ക്രമത്തിൽ പരിശോധിക്കുക.

AI ഉത്തരങ്ങളിൽ നിന്ന് അപ്രത്യക്ഷമാകാൻ ആരും തീരുമാനിക്കുന്നില്ല. ഒരു തീം അപ്ഡേറ്റ്, സുരക്ഷാ ക്രമീകരണം, മൈഗ്രേഷൻ, അല്ലെങ്കിൽ ഒരു സേവനദാതാവിന്റെ മാറിയ ഡിഫോൾട്ട് എന്നിവയുടെ പാർശ്വഫലമായാണ് അത് സംഭവിക്കുന്നത്. ബ്രൗസർ ഇപ്പോഴും സൈറ്റ് സാധാരണപോലെ കാണുന്നു, അതിനാൽ ആരെങ്കിലും ChatGPT-യോടോ Perplexity-യോടോ ഉൽപ്പന്നത്തെക്കുറിച്ച് ചോദിച്ച് ഒരു എതിരാളിയെ ലഭിക്കുന്നതുവരെ മാറ്റം ശ്രദ്ധിക്കപ്പെടാതെ പോയേക്കാം. ഓരോ ലെയറും പുറത്തുനിന്നോ ലോഗുകളിലോ പരിശോധിക്കാവുന്ന അടയാളങ്ങൾ അവശേഷിപ്പിക്കുന്നു.

ഈ പേജിൽ
  1. ക്രോളറുകൾക്ക് ലഭിക്കുന്ന robots.txt മാറിയോ?
  2. Cloudflare-ന്റെ 2026 AI ക്രോളർ നയങ്ങൾ എന്റെ സൈറ്റ് അനുവദിക്കുന്നത് മാറ്റിയോ?
  3. ബോട്ട് സംരക്ഷണമോ നിരക്ക് പരിധിയോ ക്രോളറുകളെ പിടികൂടുന്നുണ്ടോ?
  4. എന്റെ ഹോസ്റ്റിംഗ് ദാതാവ് ഡിഫോൾട്ടുകൾ മാറ്റിയോ?
  5. robots.txt ഒരു പിശക് നൽകുന്നുണ്ടോ?
  6. ഇത് എപ്പോൾ തുടങ്ങിയെന്ന് എങ്ങനെ കണ്ടെത്താം?
  7. അടുത്ത തവണ ഇത് എങ്ങനെ നേരത്തെ കണ്ടെത്താം?

ക്രോളറുകൾക്ക് ലഭിക്കുന്ന robots.txt മാറിയോ?

https://yourdomain.com/robots.txt എടുത്ത് നിങ്ങളുടെ റിപ്പോസിറ്ററിയിലോ ബാക്കപ്പിലോ ഉള്ള ഫയലുമായി താരതമ്യം ചെയ്യുക. ഡിസ്കിലുള്ളതല്ല, നൽകുന്ന ഫയലാണ് നോക്കേണ്ടത്, കാരണം വഴിയിൽ പല ലെയറുകൾക്കും അത് മാറ്റാനാകും:

Google Search Console-ലെ robots.txt റിപ്പോർട്ട് കഴിഞ്ഞ 30 ദിവസത്തിൽ Google എടുത്ത പതിപ്പുകൾ കാണിക്കുന്നു, ഫയലോ ഫെച്ച് ഫലമോ മാറുമ്പോഴെല്ലാം ഒരു പുതിയ എൻട്രി സഹിതം. Google കണ്ടത് മാത്രമേ അത് ഉൾക്കൊള്ളുന്നുള്ളൂ, പക്ഷേ നിങ്ങളുടെ സെർവർ യൂസർ ഏജന്റ് അനുസരിച്ച് robots.txt മാറ്റുന്നില്ലെങ്കിൽ, AI ക്രോളറുകൾക്കും ഇതേ ഫയൽ ലഭിച്ചു.

Cloudflare-ന്റെ 2026 AI ക്രോളർ നയങ്ങൾ എന്റെ സൈറ്റ് അനുവദിക്കുന്നത് മാറ്റിയോ?

Cloudflare അതിന്റെ AI ക്രോളർ നിയന്ത്രണങ്ങൾ പലതവണ മാറ്റിയിട്ടുണ്ട്, ചില മാറ്റങ്ങൾ ആരും എഡിറ്റ് ചെയ്യാതെ തന്നെ ഒരു സോൺ ചെയ്യുന്നത് മാറ്റുന്നു. 2025 ജൂലൈ 1-ന്, തടയൽ ആരംഭ അവസ്ഥയായി വെച്ച്, AI ക്രോളറുകളെ അനുവദിക്കണോ എന്ന് പുതിയ ഡൊമെയ്നുകളോട് സൈൻ-അപ്പ് സമയത്ത് അത് ചോദിക്കാൻ തുടങ്ങി. 2026 ജൂലൈ 1-ന്, Free ഉൾപ്പെടെ എല്ലാ പ്ലാനുകൾക്കും, ഒറ്റ Block AI bots സ്വിച്ചിന് പകരം Search, Agent, Training എന്നീ പ്രത്യേക നയങ്ങൾ കൊണ്ടുവന്നു.

മിക്ക സൈറ്റുകളെയും കുടുക്കുന്ന വിശദാംശം മിശ്ര-ഉദ്ദേശ്യ ക്രോളറുകളാണ്. സെർച്ചിനും പരിശീലനത്തിനും ഉപയോഗിക്കുന്ന ക്രോളറുകൾക്കും Training നടപടികൾ ബാധകമാണെന്ന് Cloudflare-ന്റെ ഡോക്യുമെന്റേഷൻ പറയുന്നു. പുതിയ ഓപ്ഷനുകൾ വഴിയോ പഴയ Block AI bots ക്രമീകരണം വഴിയോ Training തടയാൻ തിരഞ്ഞെടുത്ത ഉപഭോക്താക്കൾക്ക് 2026 സെപ്റ്റംബർ 15 മുതൽ Googlebot, Applebot, BingBot പോലുള്ള ബഹുഉദ്ദേശ്യ ക്രോളറുകൾ തടയപ്പെടുമെന്ന് അതിന്റെ 2026 ജൂലൈ പ്രഖ്യാപനം പറഞ്ഞു. അതിനാൽ ഒരു വർഷം മുമ്പ് സജ്ജമാക്കിയ പരിശീലന ഒഴിവാക്കൽ ഇപ്പോൾ സെർച്ച് ക്രോളറുകളിലേക്കും എത്താം.

പുതിയ ഡൊമെയ്നുകൾക്കുള്ള ഡിഫോൾട്ടുകൾ കാലക്രമേണ വ്യത്യസ്തമായി വിവരിച്ചിട്ടുണ്ട്. 2026 സെപ്റ്റംബർ 15 മുതൽ പുതിയ ഡൊമെയ്നുകളിൽ പരസ്യങ്ങൾ കാണിക്കുന്ന പേജുകളിൽ Training-ഉം Agent-ഉം തടയുമെന്ന് അതേ പ്രഖ്യാപനം പറഞ്ഞു, അതേസമയം 2026 നവംബർ 2-ന് അപ്ഡേറ്റ് ചെയ്ത നയ ഡോക്യുമെന്റേഷൻ പുതിയ ഡൊമെയ്നുകൾ മൂന്നും Allow ആയി ആരംഭിക്കുമെന്ന് പറയുന്നു. Security, തുടർന്ന് Settings തുറന്ന്, Bot traffic അനുസരിച്ച് ഫിൽട്ടർ ചെയ്ത്, നിങ്ങളുടെ സോണിനായുള്ള AI Crawler and Agent access policies വായിക്കുക. Cloudflare AI Crawl Control-നെക്കുറിച്ചുള്ള ഞങ്ങളുടെ ഗൈഡ് ഓരോ ക്രമീകരണവും വിശദീകരിക്കുന്നു.

ബോട്ട് സംരക്ഷണമോ നിരക്ക് പരിധിയോ ക്രോളറുകളെ പിടികൂടുന്നുണ്ടോ?

ബോട്ട് സംരക്ഷണം ഓരോ അഭ്യർത്ഥനയും വിലയിരുത്തുന്നു, ക്രോളറുകൾ ഡാറ്റാ സെന്ററുകളിൽ നിന്ന് വേഗത്തിൽ ധാരാളം പേജുകൾ എടുക്കുന്നു, അതുതന്നെയാണ് ബോട്ടുകൾ ചെയ്യുന്നത്. കഴിഞ്ഞ മാസം കടന്നുപോയ ഒരു ക്രോളറിന്, അതിന്റെ ഓപ്പറേറ്റർ IP ശ്രേണികളോ ക്രോൾ നിരക്കോ മാറ്റിയ ശേഷമോ സംരക്ഷണ നിയമങ്ങൾ അപ്ഡേറ്റ് ചെയ്ത ശേഷമോ ചലഞ്ച് പേജുകൾ ലഭിക്കാൻ തുടങ്ങാം. Cloudflare-ന്റെ Bot Fight Mode ഒരു സാധാരണ കാരണമാണ്, WAF കസ്റ്റം നിയമങ്ങളോ Page Rules-ഓ ഉപയോഗിച്ച് അത് മറികടക്കാനോ ഒഴിവാക്കാനോ കഴിയില്ലെന്ന് Cloudflare പറയുന്നു, അതിനാൽ അത് ഓണായിരിക്കുമ്പോൾ പിന്നീട് ചേർത്ത ഒരു അനുവദിക്കൽ നിയമം സഹായിക്കില്ല. പെട്ടെന്നുള്ള അഭ്യർത്ഥനാ കുതിപ്പുകൾക്ക് 429 നൽകുന്ന പുതിയ നിരക്ക് പരിധിക്കും തിരക്കുള്ള ഒരു ക്രോളറിൽ ഇതേ ഫലമുണ്ട്.

പുറത്തുനിന്ന് ടെസ്റ്റ് ചെയ്യുക: ഒരു പേജ് ബ്രൗസറായും രണ്ട് AI സെർച്ച് ക്രോളറുകളായും അഭ്യർത്ഥിക്കുക, തുടർന്ന് robots.txt ഒരു ക്രോളറായി അഭ്യർത്ഥിക്കുക.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

ഒരു ക്രോളറിന് മാത്രം 403, 429 അല്ലെങ്കിൽ 503, Just a moment... എന്ന തലക്കെട്ടുള്ള പേജ്, അല്ലെങ്കിൽ ബ്രൗസറിന്റേതിനേക്കാൾ വളരെ ചെറിയ ബോഡി എന്നിവ ക്രോളറിനെ വ്യത്യസ്തമായി കൈകാര്യം ചെയ്യുന്നു എന്നാണ് അർത്ഥമാക്കുന്നത്. ടെസ്റ്റ് വെണ്ടറുടെ IP-യിൽ നിന്നല്ല, നിങ്ങളുടെ IP-യിൽ നിന്നാണ് വരുന്നത്, അതിനാൽ സ്ഥിരീകരിച്ച ബോട്ട് സ്റ്റാറ്റസ് അടിസ്ഥാനമാക്കിയുള്ള നിയമങ്ങൾ യഥാർത്ഥ ക്രോളറിനെ ഇപ്പോഴും വ്യത്യസ്തമായി കൈകാര്യം ചെയ്തേക്കാം. ഏത് നിയമമാണ് മറുപടി നൽകിയതെന്ന് ഫയർവാളിന്റെ ഇവന്റ് ലോഗ് കാണിക്കുന്നു.

എന്റെ ഹോസ്റ്റിംഗ് ദാതാവ് ഡിഫോൾട്ടുകൾ മാറ്റിയോ?

ചില ഹോസ്റ്റുകൾ നിങ്ങളുടെ സ്വന്തം നിയമങ്ങൾ പ്രവർത്തിക്കുന്നതിന് മുമ്പ് സെർവറിൽ തന്നെ AI ട്രാഫിക് ഫിൽട്ടർ ചെയ്യുന്നു. ഉദാഹരണത്തിന്, പരിശീലന ഡാറ്റ ശേഖരിക്കാൻ രൂപകൽപ്പന ചെയ്ത AI ക്രോളറുകളെ ഡിഫോൾട്ടായി തടയുന്നുവെന്നും ഒരാൾ ഒരു പേജിനെക്കുറിച്ച് AI അസിസ്റ്റന്റിനോട് ചോദിക്കുമ്പോൾ വരുന്ന ക്രോളറുകളെ അനുവദിക്കുന്നുവെന്നും SiteGround 2025 ഓഗസ്റ്റിൽ എഴുതി. ഇത്തരം നിയമങ്ങൾ നിങ്ങളുടെ robots.txt-ൽ കാണില്ല, ഹോസ്റ്റ് അതിന്റെ ബോട്ട് പട്ടികകൾ അപ്ഡേറ്റ് ചെയ്യുമ്പോൾ അവ മാറിയേക്കാം.

ഒരേ ഹോസ്റ്റിലെ പല സൈറ്റുകളിലും ഒരേ സമയം, അല്ലെങ്കിൽ നിങ്ങളുടെ ആപ്ലിക്കേഷൻ ലോഗുകളിൽ ഒരിക്കലും എത്താത്ത മറുപടികളിൽ, ഒരു തടയൽ കാണുന്നുവെങ്കിൽ, നിങ്ങളുടെ അക്കൗണ്ടിന് ഏതൊക്കെ ബോട്ട് നിയമങ്ങൾ ബാധകമാണെന്നും നിലനിർത്താൻ ആഗ്രഹിക്കുന്ന ക്രോളറുകളെ ഒഴിവാക്കാനാകുമോ എന്നും ഹോസ്റ്റിനോട് ചോദിക്കുക.

robots.txt ഒരു പിശക് നൽകുന്നുണ്ടോ?

പരാജയപ്പെടുന്ന ഒരു robots.txt ഏതൊരു Disallow വരിയേക്കാളും കൂടുതൽ തടഞ്ഞേക്കാം. RFC 9309 പ്രകാരം, 4xx മറുപടി എന്നാൽ ഒരു ക്രോളറിന് എല്ലാം എടുക്കാം എന്നാണ്, എന്നാൽ ഒരു സെർവർ പിശക് (5xx) അല്ലെങ്കിൽ മറുപടിയേ ഇല്ലാത്തത് സൈറ്റ് മുഴുവൻ വിലക്കപ്പെട്ടതായി കണക്കാക്കണം എന്നാണ്. അത്തരം പിശകുകളുടെ ആദ്യ 12 മണിക്കൂർ Google ക്രോളിംഗ് നിർത്തുന്നു, തുടർന്ന് 30 ദിവസം വരെ അവസാനത്തെ നല്ല പകർപ്പ് ഉപയോഗിക്കുന്നു.

ഇങ്ങനെയാണ് ഒരു ലോഡ് കുതിപ്പോ, /robots.txt-ന് ചലഞ്ച് നൽകുന്ന ഫയർവാൾ നിയമമോ, അതിനെ ഉൾപ്പെടുത്തുന്ന നിരക്ക് പരിധിയോ ഒരു നിയമം പോലും മാറാതെ നല്ല രീതിയിൽ പെരുമാറുന്ന ക്രോളറുകളെ പുറത്താക്കുന്നത്. മുകളിലെ ടെസ്റ്റിലെ അവസാന കമാൻഡ് 200-ഉം text/plain-ഉം നൽകണം. അവിടെ 5xx, ടൈംഔട്ട് അല്ലെങ്കിൽ ചലഞ്ച് പേജ് ആണെങ്കിൽ, ആദ്യം പരിഹരിക്കേണ്ടത് അതാണ്.

ഇത് എപ്പോൾ തുടങ്ങിയെന്ന് എങ്ങനെ കണ്ടെത്താം?

ഒരു തീയതി ഒരു രഹസ്യത്തെ ഒരു താരതമ്യമാക്കി മാറ്റുന്നു. നിങ്ങളുടെ ആക്‌സസ് ലോഗുകളിൽ AI ക്രോളർ യൂസർ ഏജന്റുകളിൽ നിന്നുള്ള അഭ്യർത്ഥനകൾ ഫിൽട്ടർ ചെയ്ത്, അവയുടെ സ്റ്റാറ്റസ് കോഡുകൾ 200-ൽ നിന്ന് 403, 429 അല്ലെങ്കിൽ 503-ലേക്ക് മാറിയ ദിവസം, അല്ലെങ്കിൽ robots.txt വായിച്ച ശേഷം അവ പേജുകൾ അഭ്യർത്ഥിക്കുന്നത് നിർത്തിയ ദിവസം കണ്ടെത്തുക; AI ക്രോളറുകൾക്കായി സെർവർ ലോഗുകൾ പരിശോധിക്കുന്നതിനെക്കുറിച്ചുള്ള ഞങ്ങളുടെ ഗൈഡിൽ കമാൻഡുകളുണ്ട്. നിങ്ങളുടെ CDN തടഞ്ഞ അഭ്യർത്ഥനകൾ ഒരിക്കലും ഒറിജിനിൽ എത്തുന്നില്ല, അതിനാൽ CDN-ഉം പരിശോധിക്കുക. Cloudflare-ൽ, ക്രോളർ അനുസരിച്ച് ഫിൽട്ടർ ചെയ്യാവുന്ന, കാലക്രമേണയുള്ള സ്റ്റാറ്റസ് കോഡ് വിതരണം AI Crawl Control കാണിക്കുന്നു.

തുടർന്ന് ആ തീയതിയെ ഡിപ്ലോയ്മെന്റുകൾ, പ്ലഗിൻ, തീം അപ്ഡേറ്റുകൾ, CDN ക്രമീകരണ മാറ്റങ്ങൾ, സേവനദാതാക്കളുടെ പ്രഖ്യാപനങ്ങൾ എന്നിവയുമായി ഒത്തുനോക്കുക. നടപടിയെടുക്കുന്നതിന് മുമ്പ്, ഉറവിട IP-കൾ വെണ്ടറുടേതാണെന്ന് സ്ഥിരീകരിക്കുക, അങ്ങനെ നിങ്ങൾ നോക്കുന്നത് യഥാർത്ഥ ക്രോളറിനെയാണ്, അതിന്റെ പേര് ഉപയോഗിക്കുന്ന ഒരു ആൾമാറാട്ടക്കാരനെയല്ല എന്ന് ഉറപ്പാക്കാം.

അടുത്ത തവണ ഇത് എങ്ങനെ നേരത്തെ കണ്ടെത്താം?

ട്രാഫിക് കുറയുമ്പോൾ മാത്രമല്ല, ഓരോ ഡിപ്ലോയ്, CDN മാറ്റം, പ്ലഗിൻ അപ്ഡേറ്റ് എന്നിവയ്ക്ക് ശേഷവും ആക്‌സസ് പരിശോധിക്കുക. സൗജന്യ AISeeWhy പരിശോധന ഒരു യഥാർത്ഥ ബ്രൗസറിനൊപ്പം 16 AI, സെർച്ച് ക്രോളറുകളായി ഒരു പേജ് എടുക്കുന്നു, ഓരോ ക്രോളറിനും നിങ്ങളുടെ robots.txt ബാധകമാക്കുന്നു, ഫയർവാൾ ചലഞ്ച് പേജുകൾ തിരിച്ചറിയുന്നു. ഇന്ന് ലൈവായ ഫയൽ അനുസരിച്ച് ഒരു പേജ് എടുക്കാമോ എന്ന് സൗജന്യ robots.txt ചെക്കർ ഓരോ ക്രോളറിനും കാണിക്കുന്നു.

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

പതിവ് ചോദ്യങ്ങൾ

ChatGPT എന്റെ സൈറ്റ് കാണിക്കുന്നത് നിർത്തിയത് എന്തുകൊണ്ട്?

പലപ്പോഴും ChatGPT സെർച്ചിന് പിന്നിലുള്ള ക്രോളറായ OAI-SearchBot ഒരു robots.txt മാറ്റം, CDN നയം അല്ലെങ്കിൽ ബോട്ട് സംരക്ഷണം വഴി തടയപ്പെട്ടതുകൊണ്ടാണ്. അതിനെ തടയുന്ന സൈറ്റുകൾ ChatGPT സെർച്ച് ഉത്തരങ്ങളിൽ കാണില്ലെന്ന് OpenAI പറയുന്നു. ആ ക്രോളറിനായി ഓരോ ലെയറും പരിശോധിക്കുക, robots.txt ശരിയാക്കിയ ശേഷം ഏകദേശം 24 മണിക്കൂർ കാത്തിരിക്കുക; തങ്ങളുടെ സിസ്റ്റങ്ങൾ ക്രമീകരിക്കാൻ എടുക്കുന്ന സമയമായി OpenAI പറയുന്നത് അതാണ്.

Cloudflare എന്റെ സൈറ്റിൽ Googlebot-നെ തടയാൻ തുടങ്ങിയോ?

അത് സംഭവിക്കാം. 2026 സെപ്റ്റംബർ 15 മുതൽ Training തടയുന്ന ഉപഭോക്താക്കൾ Googlebot, Applebot, BingBot പോലുള്ള ബഹുഉദ്ദേശ്യ ക്രോളറുകളെയും തടയുമെന്ന് Cloudflare പറഞ്ഞു. Training Disallow ഓപ്ഷൻ എഡ്ജിൽ പരിശീലന ക്രോളറുകളെ തടയുന്നുവെങ്കിലും മിശ്ര-ഉപയോഗ ക്രോളറുകളെ ഒഴിവാക്കുന്നുവെന്ന് അതിന്റെ ഡോക്യുമെന്റേഷൻ പറയുന്നു, അതിനാൽ നിങ്ങളുടെ സോൺ ഏത് ഓപ്ഷനാണ് ഉപയോഗിക്കുന്നതെന്ന് പരിശോധിക്കുക.

ഒരു വെബ്സൈറ്റ് ബിൽഡറിനോ പ്ലഗിനിനോ എനിക്കുവേണ്ടി robots.txt മാറ്റാനാകുമോ?

അതെ. സൈറ്റ് ബിൽഡറുകൾക്കും SEO അല്ലെങ്കിൽ സുരക്ഷാ പ്ലഗിനുകൾക്കും robots.txt-ൽ AI ക്രോളർ നിയമങ്ങൾ എഴുതാനാകും, ചിലത് കാലക്രമേണ അവയുടെ ബോട്ട് പട്ടികകൾ വിപുലീകരിക്കുന്നു. ഓരോ അപ്ഡേറ്റിനും ശേഷം, ലൈവ് ഫയൽ എടുത്ത്, നിങ്ങൾക്ക് പ്രധാനപ്പെട്ട സെർച്ച് ക്രോളറുകൾക്ക് ബാധകമായ ഗ്രൂപ്പുകൾ വായിക്കുക.

എന്റെ ലൈവ് robots.txt സെർവറിലെ ഫയലിൽ നിന്ന് വ്യത്യസ്തമാകുന്നത് എന്തുകൊണ്ട്?

നിങ്ങളുടെ സെർവറിന് മുന്നിലുള്ള എന്തോ അത് മാറ്റുന്നു. ഉദാഹരണത്തിന് Cloudflare-ന്റെ മാനേജ്ഡ് robots.txt, അതേ മറുപടിയിൽ നിങ്ങളുടെ ഫയലിന് മുന്നിൽ സ്വന്തം നിയമങ്ങളും ഉള്ളടക്ക സിഗ്നലുകളും ചേർക്കുന്നു. അഭ്യർത്ഥനപ്രകാരം robots.txt സൃഷ്ടിക്കുന്ന ഒരു CMS-നോ ഹോസ്റ്റ്-തല ക്രമീകരണത്തിനോ അതിനെ മാറ്റിസ്ഥാപിക്കാനോ വിപുലീകരിക്കാനോ കഴിയും.

ശരിയാക്കിയ ശേഷം AI ക്രോളറുകൾ തിരിച്ചുവരാൻ എത്ര സമയമെടുക്കും?

കാഷ് ചെയ്ത robots.txt ക്രോളറുകൾ 24 മണിക്കൂറിൽ കൂടുതൽ ഉപയോഗിക്കരുതെന്ന് RFC 9309 പറയുന്നു, OpenAI ഏകദേശം 24 മണിക്കൂറെന്നും Perplexity 24 മണിക്കൂർ വരെയെന്നും പറയുന്നു. നിങ്ങളുടെ ദാതാവ് ഡിപ്ലോയ് ചെയ്യുന്ന ഉടൻ ഫയർവാൾ മാറ്റങ്ങൾ ബാധകമാകും, പക്ഷേ ക്രോളറുകൾ അവയുടെ സ്വന്തം ഷെഡ്യൂളിലാണ് തിരിച്ചുവരുന്നത്.

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ