Claude-ന് എന്റെ വെബ്സൈറ്റ് കാണാനാകുമോ? എങ്ങനെ പരിശോധിക്കാം
നിങ്ങളുടെ robots.txt Anthropic-ന്റെ ഏജന്റുകളെ അനുവദിക്കുകയും ബ്രൗസറിന് ലഭിക്കുന്ന അതേ HTML നിങ്ങളുടെ സെർവർ അവയ്ക്ക് അയയ്ക്കുകയും ചെയ്താൽ മാത്രമേ Claude-ന് നിങ്ങളുടെ പേജ് വായിക്കാനാകൂ. robots.txt Claude-SearchBot-നെയോ Claude-User-നെയോ വിലക്കുന്നില്ലെന്നും, ഫയർവാൾ അവയ്ക്ക് 403 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് നൽകുന്നില്ലെന്നും, പ്രധാന ടെക്സ്റ്റ് ആദ്യ HTML-ൽ ഉണ്ടെന്നും പരിശോധിക്കുക. തുടർന്ന് Claude-നെ തന്നെ ടെസ്റ്റ് ചെയ്യുക: നിങ്ങളുടെ URL ഒരു ചാറ്റിൽ പേസ്റ്റ് ചെയ്ത്, വെബ് സെർച്ച് ഓണാക്കി, നിങ്ങളുടെ ഉപഭോക്താക്കൾ ചോദിക്കുന്ന ചോദ്യങ്ങൾ ചോദിക്കുക.
നിങ്ങളുടെ ഉൽപ്പന്നത്തെക്കുറിച്ച് Claude-നോട് ചോദിക്കുമ്പോൾ അത് മറ്റ് സൈറ്റുകൾ ഉദ്ധരിക്കുന്നുവെങ്കിൽ, ആദ്യ ചോദ്യം അതിന് നിങ്ങളുടെ സൈറ്റിൽ എത്താൻ കഴിയുന്നുണ്ടോ എന്നതാണ്. അതിന് പരിശോധിച്ചറിയാവുന്ന ഉത്തരമുണ്ട്. Anthropic അതിന്റെ ഏജന്റുകളുടെ robots.txt ടോക്കണുകളും അവ വരുന്ന IP വിലാസങ്ങളും പ്രസിദ്ധീകരിക്കുന്നു, Claude താൻ ഉപയോഗിച്ച ഉറവിടങ്ങൾ കാണിക്കുകയും ചെയ്യുന്നു. അതിനാൽ ഓരോ ഘട്ടവും ക്രമത്തിൽ പരിശോധിക്കാം: നിങ്ങളുടെ robots.txt എന്ത് പറയുന്നു, സെർവർ എന്ത് അയയ്ക്കുന്നു, ലോഗുകൾ എന്ത് രേഖപ്പെടുത്തുന്നു, ഒരു പേജ് നൽകുമ്പോൾ Claude അതുകൊണ്ട് എന്ത് ചെയ്യുന്നു.
ഈ പേജിൽ
- 5 മിനിറ്റ് പരിശോധന, ഘട്ടം ഘട്ടമായി
- Claude വെബ്സൈറ്റുകൾ എങ്ങനെ വായിക്കുന്നു?
- robots.txt വഴി Claude-ന് എന്റെ വെബ്സൈറ്റ് ആക്സസ് ചെയ്യാനാകുമോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?
- Claude-ന്റെ ഏജന്റുകൾക്ക് എന്റെ സെർവറിൽ നിന്ന് എന്ത് ലഭിക്കുന്നുവെന്ന് എങ്ങനെ ടെസ്റ്റ് ചെയ്യാം?
- Claude യഥാർത്ഥത്തിൽ എന്റെ സൈറ്റ് സന്ദർശിക്കുന്നുണ്ടോ എന്ന് എങ്ങനെ കാണാം?
- എന്റെ പേജ് ഉപയോഗിച്ച് Claude-നെ തന്നെ എങ്ങനെ ടെസ്റ്റ് ചെയ്യാം?
- Claude-ന് എന്റെ പേജ് വായിക്കാനാകുന്നുണ്ടെങ്കിലും അത് ഉദ്ധരിക്കുന്നില്ലെങ്കിലോ?
- AISeeWhy ഇത് എങ്ങനെ പരിശോധിക്കുന്നു?
5 മിനിറ്റ് പരിശോധന, ഘട്ടം ഘട്ടമായി
- നിങ്ങളുടെ robots.txt തുറന്ന്,
Claude-SearchBot,Claude-Userഅല്ലെങ്കിൽUser-agent: *എന്നിവയ്ക്കുള്ള ഒരു ഗ്രൂപ്പും പേജ് വിലക്കുന്നില്ലെന്ന് ഉറപ്പാക്കുക.ClaudeBotട്രെയിനിംഗിന് മാത്രമേ പ്രധാനമാകൂ. - AISeeWhy-ൽ പേജിന്റെ സൗജന്യ പരിശോധന നടത്തുക അല്ലെങ്കിൽ
Claude-Userയൂസർ ഏജന്റ് ഉപയോഗിച്ച് ഒരു അഭ്യർത്ഥന അയയ്ക്കുക: അതിന് സ്റ്റാറ്റസ് 200-ഉം ഒരു ബ്രൗസറിന് ലഭിക്കുന്ന അതേ വാചകവും ലഭിക്കണം. - നിങ്ങളുടെ ആക്സസ് ലോഗിൽ
Claude-SearchBot,Claude-Userഎന്നിവ തിരഞ്ഞ് അവയ്ക്ക് ലഭിച്ച സ്റ്റാറ്റസ് കോഡുകൾ നോക്കുക. - വെബ് സെർച്ച് ഓണാക്കി നിങ്ങളുടെ URL Claude-ൽ ഒട്ടിച്ച് പേജ് സംഗ്രഹിക്കാൻ ആവശ്യപ്പെടുക, തുടർന്ന് നിങ്ങളുടെ ഉപഭോക്താക്കൾ ചോദിക്കുന്ന ഒരു ചോദ്യം ചോദിച്ച് ഉദ്ധരണികൾ പരിശോധിക്കുക.
ഘട്ടം 1 അല്ലെങ്കിൽ 2 പരാജയപ്പെട്ടാൽ, ആദ്യം ആക്സസ് ശരിയാക്കുക; താഴെയുള്ള വിഭാഗങ്ങൾ എങ്ങനെയെന്ന് കാണിക്കുന്നു. Claude പേജ് വായിക്കുന്നുണ്ടെങ്കിലും ഉദ്ധരിക്കുന്നില്ലെങ്കിൽ, ഉള്ളടക്കത്തിൽ പ്രവർത്തിക്കുക.
Claude വെബ്സൈറ്റുകൾ എങ്ങനെ വായിക്കുന്നു?
Claude രണ്ട് വഴികളിലൂടെ വെബിൽ എത്തുന്നു. വെബ് സെർച്ച് ഉപയോഗിച്ച്, ഒരു ചോദ്യത്തിന് പുതിയ വിവരങ്ങൾ ആവശ്യമുള്ളപ്പോൾ അത് തിരയുകയും പല ഉറവിടങ്ങൾ പരിശോധിക്കുകയും ഉദ്ധരണികളോടെ ഉത്തരം നൽകുകയും ചെയ്യുന്നു. വെബ് സെർച്ച് ഉപയോഗിക്കുന്ന ഓരോ മറുപടിയിലും ഉദ്ധരണികൾ ഉണ്ടാകുമെന്ന് Anthropic-ന്റെ ഹെൽപ്പ് സെന്റർ പറയുന്നു. ആരെങ്കിലും Claude-ന് ഒരു പ്രത്യേക ലിങ്ക് നൽകിയാൽ, അതിന് ആ പേജ് നേരിട്ട് തുറക്കാനാകും.
ഇതിനായി Anthropic മൂന്ന് ഏജന്റുകളെ ഡോക്യുമെന്റ് ചെയ്യുന്നു, ഓരോന്നിനും സ്വന്തം robots.txt ടോക്കണുണ്ട്. Claude-SearchBot Claude-ന്റെ സെർച്ച് ഫലങ്ങൾ മെച്ചപ്പെടുത്താൻ ക്രോൾ ചെയ്യുന്നു, ഒരു ഉപയോക്താവിന്റെ ചോദ്യത്തിന് ആവശ്യമുള്ളപ്പോൾ Claude-User പേജുകൾ എടുക്കുന്നു, പരിശീലനത്തിന് ഉപയോഗിച്ചേക്കാവുന്ന ഉള്ളടക്കം ClaudeBot ശേഖരിക്കുന്നു. Anthropic-ന്റെ മൂന്ന് ക്രോളറുകളെക്കുറിച്ചുള്ള ഞങ്ങളുടെ പ്രത്യേക ഗൈഡ് ഓരോന്നും എന്ത് ചെയ്യുന്നുവെന്ന് വിശദമായി വിവരിക്കുന്നു. വായിക്കപ്പെടാനും ഉദ്ധരിക്കപ്പെടാനും പരിശോധിക്കേണ്ടത് ആദ്യത്തെ രണ്ടെണ്ണമാണ്.
സത്യസന്ധമായ ഒരു പരിമിതി: Claude-ന്റെ വെബ് സെർച്ച് ഏത് സെർച്ച് ഇൻഡക്സ് ഉപയോഗിക്കുന്നുവെന്നോ ഉറവിടങ്ങൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നുവെന്നോ Anthropic ഡോക്യുമെന്റ് ചെയ്യുന്നില്ല. Claude-SearchBot തടയുന്നത് സെർച്ച് ഫലങ്ങളിലെ നിങ്ങളുടെ ദൃശ്യത കുറച്ചേക്കാമെന്നും Claude-User തടയുന്നത് ഉപയോക്തൃ ചോദ്യങ്ങൾക്കായി പേജുകൾ എടുക്കുന്നത് തടയുമെന്നും അത് പറയുന്നു. രണ്ടും അനുവദിക്കുന്നത് ഉദ്ധരണി സാധ്യമാക്കുന്നു; അത് ഉറപ്പ് നൽകുന്നില്ല.
robots.txt വഴി Claude-ന് എന്റെ വെബ്സൈറ്റ് ആക്സസ് ചെയ്യാനാകുമോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?
https://yourdomain.com/robots.txt തുറന്ന് Claude-SearchBot അല്ലെങ്കിൽ Claude-User എന്ന് പേരെടുത്ത് പറയുന്ന ഗ്രൂപ്പുകൾ തിരയുക. രണ്ടിന്റെയും പേരില്ലെങ്കിൽ, രണ്ടും User-agent: * ഗ്രൂപ്പ് പിന്തുടരും. RFC 9309 പ്രകാരം ടോക്കൺ പൊരുത്തപ്പെടുത്തലിൽ വലിയക്ഷരവും ചെറിയക്ഷരവും വ്യത്യാസമില്ല, ബാധകമായ ഗ്രൂപ്പിലെ Disallow: / ആ ഏജന്റിന് സൈറ്റ് മുഴുവൻ അടയ്ക്കുന്നു.
മറുപടിയും പരിശോധിക്കുക. robots.txt ഒരു സെർവർ പിശക് നൽകിയാൽ എല്ലാം വിലക്കപ്പെട്ടതായി കണക്കാക്കാൻ അത് ക്രോളറുകളോട് പറയുന്നു. 404 എന്നാൽ നിയമങ്ങളൊന്നുമില്ല എന്നാണ്. രണ്ട് കമാൻഡുകൾ സ്റ്റാറ്റസും ഫയലിലെ എല്ലാ ഗ്രൂപ്പുകളും കാണിക്കുന്നു:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" ഓരോ സബ്ഡൊമെയ്നിന്റെയും ഏറ്റവും മുകളിലെ ലെവലിലുള്ള robots.txt-ൽ നിയമങ്ങൾ ഉണ്ടായിരിക്കണമെന്ന് Anthropic പറയുന്നു, അതിനാൽ blog.example.com-ന് സ്വന്തം ഫയൽ വേണം. ഇത്തരം തടയലുകൾ അപൂർവമല്ല. ഏറ്റവും ജനപ്രിയമായ 1,000 ഡൊമെയ്നുകളെക്കുറിച്ചുള്ള ഞങ്ങളുടെ പഠനത്തിൽ, robots.txt നൽകിയ 518 സൈറ്റുകളിൽ 67 എണ്ണം (12.9%) Claude-SearchBot-നും 68 എണ്ണം (13.1%) Claude-User-നും ഹോം പേജ് വിലക്കി, അതേസമയം 110 എണ്ണം (21.2%) പരിശീലന ക്രോളറായ ClaudeBot-ന് അങ്ങനെ ചെയ്തു.
Claude-ന്റെ ഏജന്റുകൾക്ക് എന്റെ സെർവറിൽ നിന്ന് എന്ത് ലഭിക്കുന്നുവെന്ന് എങ്ങനെ ടെസ്റ്റ് ചെയ്യാം?
robots.txt ഒരു അഭ്യർത്ഥനയാണ്, ആക്സസ് നിയന്ത്രണമല്ല. നിങ്ങളുടെ ബ്രൗസർ പേജ് സാധാരണപോലെ കാണുമ്പോൾ തന്നെ ഒരു ഫയർവാളോ CDN-ഓ ബോട്ട് സംരക്ഷണമോ Anthropic-ന്റെ ഏജന്റുകൾക്ക് 403, 429 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് നൽകിയേക്കാം. തങ്ങളുടെ ബോട്ടുകൾ CAPTCHA മറികടക്കാൻ ശ്രമിക്കില്ലെന്ന് Anthropic പറയുന്നു, അതിനാൽ ഒരു ചലഞ്ച് പേജ് സന്ദർശനം അവസാനിപ്പിക്കുന്നു.
ഒരേ URL ഒരു ബ്രൗസർ യൂസർ ഏജന്റ് ഉപയോഗിച്ചും ഓരോ Anthropic ടോക്കൺ ഉപയോഗിച്ചും അഭ്യർത്ഥിച്ച്, സ്റ്റാറ്റസും വലുപ്പവും താരതമ്യം ചെയ്യുക:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropic-ന്റെ ഹെൽപ്പ് പേജ് ടോക്കണുകളുടെ പേര് നൽകുന്നുണ്ടെങ്കിലും പൂർണ്ണ യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ പ്രസിദ്ധീകരിക്കുന്നില്ല, അതിനാൽ ഇവ ടെസ്റ്റ് സ്ട്രിംഗുകളാണ്, Anthropic-ന്റെ യഥാർത്ഥ സ്ട്രിംഗുകളല്ല. പേര് പൊരുത്തപ്പെടുത്തുന്ന നിയമങ്ങൾ അഭ്യർത്ഥനയെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നുവെന്ന് ഇവ കാണിക്കുന്നു. Claude വരികൾക്ക് മാത്രം 403, 429 അല്ലെങ്കിൽ 503, അല്ലെങ്കിൽ ബ്രൗസറിന്റേതിനേക്കാൾ വളരെ ചെറിയ 200, നിങ്ങളുടെ ഫയർവാളിലേക്ക് വിരൽ ചൂണ്ടുന്നു.
നിങ്ങളുടെ ടെസ്റ്റ് നിങ്ങളുടെ സ്വന്തം IP വിലാസത്തിൽ നിന്നാണ് വരുന്നത്. claude.com/crawling/bots.json-ലെ പട്ടികയിലുള്ള വിലാസങ്ങളിൽ നിന്നുള്ള അഭ്യർത്ഥനകൾ Anthropic-ൽ നിന്നുള്ളതാണെന്ന് Anthropic പറയുന്നു. നിങ്ങളുടെ ഫയർവാൾ സ്ഥിരീകരിച്ച ക്രോളറുകളെ IP അനുസരിച്ച് അനുവദിക്കുന്നുവെങ്കിൽ, നിങ്ങളുടെ ടെസ്റ്റ് തടയപ്പെടുമ്പോഴും യഥാർത്ഥ ഏജന്റുകൾ കടന്നുപോയേക്കാം, തിരിച്ചും സംഭവിക്കാം. Anthropic-നെ അനുവദിക്കാനാണ് പട്ടിക ഉപയോഗിക്കേണ്ടത്, തടയാനല്ല: IP തടയൽ തങ്ങളുടെ ബോട്ടുകളെ നിങ്ങളുടെ robots.txt വായിക്കുന്നതിൽ നിന്നും തടയുന്നതിനാൽ Anthropic അത് ശുപാർശ ചെയ്യുന്നില്ല.
Claude യഥാർത്ഥത്തിൽ എന്റെ സൈറ്റ് സന്ദർശിക്കുന്നുണ്ടോ എന്ന് എങ്ങനെ കാണാം?
നിങ്ങളുടെ ആക്സസ് ലോഗുകൾ ഇതിന് നേരിട്ട് ഉത്തരം നൽകുന്നു. അവയിൽ മൂന്ന് ടോക്കണുകളും തിരയുക, തുടർന്ന് ഉറവിട വിലാസങ്ങൾ Anthropic പ്രസിദ്ധീകരിച്ച ശ്രേണികൾക്കുള്ളിലാണോ എന്ന് പരിശോധിക്കുക, കാരണം ആർക്കും ഒരു യൂസർ ഏജന്റ് പേര് പകർത്താം:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' ആദ്യ കമാൻഡ് സാധാരണയായ combined ലോഗ് ഫോർമാറ്റ് അനുമാനിക്കുന്നു, അതിൽ ഫീൽഡ് 1 ക്ലയന്റ് വിലാസവും ഫീൽഡ് 9 സ്റ്റാറ്റസ് കോഡുമാണ്. Anthropic-ന്റെ ഏജന്റുകൾക്കൊപ്പം ധാരാളം 403 അല്ലെങ്കിൽ 429 കോഡുകൾ ഒരു ഫയർവാൾ പ്രശ്നം സ്ഥിരീകരിക്കുന്നു. Claude-SearchBot-ൽ നിന്ന് ഒരു സന്ദർശനവും ഇല്ലെങ്കിൽ, അത് ഇതുവരെ ആ പേജുകൾ ക്രോൾ ചെയ്തിട്ടില്ല, അല്ലെങ്കിൽ നേരത്തെ എന്തോ അതിനെ തടയുന്നു എന്ന് മാത്രമേ അർത്ഥമുള്ളൂ.
എന്റെ പേജ് ഉപയോഗിച്ച് Claude-നെ തന്നെ എങ്ങനെ ടെസ്റ്റ് ചെയ്യാം?
ഒരു ചാറ്റ് തുറന്ന് നിങ്ങളുടെ ഒരു പേജിന്റെ URL “ഈ പേജ് സംഗ്രഹിക്കുക” പോലുള്ള അഭ്യർത്ഥനയോടൊപ്പം പേസ്റ്റ് ചെയ്യുക. വെബ് സെർച്ച് ഓണാണെങ്കിൽ നിങ്ങൾ നൽകുന്ന ലിങ്കുകൾ Claude-ന് തുറക്കാനാകുമെന്ന് Anthropic-ന്റെ ഹെൽപ്പ് സെന്റർ പറയുന്നു. വെബ് സെർച്ച് ഓഫാണെങ്കിൽ + മെനുവിൽ നിന്ന് അത് ഓണാക്കുക; Anthropic-ന്റെ പുതിയ Claude അനുഭവത്തിൽ ടോഗിൾ ഇല്ല, സഹായകരമാകുമ്പോൾ Claude തിരയുന്നു. Team, Enterprise പ്ലാനുകളിൽ ഒരു ഉടമ ആദ്യം ഓർഗനൈസേഷനായി വെബ് സെർച്ച് പ്രവർത്തനക്ഷമമാക്കണം. ഒരു ബ്രൗസറിന് കഴിയുമ്പോഴും Claude-ന് നിങ്ങളുടെ പേജ് തുറക്കാനാകുന്നില്ലെങ്കിൽ, ഫയർവാൾ ടെസ്റ്റിലേക്ക് മടങ്ങുക.
തുടർന്ന് നിങ്ങളുടെ സൈറ്റിന്റെ പേര് പറയാതെ, നിങ്ങളുടെ ഉപഭോക്താക്കൾ ചോദിക്കുന്ന ചോദ്യങ്ങൾ ചോദിച്ച്, ഉദ്ധരിച്ച ഉറവിടങ്ങൾ തുറക്കുക. പ്രാദേശിക ഫലങ്ങൾക്കായി നിങ്ങളുടെ IP വിലാസത്തിൽ നിന്ന് അനുമാനിക്കുന്ന ലൊക്കേഷൻ Claude ഉപയോഗിച്ചേക്കാമെന്ന് Anthropic പറയുന്നു, അതിനാൽ സ്ഥലം അനുസരിച്ചും ഓരോ തവണയും ഉത്തരങ്ങൾ മാറാം.
ഡെവലപ്പർമാർക്ക് ഇത് Claude API വഴി ആവർത്തിക്കാം. വെബ് സെർച്ച് ടൂൾ ഒരു allowed_domains പട്ടിക സ്വീകരിക്കുന്നു, അതിനാൽ നിങ്ങളുടെ ഡൊമെയ്നിലേക്ക് പരിമിതപ്പെടുത്തിയ ഒരു അഭ്യർത്ഥന, ഒരു ചോദ്യത്തിന് Claude-ന്റെ സെർച്ച് നിങ്ങളുടെ ഏതെങ്കിലും പേജ് നൽകുന്നുണ്ടോ എന്ന് കാണിക്കുന്നു:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' സെർച്ച് ഫലങ്ങൾ ശൂന്യമാണെങ്കിൽ, ആ ചോദ്യത്തിന് ആ ഡൊമെയ്നിൽ Claude-ന്റെ സെർച്ച് ഒന്നും കണ്ടെത്തിയില്ല എന്നാണ് അർത്ഥം. API വെബ് സെർച്ചുകൾക്ക് ടോക്കണുകൾക്ക് പുറമേ Anthropic നിരക്ക് ഈടാക്കുന്നു. ഒരു പേജ് വായിക്കാൻ കഴിയാതിരുന്നത് എന്തുകൊണ്ടെന്ന് API-യുടെ വെബ് ഫെച്ച് ടൂളും അറിയിക്കുന്നു: url_not_allowed robots.txt പോലുള്ള തടയലുകളെ ഉൾക്കൊള്ളുന്നു, url_not_accessible എന്നാൽ ഒരു HTTP പിശക്. API ഉത്തരങ്ങൾ Claude ആപ്പുകൾ കാണിക്കുന്നതിൽ നിന്ന് വ്യത്യസ്തമാകാം.
Claude-ന് എന്റെ പേജ് വായിക്കാനാകുന്നുണ്ടെങ്കിലും അത് ഉദ്ധരിക്കുന്നില്ലെങ്കിലോ?
ആദ്യം, അതിന് ആവശ്യമായ ടെക്സ്റ്റ് നിങ്ങളുടെ സെർവർ അയയ്ക്കുന്ന HTML-ൽ ഉണ്ടെന്ന് ഉറപ്പാക്കുക. JavaScript ഉപയോഗിച്ച് റെൻഡർ ചെയ്യുന്ന വെബ്സൈറ്റുകളെ തങ്ങളുടെ വെബ് ഫെച്ച് ടൂൾ പിന്തുണയ്ക്കുന്നില്ലെന്ന് Anthropic-ന്റെ API ഡോക്യുമെന്റേഷൻ പറയുന്നു, തങ്ങളുടെ ക്രോളറുകൾ സ്ക്രിപ്റ്റുകൾ റെൻഡർ ചെയ്യുമെന്ന് Anthropic പറയുന്നുമില്ല. curl ഉപയോഗിച്ച് പേജ് എടുത്ത് ഔട്ട്പുട്ടിൽ പ്രധാന ഉള്ളടക്കത്തിലെ ഒരു വാക്യം തിരയുക. അത് ഇല്ലെങ്കിൽ, സെർവർ-സൈഡ് റെൻഡറിംഗോ പ്രീറെൻഡറിംഗോ Claude-നും മറ്റ് മിക്ക AI ക്രോളറുകൾക്കും ഇത് പരിഹരിക്കും.
അതിനുശേഷം പേജ് തന്നെയാണ് തീരുമാനിക്കുന്നത്. പേജിന്റെ പ്രധാന ചോദ്യത്തിനുള്ള ഉത്തരം അതിന്റെ ആദ്യ വാക്യങ്ങളിൽ നൽകുക, ആളുകൾ ചോദിക്കുന്ന ചോദ്യങ്ങളുമായി ചേരുന്ന തലക്കെട്ടുകൾ ഉപയോഗിക്കുക, പ്രസാധകന്റെ പേര് നൽകുക, തീയതികൾ കാണിക്കുക. തുടർന്ന് ഒരേ ചോദ്യത്തിന് Claude ഉദ്ധരിക്കുന്ന പേജുമായി നിങ്ങളുടെ പേജ് താരതമ്യം ചെയ്യുക: ഉദ്ധരിക്കപ്പെട്ട പേജ് പലപ്പോഴും ആ കൃത്യമായ ചോദ്യത്തിന് കൂടുതൽ നേരിട്ട് ഉത്തരം നൽകുന്നു.
AISeeWhy ഇത് എങ്ങനെ പരിശോധിക്കുന്നു?
സൗജന്യ AISeeWhy പരിശോധന ഒരു യഥാർത്ഥ ബ്രൗസറിനൊപ്പം Claude-SearchBot, Claude-User, ClaudeBot, മറ്റ് AI, സെർച്ച് ക്രോളറുകൾ എന്നിവയായി നിങ്ങളുടെ പേജ് എടുക്കുന്നു, ഓരോന്നിനും നിങ്ങളുടെ robots.txt ബാധകമാക്കുന്നു, ചലഞ്ച് പേജുകൾ തിരിച്ചറിയുന്നു, JavaScript ഇല്ലാതെ എത്ര ടെക്സ്റ്റ് എത്തുന്നുവെന്ന് കാണിക്കുന്നു. ട്രയലിലും പണമടച്ചുള്ള പ്ലാനുകളിലും ലഭ്യമായ “AI-യിലെ ദൃശ്യത” പരിശോധന, നിങ്ങളുടെ സ്വന്തം API കീ ഉപയോഗിച്ച് വെബ് സെർച്ചോടെ Claude വഴി നിങ്ങളുടെ ചോദ്യങ്ങൾ ചോദിക്കുകയും നിങ്ങളുടെ ബ്രാൻഡോ ഡൊമെയ്നോ പരാമർശിക്കപ്പെടുന്നുണ്ടോ ഉദ്ധരിക്കപ്പെടുന്നുണ്ടോ എന്ന് കാണിക്കുകയും ചെയ്യുന്നു.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
Claude-ന് എന്റെ സൈറ്റ് കാണാനാകുമോ എന്ന് സൗജന്യമായി പരിശോധിക്കാമോ?
ഉവ്വ്. നിങ്ങളുടെ robots.txt, ഒരു curl അഭ്യർത്ഥന, നിങ്ങളുടെ സെർവർ ലോഗ്, Claude-ൽ ഒരു ചോദ്യം എന്നിവയ്ക്ക് ചെലവൊന്നുമില്ല. AISeeWhy-യുടെ സൗജന്യ പരിശോധന Anthropic-ന്റെ ഏജന്റുകളെയും മറ്റ് 13 ക്രോളറുകളെയും ദിവസം ഒരു പേജിന് അക്കൗണ്ടില്ലാതെ പരീക്ഷിക്കുന്നു.
ലിങ്ക് പേസ്റ്റ് ചെയ്യുമ്പോൾ Claude-ന് എന്റെ വെബ്സൈറ്റ് തുറക്കാൻ കഴിയാത്തത് എന്തുകൊണ്ട്?
Anthropic-ന്റെ ഏജന്റുകൾക്ക് 403 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് നൽകുന്ന ഫയർവാളോ ബോട്ട് സംരക്ഷണമോ, Claude-User-നെ വിലക്കുന്ന robots.txt നിയമം, അല്ലെങ്കിൽ JavaScript പ്രവർത്തിച്ച ശേഷം മാത്രം ടെക്സ്റ്റ് വരുന്ന പേജ് എന്നിവയാണ് സാധാരണ കാരണങ്ങൾ. ബ്രൗസറായും Claude ടോക്കണുകൾ ഉപയോഗിച്ചും curl വഴി URL ടെസ്റ്റ് ചെയ്യുക, തടയപ്പെട്ട അഭ്യർത്ഥനകൾക്കായി ലോഗുകൾ പരിശോധിക്കുക.
ടെസ്റ്റ് ചെയ്യാൻ Anthropic ഒരു യൂസർ ഏജന്റ് സ്ട്രിംഗ് പ്രസിദ്ധീകരിക്കുന്നുണ്ടോ?
Anthropic-ന്റെ ക്രോളർ ഹെൽപ്പ് പേജ് ClaudeBot, Claude-SearchBot, Claude-User എന്നീ ടോക്കണുകൾ പട്ടികപ്പെടുത്തുന്നു, പക്ഷേ പൂർണ്ണ യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ നൽകുന്നില്ല. യഥാർത്ഥ Anthropic ട്രാഫിക്കിനെ അനുകരിക്കുന്നവരിൽ നിന്ന് വേർതിരിക്കാൻ, ഉറവിട IP claude.com/crawling/bots.json-ലെ പട്ടികയുമായി താരതമ്യം ചെയ്യുക.
ഒരു robots.txt മാറ്റം Claude-ൽ എത്താൻ എത്ര സമയമെടുക്കും?
Anthropic ഒരു സമയം പറയുന്നില്ല. കാഷ് ചെയ്ത robots.txt ക്രോളറുകൾ 24 മണിക്കൂറിൽ കൂടുതൽ ഉപയോഗിക്കരുതെന്ന് RFC 9309 പറയുന്നു, അതിനാൽ ലോഗുകളിലോ Claude-ന്റെ ഉത്തരങ്ങളിലോ ഫലം വിലയിരുത്തുന്നതിന് മുമ്പ് കുറഞ്ഞത് ഒരു ദിവസം കാത്തിരിക്കുക.
Claude API, Claude ആപ്പിന്റെ അതേ ഉത്തരങ്ങൾ നൽകുമോ?
നിർബന്ധമില്ല. ആപ്പ് നിങ്ങളുടെ ഏകദേശ ലൊക്കേഷനും സ്വന്തം ക്രമീകരണങ്ങളും ഉപയോഗിച്ചേക്കാം, ഒരു API അഭ്യർത്ഥന നിങ്ങൾ അയയ്ക്കുന്ന ടൂളുകളും പാരാമീറ്ററുകളും ഉപയോഗിക്കുന്നു. API ഫലങ്ങളെ ആവർത്തിക്കാവുന്ന ഒരു ടെസ്റ്റായി കാണുക, ഓരോ ഉപയോക്താവും കാണുന്നതിന്റെ പകർപ്പായല്ല.
Claude എന്റെ ബ്രാൻഡ് പരാമർശിക്കുന്നുണ്ടോ എന്ന് എങ്ങനെ അറിയാം?
വെബ് സെർച്ച് ഓണാക്കി, നിങ്ങളുടെ ഉപഭോക്താക്കൾ ചോദിക്കുന്ന ചോദ്യങ്ങൾ Claude-നോട് ചോദിക്കുക, അത് നിങ്ങളുടെ സൈറ്റിന്റെ പേര് പറയുന്നുണ്ടോ ഉദ്ധരിക്കുന്നുണ്ടോ, പകരം ഏതൊക്കെ എതിരാളികൾ വരുന്നു എന്ന് കുറിക്കുക. ഉത്തരങ്ങൾ മാറുന്നതിനാൽ ഓരോ ചോദ്യവും ആഴ്ചകളോളം ആവർത്തിക്കുക. AISeeWhy-യുടെ “AI-യിലെ ദൃശ്യത” പരിശോധന നിങ്ങളുടെ കീ ഉപയോഗിച്ച് Claude API വഴി ഇത് എല്ലാ ആഴ്ചയും ചെയ്യുന്നു, നാല് എതിരാളികൾ വരെ ഉൾപ്പെടെ.
ഉറവിടങ്ങൾ
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: ക്രോളർ IP വിലാസ പട്ടിക (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: AI ക്രോളർ ആക്സസ് റിപ്പോർട്ട്, 2026-11