શું Claude મારી વેબસાઇટ જોઈ શકે છે? કેવી રીતે તપાસવું

પ્રકાશિત · અપડેટ થયું

ટૂંકો જવાબ

Claude તમારું પેજ ત્યારે જ વાંચી શકે છે જ્યારે તમારી robots.txt Anthropicના એજન્ટને મંજૂરી આપે અને તમારું સર્વર તેમને બ્રાઉઝર જેવું જ HTML મોકલે. તપાસો કે robots.txt Claude-SearchBot કે Claude-Userને મનાઈ કરતી નથી, તમારું ફાયરવૉલ તેમને 403 કે ચેલેન્જ પેજ આપતું નથી, અને મુખ્ય લખાણ શરૂઆતના HTMLમાં છે. પછી Claudeને જાતે ટેસ્ટ કરો: ચૅટમાં તમારું URL પેસ્ટ કરો અને વેબ સર્ચ ચાલુ રાખીને તમારા ગ્રાહકો પૂછે એવા પ્રશ્નો પૂછો.

જો તમે Claudeને તમારી પ્રોડક્ટ વિશે પૂછો અને તે બીજી સાઇટ ટાંકે, તો પહેલો પ્રશ્ન એ છે કે તે તમારી સાઇટ સુધી પહોંચી પણ શકે છે કે નહીં. આ પ્રશ્નનો જવાબ ચકાસી શકાય છે. Anthropic તેના એજન્ટના robots.txt ટોકન અને તેઓ જે IP સરનામાં પરથી આવે છે તે પ્રકાશિત કરે છે, અને Claude પોતે વાપરેલા સ્રોત બતાવે છે. તેથી તમે દરેક પગલું ક્રમમાં તપાસી શકો: તમારી robots.txt શું કહે છે, તમારું સર્વર શું મોકલે છે, તમારા લૉગમાં શું નોંધાય છે, અને તમે Claudeને પેજ આપો ત્યારે તે તેનું શું કરે છે.

આ પેજ પર
  1. 5 મિનિટની તપાસ, પગલું-દર-પગલું
  2. Claude વેબસાઇટ કેવી રીતે વાંચે છે?
  3. robots.txt દ્વારા Claude મારી વેબસાઇટ ઍક્સેસ કરી શકે છે કે નહીં, કેવી રીતે તપાસવું?
  4. Claudeના એજન્ટને મારા સર્વર પરથી શું મળે છે તે કેવી રીતે ટેસ્ટ કરવું?
  5. Claude ખરેખર મારી સાઇટની મુલાકાત લે છે કે નહીં, કેવી રીતે જોવું?
  6. મારા પેજ સાથે Claudeને જાતે કેવી રીતે ટેસ્ટ કરવું?
  7. Claude મારું પેજ વાંચી શકે છે છતાં ટાંકતું નથી તો શું?
  8. AISeeWhy આ કેવી રીતે તપાસે છે?

5 મિનિટની તપાસ, પગલું-દર-પગલું

  1. તમારી robots.txt ખોલો અને ખાતરી કરો કે Claude-SearchBot, Claude-User કે User-agent: * માટેનું કોઈ જૂથ પેજની મનાઈ કરતું નથી. ClaudeBot ફક્ત ટ્રેનિંગ માટે મહત્ત્વનો છે.
  2. AISeeWhy પર પેજની મફત તપાસ ચલાવો અથવા Claude-User યુઝર એજન્ટ સાથે એક વિનંતી મોકલો: તેને સ્ટેટસ 200 અને બ્રાઉઝરને મળે છે તે જ લખાણ મળવું જોઈએ.
  3. તમારા ઍક્સેસ લૉગમાં Claude-SearchBot અને Claude-User શોધો અને તેમને મળેલા સ્ટેટસ કોડ જુઓ.
  4. વેબ સર્ચ ચાલુ રાખીને તમારું URL Claudeમાં પેસ્ટ કરો, તેને પેજનો સારાંશ આપવા કહો, પછી તમારા ગ્રાહકો પૂછે એવો પ્રશ્ન પૂછો અને ટાંકણો તપાસો.

જો પગલું 1 કે 2 નિષ્ફળ જાય, તો પહેલાં ઍક્સેસ સુધારો; નીચેના વિભાગો તે કેવી રીતે કરવું તે બતાવે છે. જો Claude પેજ વાંચે પણ તેને ટાંકે નહીં, તો કન્ટેન્ટ પર કામ કરો.

Claude વેબસાઇટ કેવી રીતે વાંચે છે?

Claude બે રીતે વેબ સુધી પહોંચે છે. વેબ સર્ચ સાથે, જ્યારે કોઈ પ્રશ્નને તાજી માહિતીની જરૂર હોય ત્યારે તે સર્ચ કરે છે, ઘણા સ્રોત જુએ છે અને સંદર્ભો (citations) સાથે જવાબ આપે છે. Anthropicનું હેલ્પ સેન્ટર કહે છે કે વેબ સર્ચ વાપરતા દરેક જવાબમાં સંદર્ભો હોય છે. જ્યારે કોઈ Claudeને ચોક્કસ લિંક આપે છે, ત્યારે તે એ પેજ સીધું ખોલી શકે છે.

Anthropic આ માટે ત્રણ એજન્ટ દસ્તાવેજિત કરે છે, દરેકનો પોતાનો robots.txt ટોકન છે. Claude-SearchBot Claudeનાં સર્ચ પરિણામો સુધારવા ક્રૉલ કરે છે, Claude-User જ્યારે યુઝરના પ્રશ્નને જરૂર હોય ત્યારે પેજ મેળવે છે, અને ClaudeBot એવું કન્ટેન્ટ એકઠું કરે છે જેનો ઉપયોગ ટ્રેનિંગ માટે થઈ શકે. Anthropicના ત્રણ ક્રૉલર પરની અમારી અલગ માર્ગદર્શિકા દરેક શું કરે છે તે વિગતે સમજાવે છે. વંચાવા અને ટંકાવા માટે, પહેલા બે તપાસવાના છે.

એક પ્રામાણિક મર્યાદા: Anthropic દસ્તાવેજમાં જણાવતું નથી કે Claudeનું વેબ સર્ચ કયો સર્ચ ઇન્ડેક્સ વાપરે છે કે તે સ્રોત કેવી રીતે પસંદ કરે છે. તે કહે છે કે Claude-SearchBotને બ્લૉક કરવાથી સર્ચ પરિણામોમાં તમારી દૃશ્યતા ઘટી શકે છે અને Claude-Userને બ્લૉક કરવાથી યુઝરના પ્રશ્નો માટે પેજ મેળવી શકાતું નથી. બંનેને મંજૂરી આપવાથી ટંકાવું શક્ય બને છે; તેની ગૅરંટી મળતી નથી.

robots.txt દ્વારા Claude મારી વેબસાઇટ ઍક્સેસ કરી શકે છે કે નહીં, કેવી રીતે તપાસવું?

https://yourdomain.com/robots.txt ખોલો અને Claude-SearchBot કે Claude-Userનું નામ લેતાં જૂથ શોધો. જો બેમાંથી કોઈનું નામ ન હોય, તો બંને User-agent: * જૂથને અનુસરે છે. RFC 9309 હેઠળ ટોકનની મેચિંગમાં કૅપિટલ-સ્મૉલ અક્ષરોનો ફરક પડતો નથી, અને લાગુ પડતા જૂથમાં Disallow: / એ એજન્ટ માટે આખી સાઇટ બંધ કરે છે.

જવાબ પોતે પણ તપાસો. જે robots.txt સર્વર error આપે છે તે ક્રૉલરને બધું જ મનાઈ છે એમ માની લેવા કહે છે. 404નો અર્થ છે કોઈ નિયમ નથી. બે કમાન્ડ સ્ટેટસ અને ફાઇલનું દરેક જૂથ બતાવે છે:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic કહે છે કે નિયમો દરેક સબડોમેનના ટોચના સ્તરની robots.txtમાં હોવા જોઈએ, તેથી blog.example.comને પોતાની ફાઇલ જોઈએ. આવા બ્લૉક દુર્લભ નથી. 1,000 સૌથી લોકપ્રિય ડોમેનના અમારા અભ્યાસમાં, robots.txt આપતી 518 સાઇટમાંથી 67 (12.9%)એ Claude-SearchBot માટે અને 68 (13.1%)એ Claude-User માટે હોમ પેજ મનાઈ કર્યું હતું, જ્યારે ટ્રેનિંગ ક્રૉલર ClaudeBot માટે 110 (21.2%)એ.

Claudeના એજન્ટને મારા સર્વર પરથી શું મળે છે તે કેવી રીતે ટેસ્ટ કરવું?

robots.txt એક વિનંતી છે, ઍક્સેસ કંટ્રોલ નથી. ફાયરવૉલ, CDN કે બૉટ પ્રોટેક્શન Anthropicના એજન્ટને 403, 429 કે ચેલેન્જ પેજ આપી શકે છે, જ્યારે તમારા પોતાના બ્રાઉઝરમાં પેજ સામાન્ય રીતે દેખાય છે. Anthropic કહે છે કે તેના bots CAPTCHA ટાળવાનો પ્રયાસ નહીં કરે, તેથી ચેલેન્જ પેજ પર મુલાકાત પૂરી થઈ જાય છે.

એ જ URL બ્રાઉઝરના યુઝર એજન્ટ સાથે અને Anthropicના દરેક ટોકન સાથે મંગાવો, પછી સ્ટેટસ અને કદ સરખાવો:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropicનું હેલ્પ પેજ ટોકનનાં નામ આપે છે પણ પૂરી યુઝર એજન્ટ સ્ટ્રિંગ પ્રકાશિત કરતું નથી, તેથી આ ટેસ્ટ સ્ટ્રિંગ છે, Anthropicની સાચી સ્ટ્રિંગ નહીં. તે બતાવે છે કે નામ પર આધારિત નિયમો વિનંતી સાથે કેવો વ્યવહાર કરે છે. ફક્ત Claudeવાળી લાઇનો માટે 403, 429 કે 503, અથવા બ્રાઉઝર કરતાં ઘણો નાનો 200 જવાબ, તમારા ફાયરવૉલ તરફ ઇશારો કરે છે.

તમારો ટેસ્ટ તમારા પોતાના IP સરનામા પરથી આવે છે. Anthropic કહે છે કે claude.com/crawling/bots.jsonની યાદીનાં સરનામાં પરથી આવતી વિનંતીઓ Anthropicની છે. જો તમારું ફાયરવૉલ ચકાસેલા ક્રૉલરને IP દ્વારા મંજૂરી આપે, તો સાચા એજન્ટ પસાર થઈ શકે જ્યારે તમારો ટેસ્ટ બ્લૉક થાય, અને ઊલટું પણ શક્ય છે. યાદીનો ઉપયોગ Anthropicને મંજૂરી આપવા કરો, બ્લૉક કરવા નહીં: Anthropic IP બ્લૉકિંગ સામે સલાહ આપે છે કારણ કે તેનાથી તેના bots તમારી robots.txt પણ વાંચી શકતા નથી.

Claude ખરેખર મારી સાઇટની મુલાકાત લે છે કે નહીં, કેવી રીતે જોવું?

તમારા ઍક્સેસ લૉગ આનો સીધો જવાબ આપે છે. તેમાં ત્રણ ટોકન શોધો, પછી તપાસો કે સ્રોત સરનામાં Anthropicની પ્રકાશિત રેન્જમાં આવે છે, કારણ કે કોઈ પણ યુઝર એજન્ટનું નામ કૉપિ કરી શકે છે:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

પહેલો કમાન્ડ સામાન્ય combined log format માની લે છે, જેમાં ફીલ્ડ 1 ક્લાયન્ટનું સરનામું અને ફીલ્ડ 9 સ્ટેટસ કોડ છે. Anthropicના એજન્ટની બાજુમાં ઘણા 403 કે 429 કોડ ફાયરવૉલની સમસ્યાની પુષ્ટિ કરે છે. Claude-SearchBotની બિલકુલ મુલાકાત ન હોય તેનો અર્થ ફક્ત એટલો છે કે તેણે હજી એ પેજ ક્રૉલ કર્યાં નથી, અથવા કંઈક તેને પહેલાં જ રોકે છે.

મારા પેજ સાથે Claudeને જાતે કેવી રીતે ટેસ્ટ કરવું?

ચૅટ ખોલો અને તમારા કોઈ પેજનું URL “આ પેજનો સારાંશ આપો” જેવી વિનંતી સાથે પેસ્ટ કરો. Anthropicનું હેલ્પ સેન્ટર કહે છે કે વેબ સર્ચ ચાલુ હોય ત્યારે Claude તમે આપેલી લિંક ખોલી શકે છે. જો વેબ સર્ચ બંધ હોય, તો તેને + મેનૂમાંથી ચાલુ કરો; Anthropicના નવા Claude અનુભવમાં કોઈ ટૉગલ નથી અને જ્યારે મદદરૂપ હોય ત્યારે Claude સર્ચ કરે છે. Team અને Enterprise પ્લાનમાં માલિકે પહેલાં સંસ્થા માટે વેબ સર્ચ ચાલુ કરવું પડે છે. જો બ્રાઉઝર તમારું પેજ ખોલી શકે પણ Claude નહીં, તો ફાયરવૉલ ટેસ્ટ પર પાછા જાઓ.

પછી તમારી સાઇટનું નામ લીધા વગર તમારા ગ્રાહકો પૂછે એવા પ્રશ્નો પૂછો, અને ટાંકેલા સ્રોત ખોલો. Anthropic કહે છે કે સ્થાનિક પરિણામો માટે Claude તમારા IP સરનામા પરથી અનુમાનિત સ્થાન વાપરી શકે છે, તેથી જવાબો સ્થળ પ્રમાણે અને દરેક રનમાં બદલાઈ શકે છે.

ડેવલપર આ ટેસ્ટ Claude API દ્વારા ફરી કરી શકે છે. વેબ સર્ચ ટૂલ allowed_domains યાદી લે છે, તેથી તમારા ડોમેન સુધી મર્યાદિત વિનંતી બતાવે છે કે કોઈ પ્રશ્ન માટે Claudeનું સર્ચ તમારું કોઈ પેજ આપે છે કે નહીં:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

ખાલી સર્ચ પરિણામોનો અર્થ છે કે એ પ્રશ્ન માટે Claudeના સર્ચને એ ડોમેન પર કંઈ મળ્યું નહીં. Anthropic API વેબ સર્ચ માટે ટોકન ઉપરાંત અલગ ચાર્જ લે છે. APIનું web fetch ટૂલ એ પણ જણાવે છે કે પેજ કેમ વાંચી શકાયું નહીં: url_not_allowed robots.txt જેવા બ્લૉક દર્શાવે છે, અને url_not_accessibleનો અર્થ HTTP error છે. API જવાબો Claude ઍપ બતાવે છે તેનાથી અલગ હોઈ શકે છે.

Claude મારું પેજ વાંચી શકે છે છતાં ટાંકતું નથી તો શું?

પહેલાં ખાતરી કરો કે તેને જોઈતું લખાણ તમારું સર્વર મોકલે છે તે HTMLમાં છે. Anthropicના API દસ્તાવેજ કહે છે કે તેનું web fetch ટૂલ JavaScriptથી રેન્ડર થતી વેબસાઇટને સપોર્ટ કરતું નથી, અને Anthropic એમ કહેતું નથી કે તેના ક્રૉલર સ્ક્રિપ્ટ રેન્ડર કરે છે. curl વડે તમારું પેજ મેળવો અને આઉટપુટમાં તમારા મુખ્ય કન્ટેન્ટનું કોઈ વાક્ય શોધો. જો તે ન મળે, તો server-side rendering કે prerendering આ સમસ્યા Claude અને બીજા મોટા ભાગના AI ક્રૉલર માટે ઉકેલે છે.

તે પછી પેજ પોતે નક્કી કરે છે. પેજના મુખ્ય પ્રશ્નનો જવાબ તેનાં પહેલાં વાક્યોમાં મૂકો, લોકો પૂછે એવા પ્રશ્નો સાથે મેળ ખાતાં હેડિંગ વાપરો, પ્રકાશકનું નામ આપો અને તારીખો બતાવો. પછી એ જ પ્રશ્ન માટે Claude જે પેજ ટાંકે છે તેની સાથે તમારું પેજ સરખાવો: ટાંકેલું પેજ ઘણી વાર એ જ પ્રશ્નનો વધુ સીધો જવાબ આપે છે.

AISeeWhy આ કેવી રીતે તપાસે છે?

AISeeWhyની મફત તપાસ તમારું પેજ સાચા બ્રાઉઝરની સાથે Claude-SearchBot, Claude-User, ClaudeBot અને બીજા AI અને સર્ચ ક્રૉલર તરીકે મેળવે છે, દરેક પર તમારી robots.txt લાગુ કરે છે, ચેલેન્જ પેજ ઓળખે છે અને બતાવે છે કે JavaScript વગર કેટલું લખાણ પહોંચે છે. પેઇડ પ્લાનમાં AI માં દૃશ્યતા તપાસ તમારી પોતાની API કી વડે વેબ સર્ચ સાથે Claude દ્વારા તમારા પ્રશ્નો પૂછે છે અને બતાવે છે કે તમારી બ્રાન્ડ કે ડોમેનનો ઉલ્લેખ થયો કે તે ટાંકાયું કે નહીં.

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

શું હું મફતમાં તપાસી શકું કે Claude મારી સાઇટ જોઈ શકે છે કે નહીં?

હા. તમારી robots.txt, curl વિનંતી, તમારો સર્વર લૉગ અને Claudeમાં એક પ્રશ્ન, આ બધું મફત છે. AISeeWhyની મફત તપાસ એકાઉન્ટ વગર દિવસમાં એક પેજ માટે Anthropicના એજન્ટ અને બીજા 13 ક્રૉલર તપાસે છે.

લિંક પેસ્ટ કરું ત્યારે Claude મારી વેબસાઇટ કેમ ખોલી શકતું નથી?

સામાન્ય કારણો છે: ફાયરવૉલ કે બૉટ પ્રોટેક્શન જે Anthropicના એજન્ટને 403 કે ચેલેન્જ પેજ આપે છે, Claude-Userને મનાઈ કરતો robots.txt નિયમ, અથવા એવું પેજ જેનું લખાણ JavaScript ચાલ્યા પછી જ દેખાય છે. curl વડે URLને બ્રાઉઝર તરીકે અને Claude ટોકન સાથે ટેસ્ટ કરો, અને બ્લૉક થયેલી વિનંતીઓ માટે તમારા લૉગ તપાસો.

શું Anthropic ટેસ્ટ માટે યુઝર એજન્ટ સ્ટ્રિંગ પ્રકાશિત કરે છે?

Anthropicનું ક્રૉલર હેલ્પ પેજ ClaudeBot, Claude-SearchBot અને Claude-User ટોકન આપે છે, પણ પૂરી યુઝર એજન્ટ સ્ટ્રિંગ નહીં. Anthropicના સાચા ટ્રાફિકને નકલથી અલગ પાડવા, સ્રોત IPને claude.com/crawling/bots.jsonની યાદી સાથે સરખાવો.

robots.txtનો ફેરફાર Claude સુધી પહોંચતાં કેટલો સમય લાગે?

Anthropic સમય જણાવતું નથી. RFC 9309 કહે છે કે ક્રૉલરે કૅશ કરેલી robots.txt 24 કલાકથી વધુ ન વાપરવી જોઈએ, તેથી તમારા લૉગમાં કે Claudeના જવાબોમાં પરિણામ જોતાં પહેલાં ઓછામાં ઓછો એક દિવસ રાહ જુઓ.

શું Claude API અને Claude ઍપ સરખા જવાબ આપે છે?

જરૂરી નથી. ઍપ તમારું અંદાજિત સ્થાન અને પોતાનાં સેટિંગ વાપરી શકે છે, જ્યારે API વિનંતી તમે મોકલો તે ટૂલ અને પેરામીટર વાપરે છે. API પરિણામોને ફરી કરી શકાય એવા ટેસ્ટ તરીકે જુઓ, દરેક યુઝર જે જુએ છે તેની નકલ તરીકે નહીં.

Claude મારી બ્રાન્ડનો ઉલ્લેખ કરે છે કે નહીં, કેવી રીતે જાણવું?

વેબ સર્ચ ચાલુ રાખીને Claudeને તમારા ગ્રાહકો પૂછે એવા પ્રશ્નો પૂછો, અને નોંધો કે તે તમારી સાઇટનું નામ લે છે કે ટાંકે છે કે નહીં અને તેના બદલે કયા સ્પર્ધકો દેખાય છે. દરેક પ્રશ્ન થોડાં અઠવાડિયાં સુધી ફરી પૂછો, કારણ કે જવાબો બદલાય છે. AISeeWhyની AI માં દૃશ્યતા તપાસ આ દર અઠવાડિયે તમારી કી વડે Claude API દ્વારા, વધુમાં વધુ ચાર સ્પર્ધકોની બાજુમાં કરે છે.

સ્રોતો

વધુ લેખો