Claude pot veure el meu lloc web? Com comprovar-ho
Claude només pot llegir la teva pàgina si el robots.txt permet els agents d'Anthropic i el servidor els envia el mateix HTML que rep un navegador. Comprova que el robots.txt no bloquegi Claude-SearchBot ni Claude-User, que el tallafoc no els respongui amb un 403 o una pàgina de desafiament i que el text principal sigui a l'HTML inicial. Després prova el mateix Claude: enganxa la teva URL en un xat i fes-li les preguntes dels teus compradors amb la cerca web activada.
Si preguntes a Claude pel teu producte i cita altres llocs, la primera pregunta és si pot arribar al teu. Això té una resposta que es pot comprovar. Anthropic publica els tokens de robots.txt dels seus agents i les adreces IP des d'on venen, i Claude mostra les fonts que ha fet servir. Així que pots comprovar cada pas per ordre: què diu el robots.txt, què envia el servidor, què registren els teus registres i què fa Claude amb una pàgina quan li dones.
En aquesta pàgina
- La comprovació de 5 minuts, pas a pas
- Com llegeix Claude els llocs web?
- Com comprovo si Claude pot accedir al meu lloc web segons el robots.txt?
- Com provo què reben els agents de Claude del meu servidor?
- Com puc veure si Claude visita de veritat el meu lloc?
- Com provo el mateix Claude amb la meva pàgina?
- I si Claude pot llegir la meva pàgina però no la cita?
- Com ho comprova AISeeWhy?
La comprovació de 5 minuts, pas a pas
- Obre el teu robots.txt i assegura't que cap grup per a
Claude-SearchBot,Claude-UseroUser-agent: *no prohibeix la pàgina.ClaudeBotnomés importa per a l'entrenament. - Fes una comprovació gratuïta de la pàgina a AISeeWhy o envia una petició amb el user agent
Claude-User: ha de rebre l'estat 200 i el mateix text que rep un navegador. - Cerca
Claude-SearchBotiClaude-Useral teu registre d'accés i mira els codis d'estat que han rebut. - Enganxa el teu URL a Claude amb la cerca web activada, demana-li que resumeixi la pàgina i després fes-li una pregunta que fan els teus compradors i revisa les citacions.
Si falla el pas 1 o el 2, corregeix primer l'accés; les seccions següents expliquen com. Si Claude llegeix la pàgina però no la cita, treballa el contingut.
Com llegeix Claude els llocs web?
Claude arriba al web de dues maneres. Amb la cerca web, cerca quan una pregunta necessita informació actual, revisa diverses fonts i respon amb cites. El centre d'ajuda d'Anthropic diu que cada resposta que fa servir la cerca web inclou cites. Quan algú dona a Claude un enllaç concret, pot obrir aquella pàgina directament.
Anthropic documenta tres agents per a això, cadascun amb el seu token de robots.txt. Claude-SearchBot rastreja per millorar els resultats de cerca de Claude, Claude-User obté pàgines quan la pregunta d'un usuari les necessita i ClaudeBot recull contingut que es pot fer servir per a l'entrenament. La nostra guia sobre els tres rastrejadors d'Anthropic explica en detall què fa cadascun. Per ser llegit i citat, els que has de comprovar són els dos primers.
Un límit honest: Anthropic no documenta quin índex de cerca fa servir la cerca web de Claude ni com tria les fonts. Diu que bloquejar Claude-SearchBot pot reduir la teva visibilitat als resultats de cerca i que bloquejar Claude-User impedeix obtenir pàgines per a les preguntes dels usuaris. Permetre tots dos fa possible una cita, però no la garanteix.
Com comprovo si Claude pot accedir al meu lloc web segons el robots.txt?
Obre https://yourdomain.com/robots.txt i busca grups que anomenin Claude-SearchBot o Claude-User. Si no se n'anomena cap, tots dos segueixen el grup User-agent: *. Segons l'RFC 9309, la coincidència de tokens no distingeix majúscules i minúscules, i un Disallow: / al grup que s'apliqui tanca tot el lloc per a aquell agent.
Comprova també la resposta. Un robots.txt que retorna un error del servidor diu als rastrejadors que suposin que tot està bloquejat. Un 404 vol dir que no hi ha regles. Dues ordres mostren l'estat i cada grup del fitxer:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic diu que les regles han de ser al robots.txt del nivell superior de cada subdomini, així que blog.example.com necessita el seu propi fitxer. Aquests bloquejos no són estranys. En el nostre estudi dels 1.000 dominis més populars, 67 dels 518 llocs que servien un robots.txt (12,9%) bloquejaven la pàgina d'inici per a Claude-SearchBot i 68 (13,1%) per a Claude-User, mentre que 110 (21,2%) ho feien per al rastrejador d'entrenament ClaudeBot.
Com provo què reben els agents de Claude del meu servidor?
El robots.txt és una petició, no un control d'accés. Un tallafoc, una CDN o una protecció contra bots pot respondre als agents d'Anthropic amb un 403, un 429 o una pàgina de desafiament mentre el teu navegador veu la pàgina amb normalitat. Anthropic diu que els seus bots no intentaran eludir els CAPTCHA, així que una pàgina de desafiament acaba la visita.
Demana la mateixa URL amb el user agent d'un navegador i amb cada token d'Anthropic, i compara l'estat i la mida:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done La pàgina d'ajuda d'Anthropic anomena els tokens però no publica cadenes de user agent completes, així que aquestes són cadenes de prova, no les reals d'Anthropic. Mostren com tracten la petició les regles que comproven el nom. Un 403, 429 o 503 només a les línies de Claude, o un 200 molt més petit que el del navegador, apunta al teu tallafoc.
La prova surt de la teva pròpia adreça IP. Anthropic diu que les peticions des d'adreces de la seva llista a claude.com/crawling/bots.json són d'Anthropic. Si el teu tallafoc permet els rastrejadors verificats per IP, els agents reals poden passar mentre la teva prova queda bloquejada, i també pot passar el contrari. Fes servir la llista per permetre Anthropic, no per bloquejar-lo: Anthropic desaconsella el bloqueig per IP perquè també impedeix que els seus bots llegeixin el teu robots.txt.
Com puc veure si Claude visita de veritat el meu lloc?
Els registres d'accés ho responen directament. Cerca-hi els tres tokens i després comprova que les adreces d'origen siguin dins dels rangs publicats per Anthropic, perquè qualsevol pot copiar el nom d'un user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' La primera ordre suposa el format de registre combinat habitual, on el camp 1 és l'adreça del client i el camp 9 el codi d'estat. Molts codis 403 o 429 al costat dels agents d'Anthropic confirmen un problema del tallafoc. Que no hi hagi cap visita de Claude-SearchBot només vol dir que encara no ha rastrejat aquestes pàgines o que alguna cosa abans l'atura.
Com provo el mateix Claude amb la meva pàgina?
Obre un xat i enganxa la URL d'una de les teves pàgines amb una petició com ara "Resumeix aquesta pàgina". El centre d'ajuda d'Anthropic diu que, amb la cerca web activada, Claude pot obrir els enllaços que li donis. Si la cerca web està desactivada, activa-la des del menú +; a la nova experiència de Claude no hi ha cap interruptor i Claude cerca quan és útil. Als plans Team i Enterprise, un propietari ha d'activar primer la cerca web per a l'organització. Si Claude no pot obrir la teva pàgina i un navegador sí, torna a la prova del tallafoc.
Després fes les preguntes que fan els teus compradors, sense anomenar el teu lloc, i obre les fonts citades. Anthropic diu que Claude pot fer servir una ubicació deduïda de la teva adreça IP per donar resultats locals, així que les respostes poden variar segons el lloc i d'una execució a una altra.
Els desenvolupadors poden repetir-ho amb la Claude API. L'eina de cerca web accepta una llista allowed_domains, així que una petició limitada al teu domini mostra si la cerca de Claude retorna alguna de les teves pàgines per a una pregunta:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Uns resultats de cerca buits volen dir que la cerca de Claude no ha trobat res en aquell domini per a la pregunta. Anthropic cobra les cerques web de l'API a part dels tokens. L'eina web fetch de l'API també informa de per què no s'ha pogut llegir una pàgina: url_not_allowed cobreix bloquejos com el del robots.txt, i url_not_accessible vol dir un error HTTP. Les respostes de l'API poden ser diferents del que mostren les aplicacions de Claude.
I si Claude pot llegir la meva pàgina però no la cita?
Primer assegura't que el text que necessita sigui a l'HTML que envia el servidor. La documentació de l'API d'Anthropic diu que la seva eina web fetch no admet llocs web renderitzats amb JavaScript, i Anthropic no diu que els seus rastrejadors executin scripts. Obté la pàgina amb curl i cerca a la sortida una frase del contingut principal. Si no hi és, el renderitzat al servidor o el prerenderitzat ho soluciona per a Claude i per a la majoria d'altres rastrejadors d'IA.
A partir d'aquí, decideix la pàgina mateixa. Posa la resposta a la pregunta principal de la pàgina a les primeres frases, fes servir encapçalaments que coincideixin amb les preguntes que fa la gent, indica qui publica i mostra les dates. Després compara la teva pàgina amb la que Claude cita per a la mateixa pregunta: sovint la pàgina citada respon aquella pregunta exacta de manera més directa.
Com ho comprova AISeeWhy?
La comprovació gratuïta d'AISeeWhy obté la teva pàgina com a Claude-SearchBot, Claude-User, ClaudeBot i els altres rastrejadors d'IA i de cerca al costat d'un navegador real, aplica el teu robots.txt a cadascun, reconeix les pàgines de desafiament i mostra quant text arriba sense JavaScript. La comprovació Visibilitat a la IA, a la prova i als plans de pagament, fa les teves preguntes a Claude amb cerca web amb la teva pròpia clau d'API i mostra si la teva marca o el teu domini s'esmenta o se cita.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Puc comprovar gratis si Claude pot veure el meu lloc?
Sí. El teu robots.txt, una petició amb curl, el registre del teu servidor i una pregunta a Claude no costen res. La comprovació gratuïta d'AISeeWhy prova els agents d'Anthropic i 13 rastrejadors més per a una pàgina al dia sense compte.
Per què Claude no pot obrir el meu lloc web quan enganxo l'enllaç?
Les causes habituals són un tallafoc o una protecció contra bots que respon als agents d'Anthropic amb un 403 o una pàgina de desafiament, una regla del robots.txt que bloqueja Claude-User, o una pàgina el text de la qual només apareix després d'executar JavaScript. Prova la URL amb curl com a navegador i amb els tokens de Claude, i busca peticions bloquejades als registres.
Anthropic publica una cadena de user agent per fer proves?
La pàgina d'ajuda d'Anthropic sobre rastrejadors llista els tokens ClaudeBot, Claude-SearchBot i Claude-User, però no cadenes de user agent completes. Per distingir el trànsit real d'Anthropic dels imitadors, compara la IP d'origen amb la llista de claude.com/crawling/bots.json.
Quant triga un canvi al robots.txt a arribar a Claude?
Anthropic no dona cap termini. L'RFC 9309 diu que els rastrejadors no haurien de fer servir un robots.txt en memòria cau durant més de 24 hores, així que deixa passar com a mínim un dia abans de valorar el resultat als registres o a les respostes de Claude.
La Claude API dona les mateixes respostes que l'aplicació de Claude?
No necessàriament. L'aplicació pot fer servir la teva ubicació aproximada i la seva pròpia configuració, mentre que una petició a l'API fa servir les eines i els paràmetres que envies. Tracta els resultats de l'API com una prova repetible, no com una còpia del que veu cada usuari.
Com sé si Claude esmenta la meva marca?
Fes a Claude, amb la cerca web activada, les preguntes que fan els teus compradors, i anota si anomena o cita el teu lloc i quins competidors apareixen en el seu lloc. Repeteix cada pregunta durant diverses setmanes, perquè les respostes varien. La comprovació Visibilitat a la IA d'AISeeWhy ho fa cada setmana amb la Claude API i la teva clau, al costat de fins a quatre competidors.
Fonts
- Anthropic: Anthropic rastreja dades del web i com poden bloquejar el rastrejador els propietaris de llocs?
- Anthropic: Enable and use web search
- Claude Platform Docs: eina de cerca web
- Claude Platform Docs: eina web fetch
- Anthropic: llista d'adreces IP dels rastrejadors (bots.json)
- RFC 9309: Protocol d'exclusió de robots
- AISeeWhy: Informe d'accés dels rastrejadors d'IA, 2026-11