Poate Claude să-mi vadă site-ul? Cum verifici
Claude îți poate citi pagina doar dacă robots.txt permite agenții Anthropic și serverul le trimite același HTML pe care îl primește un browser. Verifică dacă robots.txt nu interzice Claude-SearchBot sau Claude-User, dacă firewall-ul nu le răspunde cu un 403 sau cu o pagină de verificare și dacă textul principal se află în HTML-ul inițial. Apoi testează chiar în Claude: lipește URL-ul într-un chat și pune întrebările clienților tăi cu căutarea pe web activată.
Dacă îl întrebi pe Claude despre produsul tău și el citează alte site-uri, prima întrebare este dacă poate ajunge măcar la al tău. Întrebarea are un răspuns care poate fi testat. Anthropic publică tokenurile robots.txt ale agenților săi și adresele IP de la care vin, iar Claude arată sursele pe care le-a folosit. Așa că poți verifica fiecare pas, în ordine: ce spune robots.txt, ce trimite serverul, ce înregistrează logurile și ce face Claude cu o pagină atunci când i-o dai.
Pe această pagină
- Verificarea de 5 minute, pas cu pas
- Cum citește Claude site-urile?
- Cum verific în robots.txt dacă Claude îmi poate accesa site-ul?
- Cum testez ce primesc agenții lui Claude de la serverul meu?
- Cum văd dacă Claude îmi vizitează efectiv site-ul?
- Cum testez chiar în Claude pagina mea?
- Ce fac dacă Claude îmi poate citi pagina, dar tot nu o citează?
- Cum verifică AISeeWhy acest lucru?
Verificarea de 5 minute, pas cu pas
- Deschide robots.txt și asigură-te că niciun grup pentru
Claude-SearchBot,Claude-UsersauUser-agent: *nu blochează pagina.ClaudeBotcontează doar pentru antrenare. - Rulează o verificare gratuită a paginii pe AISeeWhy sau trimite o cerere cu user agentul
Claude-User: trebuie să primească status 200 și același text pe care îl primește un browser. - Caută în logul de acces
Claude-SearchBotșiClaude-Userși uită-te la codurile de status pe care le-au primit. - Lipește URL-ul în Claude cu căutarea pe web activată, cere-i un rezumat al paginii, apoi pune o întrebare pe care o pun clienții tăi și verifică citările.
Dacă pasul 1 sau 2 eșuează, rezolvă mai întâi accesul; secțiunile de mai jos arată cum. Dacă Claude citește pagina, dar nu o citează, lucrează la conținut.
Cum citește Claude site-urile?
Claude ajunge pe web în două feluri. Cu căutarea pe web, caută atunci când o întrebare are nevoie de informații actuale, analizează mai multe surse și răspunde cu citări. Centrul de ajutor Anthropic spune că fiecare răspuns care folosește căutarea pe web include citări. Când cineva îi dă lui Claude un link anume, poate deschide direct pagina respectivă.
Anthropic documentează trei agenți pentru asta, fiecare cu propriul token robots.txt. Claude-SearchBot accesează site-uri pentru a îmbunătăți rezultatele de căutare ale lui Claude, Claude-User descarcă pagini atunci când întrebarea unui utilizator are nevoie de ele, iar ClaudeBot colectează conținut care poate fi folosit pentru antrenare. Ghidul nostru separat despre cele trei crawlere Anthropic explică în detaliu ce face fiecare. Pentru a fi citit și citat, primii doi sunt cei de verificat.
O limită spusă cinstit: Anthropic nu documentează ce index de căutare folosește căutarea pe web a lui Claude și nici cum alege sursele. Spune că blocarea lui Claude-SearchBot îți poate reduce vizibilitatea în rezultatele de căutare, iar blocarea lui Claude-User împiedică preluarea pentru întrebările utilizatorilor. Dacă îi permiți pe amândoi, o citare devine posibilă; nu și garantată.
Cum verific în robots.txt dacă Claude îmi poate accesa site-ul?
Deschide https://yourdomain.com/robots.txt și caută grupuri care îi menționează pe Claude-SearchBot sau Claude-User. Dacă niciunul nu e menționat, amândoi urmează grupul User-agent: *. Conform RFC 9309, potrivirea tokenurilor nu ține cont de majuscule, iar un Disallow: / în grupul aplicabil închide întregul site pentru acel agent.
Verifică și răspunsul în sine. Un robots.txt care întoarce o eroare de server le spune crawlerelor să presupună că totul este interzis. Un 404 înseamnă că nu există reguli. Două comenzi arată codul de stare și toate grupurile din fișier:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropic spune că regulile trebuie să se afle în robots.txt de la nivelul superior al fiecărui subdomeniu, așa că blog.example.com are nevoie de propriul fișier. Aceste blocări nu sunt rare. În studiul nostru asupra celor mai populare 1.000 de domenii, 67 din cele 518 site-uri care aveau un robots.txt (12,9%) interziceau pagina principală pentru Claude-SearchBot și 68 (13,1%) pentru Claude-User, în timp ce 110 (21,2%) făceau același lucru pentru crawlerul de antrenare ClaudeBot.
Cum testez ce primesc agenții lui Claude de la serverul meu?
robots.txt este o rugăminte, nu un control al accesului. Un firewall, un CDN sau o protecție anti-bot poate răspunde agenților Anthropic cu un 403, un 429 sau o pagină de verificare, în timp ce browserul tău vede pagina normal. Anthropic spune că boții săi nu încearcă să ocolească CAPTCHA-urile, așa că o pagină de verificare încheie vizita.
Cere același URL cu un user agent de browser și cu fiecare token Anthropic, apoi compară codul de stare și dimensiunea:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Pagina de ajutor Anthropic numește tokenurile, dar nu publică șiruri user agent complete, așa că acestea sunt șiruri de test, nu cele reale ale Anthropic. Ele arată cum tratează cererea regulile care se uită după nume. Un 403, 429 sau 503 doar pe liniile Claude ori un 200 mult mai mic decât cel al browserului indică firewall-ul.
Testul tău pleacă de la propria ta adresă IP. Anthropic spune că cererile de la adresele din lista sa de la claude.com/crawling/bots.json vin de la Anthropic. Dacă firewall-ul permite crawlerele verificate după IP, agenții reali pot trece în timp ce testul tău e blocat, iar invers este și el posibil. Folosește lista ca să permiți Anthropic, nu ca s-o blochezi: Anthropic recomandă să nu blochezi după IP, pentru că așa le împiedici boților săi și citirea robots.txt.
Cum văd dacă Claude îmi vizitează efectiv site-ul?
Logurile de acces răspund direct la asta. Caută în ele cele trei tokenuri, apoi verifică dacă adresele sursă se încadrează în intervalele publicate de Anthropic, pentru că oricine poate copia numele unui user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Prima comandă presupune formatul de log combined, cel mai des întâlnit, în care câmpul 1 este adresa clientului și câmpul 9 codul de stare. Multe coduri 403 sau 429 lângă agenții Anthropic confirmă o problemă de firewall. Lipsa oricărei vizite de la Claude-SearchBot înseamnă doar că nu a accesat încă acele pagini sau că ceva îl oprește mai devreme.
Cum testez chiar în Claude pagina mea?
Deschide un chat și lipește URL-ul uneia dintre paginile tale cu o cerere precum „Rezumă această pagină”. Centrul de ajutor Anthropic spune că, cu căutarea pe web activată, Claude poate deschide linkurile pe care i le dai. Dacă căutarea pe web e dezactivată, activeaz-o din meniul +; în noua experiență Claude de la Anthropic nu există un comutator, iar Claude caută atunci când ajută. Pe planurile Team și Enterprise, un proprietar trebuie mai întâi să activeze căutarea pe web pentru organizație. Dacă Claude nu îți poate deschide pagina, dar un browser poate, întoarce-te la testul de firewall.
Apoi pune întrebările pe care le pun clienții tăi, fără să-ți numești site-ul, și deschide sursele citate. Anthropic spune că Claude poate folosi o locație dedusă din adresa ta IP pentru rezultate locale, așa că răspunsurile pot varia în funcție de loc și de la o rulare la alta.
Dezvoltatorii pot repeta testul prin API-ul Claude. Instrumentul de căutare pe web acceptă o listă allowed_domains, așa că o cerere limitată la domeniul tău arată dacă, pentru o întrebare, căutarea lui Claude întoarce vreuna dintre paginile tale:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Rezultatele de căutare goale înseamnă că, pentru întrebarea respectivă, căutarea lui Claude nu a găsit nimic pe acel domeniu. Anthropic taxează căutările pe web prin API pe lângă tokenuri. Instrumentul web fetch al API-ului spune și de ce o pagină nu a putut fi citită: url_not_allowed acoperă blocări precum robots.txt, iar url_not_accessible înseamnă o eroare HTTP. Răspunsurile prin API pot diferi de ce arată aplicațiile Claude.
Ce fac dacă Claude îmi poate citi pagina, dar tot nu o citează?
Mai întâi asigură-te că textul de care are nevoie se află în HTML-ul trimis de server. Documentația API Anthropic spune că instrumentul web fetch nu acceptă site-uri randate cu JavaScript, iar Anthropic nu spune că crawlerele sale execută scripturi. Descarcă pagina cu curl și caută în rezultat o propoziție din conținutul principal. Dacă lipsește, randarea pe server sau prerandarea rezolvă problema pentru Claude și pentru majoritatea celorlalte crawlere AI.
După aceea decide pagina însăși. Pune răspunsul la întrebarea principală a paginii în primele propoziții, folosește titluri care se potrivesc cu întrebările pe care le pun oamenii, numește editorul și afișează datele. Apoi compară pagina ta cu cea pe care Claude o citează pentru aceeași întrebare: pagina citată răspunde adesea mai direct exact la acea întrebare.
Cum verifică AISeeWhy acest lucru?
Verificarea gratuită AISeeWhy îți descarcă pagina ca Claude-SearchBot, Claude-User, ClaudeBot și celelalte crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare, recunoaște paginile de verificare și arată cât text ajunge fără JavaScript. Verificarea Vizibilitate în AI, din planurile plătite, îți pune întrebările prin Claude cu căutarea pe web, folosind propria ta cheie API, și arată dacă brandul sau domeniul tău este menționat ori citat.
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Verificare IP pentru crawlere AI
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Pot verifica gratuit dacă Claude îmi vede site-ul?
Da. Fișierul robots.txt, o cerere curl, logul serverului și o întrebare în Claude nu costă nimic. Verificarea gratuită AISeeWhy testează agenții Anthropic și alte 13 crawlere pentru o pagină pe zi, fără cont.
De ce nu îmi poate deschide Claude site-ul când lipesc linkul?
Cauzele obișnuite sunt un firewall sau o protecție anti-bot care răspunde agenților Anthropic cu un 403 sau cu o pagină de verificare, o regulă din robots.txt care interzice Claude-User sau o pagină al cărei text apare doar după rularea JavaScript. Testează URL-ul cu curl ca browser și cu tokenurile Claude și caută în loguri cererile blocate.
Publică Anthropic un șir user agent cu care să testez?
Pagina de ajutor Anthropic despre crawlere enumeră tokenurile ClaudeBot, Claude-SearchBot și Claude-User, dar niciun șir user agent complet. Ca să deosebești traficul real Anthropic de imitatori, compară IP-ul sursă cu lista de la claude.com/crawling/bots.json.
Cât durează până ajunge la Claude o modificare din robots.txt?
Anthropic nu dă un termen. RFC 9309 spune că crawlerele nu ar trebui să folosească un robots.txt din cache mai mult de 24 de ore, așa că așteaptă cel puțin o zi înainte să judeci rezultatul în loguri sau în răspunsurile lui Claude.
Dă API-ul Claude aceleași răspunsuri ca aplicația Claude?
Nu neapărat. Aplicația poate folosi locația ta aproximativă și propriile setări, în timp ce o cerere API folosește instrumentele și parametrii pe care îi trimiți. Tratează rezultatele API ca pe un test repetabil, nu ca pe o copie a ce vede fiecare utilizator.
Cum aflu dacă Claude îmi menționează brandul?
Pune-i lui Claude, cu căutarea pe web activată, întrebările pe care le pun clienții tăi și notează dacă îți numește sau îți citează site-ul și ce concurenți apar în locul tău. Repetă fiecare întrebare timp de câteva săptămâni, pentru că răspunsurile variază. Verificarea Vizibilitate în AI din AISeeWhy face asta săptămânal prin API-ul Claude, cu cheia ta, alături de până la patru concurenți.
Surse
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: lista adreselor IP ale crawlerelor (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: raport privind accesul crawlerelor AI, 2026-11