A e sheh Claude sajtin tim? Si ta kontrolloni

Publikuar · Përditësuar

Përgjigje e shkurtër

Claude mund ta lexojë faqen tuaj vetëm nëse robots.txt juaj i lejon agjentët e Anthropic dhe serveri juaj u dërgon të njëjtin HTML që merr një shfletues. Kontrolloni që robots.txt të mos e ndalojë Claude-SearchBot ose Claude-User, që firewall-i juaj të mos u përgjigjet me 403 ose me një faqe sfide dhe që teksti kryesor të jetë në HTML-në fillestare. Pastaj testoni vetë Claude: ngjitni URL-në në një bisedë dhe bëni pyetjet e blerësve tuaj me kërkimin në web të aktivizuar.

Nëse e pyetni Claude për produktin tuaj dhe ai citon sajte të tjera, pyetja e parë është nëse ai arrin fare te sajti juaj. Kjo ka një përgjigje që mund të testohet. Anthropic publikon token-at e agjentëve të vet për robots.txt dhe adresat IP nga vijnë, dhe Claude tregon burimet që ka përdorur. Kështu mund të kontrolloni çdo hap me radhë: çfarë thotë robots.txt juaj, çfarë dërgon serveri juaj, çfarë regjistrojnë log-et tuaja dhe çfarë bën Claude me një faqe kur ia jepni.

Në këtë faqe
  1. Kontrolli 5-minutësh, hap pas hapi
  2. Si i lexon Claude sajtet?
  3. Si të kontrolloj përmes robots.txt nëse Claude ka qasje në sajtin tim?
  4. Si ta testoj çfarë marrin agjentët e Claude nga serveri im?
  5. Si ta shoh nëse Claude e viziton vërtet sajtin tim?
  6. Si ta testoj vetë Claude me faqen time?
  7. Po nëse Claude e lexon faqen time, por prapë nuk e citon?
  8. Si e kontrollon këtë AISeeWhy?

Kontrolli 5-minutësh, hap pas hapi

  1. Hapni robots.txt tuaj dhe sigurohuni që asnjë grup për Claude-SearchBot, Claude-User ose User-agent: * nuk e ndalon faqen. ClaudeBot ka rëndësi vetëm për trajnimin.
  2. Kryeni një kontroll falas të faqes në AISeeWhy ose dërgoni një kërkesë me user agent-in Claude-User: ajo duhet të marrë statusin 200 dhe të njëjtin tekst që merr një shfletues.
  3. Kërkoni në log-un tuaj të aksesit për Claude-SearchBot dhe Claude-User dhe shikoni kodet e statusit që morën.
  4. Ngjitni URL-në tuaj në Claude me kërkimin në internet të aktivizuar, kërkojini të përmbledhë faqen, pastaj bëni një pyetje që bëjnë blerësit tuaj dhe kontrolloni citimet.

Nëse hapi 1 ose 2 dështon, rregulloni së pari aksesin; seksionet më poshtë tregojnë si. Nëse Claude e lexon faqen, por nuk e citon, punoni me përmbajtjen.

Si i lexon Claude sajtet?

Claude arrin në web në dy mënyra. Me kërkimin në web, ai kërkon kur një pyetje ka nevojë për informacion të freskët, shqyrton disa burime dhe përgjigjet me citime. Qendra e ndihmës e Anthropic thotë se çdo përgjigje që përdor kërkimin në web përfshin citime. Kur dikush i jep Claude një lidhje të caktuar, ai mund ta hapë atë faqe drejtpërdrejt.

Anthropic dokumenton tre agjentë për këtë, secili me token-in e vet për robots.txt. Claude-SearchBot zvarrit uebin për të përmirësuar rezultatet e kërkimit të Claude, Claude-User merr faqe kur i duhen pyetjes së një përdoruesi dhe ClaudeBot mbledh përmbajtje që mund të përdoret për trajnim. Udhëzuesi ynë i veçantë për tre zvarritësit e Anthropic shpjegon në detaje çfarë bën secili. Për t'u lexuar dhe cituar, duhen kontrolluar dy të parët.

Një kufizim i sinqertë: Anthropic nuk dokumenton cilin indeks kërkimi përdor kërkimi në web i Claude, as si i zgjedh burimet. Thotë se bllokimi i Claude-SearchBot mund ta ulë dukshmërinë tuaj në rezultatet e kërkimit dhe bllokimi i Claude-User pengon marrjen e faqeve për pyetjet e përdoruesve. Lejimi i të dyve e bën të mundur një citim; nuk e garanton.

Si të kontrolloj përmes robots.txt nëse Claude ka qasje në sajtin tim?

Hapni https://yourdomain.com/robots.txt dhe kërkoni grupe që përmendin Claude-SearchBot ose Claude-User. Nëse asnjëri nuk përmendet, të dy ndjekin grupin User-agent: *. Sipas RFC 9309, përputhja e token-ave nuk dallon shkronjat e mëdha nga të voglat dhe një Disallow: / në grupin që zbatohet ia mbyll atij agjenti gjithë sajtin.

Kontrolloni edhe vetë përgjigjen. Një robots.txt që kthen gabim serveri u thotë zvarritësve të supozojnë se gjithçka është e ndaluar. Një 404 do të thotë se nuk ka rregulla. Dy komanda tregojnë kodin e statusit dhe çdo grup në skedar:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic thotë se rregullat duhet të jenë në robots.txt në nivelin më të lartë të çdo nëndomeni, prandaj blog.example.com ka nevojë për skedarin e vet. Këto bllokime nuk janë të rralla. Në studimin tonë të 1.000 domeneve më të njohura, nga 518 sajtet që shërbenin robots.txt, 67 (12,9%) e ndalonin faqen kryesore për Claude-SearchBot dhe 68 (13,1%) për Claude-User, ndërsa 110 (21,2%) e bënin këtë për zvarritësin e trajnimit ClaudeBot.

Si ta testoj çfarë marrin agjentët e Claude nga serveri im?

robots.txt është një kërkesë, jo kontroll qasjeje. Një firewall, CDN ose mbrojtje nga botët mund t'u përgjigjet agjentëve të Anthropic me 403, 429 ose një faqe sfide, ndërsa shfletuesi juaj e sheh faqen normalisht. Anthropic thotë se botët e tij nuk përpiqen të anashkalojnë CAPTCHA, prandaj një faqe sfide e mbyll vizitën.

Kërkoni të njëjtën URL me një user agent shfletuesi dhe me secilin token të Anthropic, pastaj krahasoni statusin dhe madhësinë:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Faqja e ndihmës e Anthropic i përmend token-at, por nuk publikon vargjet e plota të user agent, prandaj këto janë vargje testimi, jo ato të vërtetat të Anthropic. Ato tregojnë si e trajtojnë kërkesën rregullat që përputhen me emrin. Një 403, 429 ose 503 vetëm për rreshtat e Claude, ose një 200 shumë më i vogël se ai i shfletuesit, tregon drejt firewall-it tuaj.

Testi juaj vjen nga adresa juaj IP. Anthropic thotë se kërkesat nga adresat në listën e tij te claude.com/crawling/bots.json vijnë nga Anthropic. Nëse firewall-i juaj i lejon zvarritësit e verifikuar sipas IP-së, agjentët e vërtetë mund të kalojnë ndërsa testi juaj bllokohet, dhe e kundërta është gjithashtu e mundur. Përdoreni listën për ta lejuar Anthropic, jo për ta bllokuar: Anthropic e këshillon të mos bllokoni sipas IP-së, sepse kjo i pengon botët e tij edhe të lexojnë robots.txt tuaj.

Si ta shoh nëse Claude e viziton vërtet sajtin tim?

Log-et tuaja të qasjes e japin përgjigjen drejtpërdrejt. Kërkoni në to tre token-at, pastaj kontrolloni që adresat burimore të bien brenda gamave që publikon Anthropic, sepse kushdo mund ta kopjojë emrin e një user agent:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Komanda e parë supozon formatin e zakonshëm combined, ku fusha 1 është adresa e klientit dhe fusha 9 kodi i statusit. Shumë kode 403 ose 429 pranë agjentëve të Anthropic konfirmojnë një problem me firewall-in. Mungesa e plotë e vizitave nga Claude-SearchBot do të thotë vetëm se nuk i ka zvarritur ende ato faqe, ose se diçka e ndal më herët.

Si ta testoj vetë Claude me faqen time?

Hapni një bisedë dhe ngjitni URL-në e një prej faqeve tuaja me një kërkesë si "Përmblidhe këtë faqe". Qendra e ndihmës e Anthropic thotë se me kërkimin në web të aktivizuar, Claude mund të hapë lidhjet që i jepni. Nëse kërkimi në web është i çaktivizuar, aktivizojeni nga menyja +; në përvojën më të re të Claude nuk ka çelës dhe Claude kërkon kur kjo ndihmon. Në planet Team dhe Enterprise, një pronar duhet të aktivizojë fillimisht kërkimin në web për organizatën. Nëse Claude nuk e hap dot faqen tuaj ndërsa një shfletues e hap, kthehuni te testi i firewall-it.

Pastaj bëni pyetjet që bëjnë blerësit tuaj, pa përmendur sajtin tuaj, dhe hapni burimet e cituara. Anthropic thotë se Claude mund të përdorë një vendndodhje të nxjerrë nga adresa juaj IP për rezultate të lokalizuara, prandaj përgjigjet mund të ndryshojnë sipas vendit dhe nga një ekzekutim te tjetri.

Zhvilluesit mund ta përsërisin këtë përmes Claude API. Mjeti i kërkimit në web pranon një listë allowed_domains, prandaj një kërkesë e kufizuar te domeni juaj tregon nëse kërkimi i Claude kthen ndonjë nga faqet tuaja për një pyetje:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Rezultatet bosh të kërkimit do të thonë se kërkimi i Claude nuk gjeti asgjë në atë domen për pyetjen. Anthropic i tarifon kërkimet në web përmes API-së përveç token-ave. Mjeti web fetch i API-së raporton gjithashtu pse një faqe nuk u lexua dot: url_not_allowed mbulon bllokime si robots.txt, dhe url_not_accessible do të thotë gabim HTTP. Përgjigjet përmes API-së mund të ndryshojnë nga ato që tregojnë aplikacionet e Claude.

Po nëse Claude e lexon faqen time, por prapë nuk e citon?

Së pari sigurohuni që teksti që i duhet të jetë në HTML-në që dërgon serveri juaj. Dokumentacioni i API-së së Anthropic thotë se mjeti i tij web fetch nuk mbështet sajte që renderohen me JavaScript, dhe Anthropic nuk thotë se zvarritësit e tij ekzekutojnë skripte. Merreni faqen me curl dhe kërkoni në rezultat një fjali nga përmbajtja kryesore. Nëse mungon, renderimi në server ose para-renderimi e zgjidh këtë për Claude dhe për shumicën e zvarritësve të tjerë AI.

Pas kësaj, vendos vetë faqja. Vendoseni përgjigjen e pyetjes kryesore të faqes në fjalitë e para, përdorni tituj që përputhen me pyetjet që bëjnë njerëzit, emërtoni botuesin dhe tregoni datat. Pastaj krahasoni faqen tuaj me atë që Claude citon për të njëjtën pyetje: faqja e cituar shpesh i përgjigjet asaj pyetjeje më drejtpërdrejt.

Si e kontrollon këtë AISeeWhy?

Kontrolli falas i AISeeWhy e kërkon faqen tuaj si Claude-SearchBot, Claude-User, ClaudeBot dhe zvarritësit e tjerë AI dhe të kërkimit krahas një shfletuesi real, zbaton robots.txt tuaj për secilin, i njeh faqet e sfidës dhe tregon sa tekst arrin pa JavaScript. Kontrolli i dukshmërisë në AI, në provë dhe në planet me pagesë, i bën pyetjet tuaja përmes Claude me kërkim në web me çelësin tuaj API dhe tregon nëse marka ose domeni juaj përmendet ose citohet.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A mund ta kontrolloj falas nëse Claude e sheh sajtin tim?

Po. robots.txt juaj, një kërkesë curl, log-u i serverit dhe një pyetje në Claude nuk kushtojnë asgjë. Kontrolli falas i AISeeWhy teston agjentët e Anthropic dhe 13 zvarritës të tjerë për një faqe në ditë pa llogari.

Pse Claude nuk e hap sajtin tim kur ngjit lidhjen?

Shkaqet e zakonshme janë një firewall ose mbrojtje nga botët që u përgjigjet agjentëve të Anthropic me 403 ose një faqe sfide, një rregull në robots.txt që ndalon Claude-User, ose një faqe teksti i së cilës shfaqet vetëm pasi ekzekutohet JavaScript. Testoni URL-në me curl si shfletues dhe me token-at e Claude, dhe kontrolloni log-et për kërkesa të bllokuara.

A publikon Anthropic një varg user agent me të cilin mund të testoj?

Faqja e ndihmës e Anthropic për zvarritësit liston token-at ClaudeBot, Claude-SearchBot dhe Claude-User, por jo vargje të plota user agent. Për ta dalluar trafikun e vërtetë të Anthropic nga imituesit, krahasoni IP-në burimore me listën te claude.com/crawling/bots.json.

Sa kohë i duhet një ndryshimi në robots.txt për të arritur te Claude?

Anthropic nuk jep kohë. RFC 9309 thotë se zvarritësit nuk duhet të përdorin një robots.txt nga cache për më shumë se 24 orë, prandaj prisni të paktën një ditë para se ta gjykoni rezultatin në log-et tuaja ose në përgjigjet e Claude.

A jep Claude API të njëjtat përgjigje si aplikacioni Claude?

Jo domosdoshmërisht. Aplikacioni mund të përdorë vendndodhjen tuaj të përafërt dhe cilësimet e veta, ndërsa një kërkesë API përdor mjetet dhe parametrat që dërgoni. Rezultatet e API-së trajtojini si test të përsëritshëm, jo si kopje të asaj që sheh çdo përdorues.

Si ta di nëse Claude e përmend markën time?

Bëjini Claude, me kërkimin në web të aktivizuar, pyetjet që bëjnë blerësit tuaj dhe shënoni nëse e përmend ose e citon sajtin tuaj dhe cilët konkurrentë shfaqen në vend të tij. Përsëriteni çdo pyetje për disa javë, sepse përgjigjet ndryshojnë. Kontrolli i dukshmërisë në AI i AISeeWhy e bën këtë çdo javë përmes Claude API me çelësin tuaj, krahas deri në katër konkurrentëve.

Burimet

Më shumë artikuj