ClaudeBot
ClaudeBot Anthropic-in generativ AI modellərinin təlimində istifadə oluna bilən veb məzmun üçün botudur. robots.txt-də onu qadağan etmək saytınızın gələcək məzmununun təlimdən kənarda saxlanmalı olduğunu bildirir. Təkcə onu bloklamaq axtarış və canlı cavablara xidmət edən Claude-SearchBot və ya Claude-User-i dayandırmır.
Ona necə icazə vermək olar
User-agent: ClaudeBot
Allow: / Onu necə bloklamaq olar
User-agent: ClaudeBot
Disallow: / Nə edir
Anthropic bildirir ki, ClaudeBot modellərinin faydalılığını və təhlükəsizliyini artırmağa kömək etmək üçün onların təliminə töhfə verə biləcək veb məzmunu toplayır. ClaudeBot-u qadağan etmək saytınızın gələcək materiallarının təlim məlumat dəstlərindən kənarda saxlanmalı olduğunu bildirir.
Anthropic qeyri-standart Crawl-delay direktivini də dəstəkləyir, buna görə ClaudeBot-u bloklamaq əvəzinə onu yavaşlada bilərsiniz. robots.txt-də ClaudeBot-u adlandıran qaydalar Anthropic-in ümumi AI təlimi qadağası siqnalından üstündür. robots.txt qaydaları hər host üçün ayrıca tətbiq olunur, buna görə onları əhatə etmək istədiyiniz hər subdomenə əlavə edin.
2026-11 tədqiqatımızda robots.txt-i olan populyar saytların 21.2% hissəsi onu bloklayırdı. →
robots.txt tokeni
ClaudeBot
Real ziyarətləri necə yoxlamaq olar
Anthropic botlarının IP ünvanlarını claude.com/crawling/bots.json ünvanında dərc edir və bildirir ki, IP-si bu siyahıda olan bot Anthropic-dəndir. User agent-ə etibar etmək əvəzinə mənbə IP-ni siyahı ilə tutuşdurun. Anthropic imtina etmək üçün IP bloklamasından istifadəni tövsiyə etmir, çünki bu, botun robots.txt-i oxumasının da qarşısını alır.
Saytınızın onu buraxıb-buraxmadığını yoxlayın →
Anthropic botları: ClaudeBot, Claude-SearchBot və Claude-User →