robots.txt за AI краулере: шта дозволити, а шта блокирати
Сваком AI краулеру који вам је важан дајте сопствену групу User-agent. Дозволите краулере за претрагу као што су OAI-SearchBot, Claude-SearchBot и PerplexityBot ако желите да будете цитирани, а засебно одлучите о токенима за обуку као што су GPTBot, ClaudeBot, Google-Extended и Applebot-Extended. Именована група за тај краулер замењује групу *.
robots.txt је обичан текстуални фајл који потиче из 1994. и 2022. постао је формални стандард, RFC 9309. Већина AI компанија каже да га њихови краулери поштују, а неколико њих објављује засебне токене за претрагу и за обуку. Зато је robots.txt најједноставније место да изразите своју AI политику, под условом да правила значе оно што мислите да значе.
На овој страници
Које robots.txt токене користе AI краулери?
Ово су токени које компаније документују. Према RFC 9309, поклапање не разликује велика и мала слова.
- OpenAI:
OAI-SearchBot(ChatGPT претрага),GPTBot(обука),ChatGPT-User(посете на захтев корисника; OpenAI каже да се robots.txt можда не примењује). - Anthropic:
Claude-SearchBot(претрага),ClaudeBot(обука),Claude-User(посете на захтев корисника). - Perplexity:
PerplexityBot(претрага),Perplexity-User(посете на захтев корисника; Perplexity каже да углавном занемарује robots.txt). - Google:
Googlebot(претрага, укључујући њене AI функције) иGoogle-Extended, токен без сопственог краулера који контролише употребу у обуци и утемељивању Gemini-ја. - Apple:
Applebot(Spotlight, Siri, претрага у Safari-ју) иApplebot-Extended, који не обилази сајтове, али контролише употребу за обуку Apple-ових основних модела. - Meta:
meta-externalagent(обука и индексирање производа) иmeta-webindexer(Meta AI претрага). - Common Crawl:
CCBot, који гради бесплатну јавну архиву веб података Common Crawl-а.
Како изгледа добар robots.txt за AI?
Овај пример пушта AI претрагу и преузимања на захтев корисника, искључује главне токене за обуку и држи један приватни део затвореним за све:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Више узастопних редова User-agent чини једну групу, па се правила испод њих примењују на сваки од тих краулера. Ако желите да се ваш садржај користи за обуку, једноставно изоставите другу групу. Блокирање Google-Extended не утиче на Google претрагу: Google каже да не утиче на укључивање у претрагу и да није сигнал за рангирање. Слично томе, Apple каже да странице које забрањују Applebot-Extended и даље могу да се појаве у његовим резултатима претраге.
Како краулери бирају која правила се на њих примењују?
RFC 9309 ово прецизно дефинише, а детаљи објашњавају већину изненађења:
- Краулер тражи групу чији се
User-agentпоклапа са његовим токеном производа, без обзира на велика и мала слова. Ако се поклапа више група, њихова правила се спајају у једно. - Краулер прати групу
User-agent: *само ако се ниједна група не поклапа. Именована група не наслеђује ништа од*. - Унутар групе побеђује правило са најдужом путањом која се поклапа.
Allow: /blog/надјачаваDisallow: /за/blog/post. - Ако се правило
Allowи правилоDisallowпоклапају са истом дужином, треба применитиAllow. *у путањи одговара било којим знаковима, а$означава крај, паDisallow: /*.pdf$обухвата сваки PDF.
Које су најчешће грешке у robots.txt?
- Очекивање да именована група наслеђује од
*. Група заOAI-SearchBotкоја има самоAllow: /отвара сваку путању, укључујући и оне које сте забранили под*. - Адреса robots.txt која враћа HTML страницу, често 404 страницу послужену са статусом 200. Краулери у њој не налазе ниједно важеће правило.
- robots.txt који враћа грешку сервера. RFC 9309 каже да краулер тада мора да претпостави да је цео сајт забрањен. 404 је нешто друго: значи да ограничења нема.
- Блокирање токена за претрагу са намером да се блокира обука, на пример забрана
PerplexityBot-а илиClaude-SearchBot-а да би се избегла обука модела. - Ослањање на robots.txt за заустављање преузимања на захтев корисника. И OpenAI и Perplexity кажу да их њихови кориснички агенти можда не поштују.
- Заборављени поддомени. Сваки хост има сопствени robots.txt; Anthropic-ова документација подсећа власнике сајтова да додају правила за сваки поддомен.
Могу ли да изразим политику употребе за AI изван дозволе и забране?
Cloudflare је предложио ред Content-Signal за robots.txt са три сигнала: search (изградња индекса претраге и приказивање линкова и кратких одломака), ai-input (употреба садржаја у реалном времену за AI одговоре) и ai-train (обука или фино подешавање модела). Cloudflare-ов управљани robots.txt може да га дода уместо вас.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Као и све у robots.txt, ово су жеље, а не техничке контроле. Сам Cloudflare напомиње да је поштовање robots.txt добровољно. Ред је необавезан и не шкоди, али не замењује групе по краулеру описане изнад.
Колико трају промене и како да их проверим?
RFC 9309 каже да краулери не би требало да користе кеширан robots.txt дуже од 24 сата, а и OpenAI и Perplexity кажу да промене могу да се примене за око један дан. Имајте на уму и да robots.txt није контрола приступа: заштитни зид и даље може да блокира краулер који ваша правила дозвољавају.
AISeeWhy анализира ваш robots.txt према RFC 9309 за сваки краулер који тестира, означава фајлове који су недоступни или се послужују као HTML, показује где се ваша правила и ваш сервер не слажу и даје готов diff за промену.
Исправке за овај проблем
- robots.txt дозвољава GPTBot, али га сервер блокира
- robots.txt забрањује OAI-SearchBot
- robots.txt је HTML страница
- Нема Content-Signal у robots.txt
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли блокирање GPTBot-а или ClaudeBot-а смањује моју видљивост у AI одговорима?
Не директно. Обе компаније за претрагу користе засебне краулере, OAI-SearchBot и Claude-SearchBot. Блокирање краулера за обуку је избор политике.
Да ли Google-Extended зауставља AI Overviews?
Не. Google каже да AI функције у претрази користе Googlebot и уобичајене контроле претраге као што су nosnippet и noindex. Google-Extended покрива обуку и утемељивање Gemini-ја у другим Google производима и не утиче на претрагу.
Да ли AI краулери подржавају Crawl-delay?
Није део RFC 9309. Anthropic каже да подржава Crawl-delay као нестандардно проширење; за друге компаније проверите њихову документацију.
Где мора да се налази robots.txt?
У корену сваког хоста, на пример https://example.com/robots.txt. Фајл у подфасцикли се занемарује, а сваки поддомен мора да има сопствени.
Извори
- RFC 9309: Robots Exclusion Protocol
- OpenAI: преглед OpenAI краулера
- Google: уобичајени краулери, укључујући Google-Extended
- Apple: о Applebot-у
- Cloudflare: управљани robots.txt и Content Signals