robots.txt за AI краулере: шта дозволити, а шта блокирати

Објављено

Кратак одговор

Сваком AI краулеру који вам је важан дајте сопствену групу User-agent. Дозволите краулере за претрагу као што су OAI-SearchBot, Claude-SearchBot и PerplexityBot ако желите да будете цитирани, а засебно одлучите о токенима за обуку као што су GPTBot, ClaudeBot, Google-Extended и Applebot-Extended. Именована група за тај краулер замењује групу *.

robots.txt је обичан текстуални фајл који потиче из 1994. и 2022. постао је формални стандард, RFC 9309. Већина AI компанија каже да га њихови краулери поштују, а неколико њих објављује засебне токене за претрагу и за обуку. Зато је robots.txt најједноставније место да изразите своју AI политику, под условом да правила значе оно што мислите да значе.

На овој страници
  1. Које robots.txt токене користе AI краулери?
  2. Како изгледа добар robots.txt за AI?
  3. Како краулери бирају која правила се на њих примењују?
  4. Које су најчешће грешке у robots.txt?
  5. Могу ли да изразим политику употребе за AI изван дозволе и забране?
  6. Колико трају промене и како да их проверим?

Које robots.txt токене користе AI краулери?

Ово су токени које компаније документују. Према RFC 9309, поклапање не разликује велика и мала слова.

Како изгледа добар robots.txt за AI?

Овај пример пушта AI претрагу и преузимања на захтев корисника, искључује главне токене за обуку и држи један приватни део затвореним за све:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Више узастопних редова User-agent чини једну групу, па се правила испод њих примењују на сваки од тих краулера. Ако желите да се ваш садржај користи за обуку, једноставно изоставите другу групу. Блокирање Google-Extended не утиче на Google претрагу: Google каже да не утиче на укључивање у претрагу и да није сигнал за рангирање. Слично томе, Apple каже да странице које забрањују Applebot-Extended и даље могу да се појаве у његовим резултатима претраге.

Како краулери бирају која правила се на њих примењују?

RFC 9309 ово прецизно дефинише, а детаљи објашњавају већину изненађења:

Које су најчешће грешке у robots.txt?

Могу ли да изразим политику употребе за AI изван дозволе и забране?

Cloudflare је предложио ред Content-Signal за robots.txt са три сигнала: search (изградња индекса претраге и приказивање линкова и кратких одломака), ai-input (употреба садржаја у реалном времену за AI одговоре) и ai-train (обука или фино подешавање модела). Cloudflare-ов управљани robots.txt може да га дода уместо вас.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Као и све у robots.txt, ово су жеље, а не техничке контроле. Сам Cloudflare напомиње да је поштовање robots.txt добровољно. Ред је необавезан и не шкоди, али не замењује групе по краулеру описане изнад.

Колико трају промене и како да их проверим?

RFC 9309 каже да краулери не би требало да користе кеширан robots.txt дуже од 24 сата, а и OpenAI и Perplexity кажу да промене могу да се примене за око један дан. Имајте на уму и да robots.txt није контрола приступа: заштитни зид и даље може да блокира краулер који ваша правила дозвољавају.

AISeeWhy анализира ваш robots.txt према RFC 9309 за сваки краулер који тестира, означава фајлове који су недоступни или се послужују као HTML, показује где се ваша правила и ваш сервер не слажу и даје готов diff за промену.

Исправке за овај проблем

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли блокирање GPTBot-а или ClaudeBot-а смањује моју видљивост у AI одговорима?

Не директно. Обе компаније за претрагу користе засебне краулере, OAI-SearchBot и Claude-SearchBot. Блокирање краулера за обуку је избор политике.

Да ли Google-Extended зауставља AI Overviews?

Не. Google каже да AI функције у претрази користе Googlebot и уобичајене контроле претраге као што су nosnippet и noindex. Google-Extended покрива обуку и утемељивање Gemini-ја у другим Google производима и не утиче на претрагу.

Да ли AI краулери подржавају Crawl-delay?

Није део RFC 9309. Anthropic каже да подржава Crawl-delay као нестандардно проширење; за друге компаније проверите њихову документацију.

Где мора да се налази robots.txt?

У корену сваког хоста, на пример https://example.com/robots.txt. Фајл у подфасцикли се занемарује, а сваки поддомен мора да има сопствени.

Извори

Још чланака