robots.txt за AI краулери: што да дозволите, што да блокирате

Објавено

Краток одговор

Дајте му на секој AI краулер што ви е важен своја група User-agent. Дозволете ги краулерите за пребарување, како OAI-SearchBot, Claude-SearchBot и PerplexityBot, ако сакате да бидете цитирани, а одлучете одделно за ознаките за обука, како GPTBot, ClaudeBot, Google-Extended и Applebot-Extended. Именуваната група ја заменува групата * за тој краулер.

robots.txt е обична текстуална датотека што датира од 1994 година, а во 2022 стана формален стандард, RFC 9309. Повеќето AI производители наведуваат дека нивните краулери го почитуваат, а неколку објавуваат посебни ознаки за пребарување и за обука. Тоа го прави robots.txt наједноставното место за наведување AI политика, под услов правилата да значат она што мислите дека значат.

На оваа страница
  1. Кои ознаки во robots.txt ги користат AI краулерите?
  2. Како изгледа добар robots.txt за AI?
  3. Како краулерите избираат кои правила важат за нив?
  4. Кои се најчестите грешки во robots.txt?
  5. Може ли да наведам AI политика за употреба надвор од дозволување и забрана?
  6. Колку време им треба на промените и како да ги проверам?

Кои ознаки во robots.txt ги користат AI краулерите?

Ова се ознаките што ги документираат производителите. Според RFC 9309, совпаѓањето не зависи од големи и мали букви.

Како изгледа добар robots.txt за AI?

Овој пример ги пушта AI пребарувањето и преземањата на корисниците, се откажува од главните ознаки за обука и држи еден приватен дел затворен за сите:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Неколку редови User-agent по ред формираат една група, па правилата под нив важат за секој од тие краулери. Ако сакате вашата содржина да се користи за обука, едноставно изоставете ја втората група. Блокирањето на Google-Extended не влијае на Google Search: Google наведува дека не влијае на вклучувањето во пребарувањето и не е сигнал за рангирање. Слично, Apple наведува дека страниците што го забрануваат Applebot-Extended сепак можат да се појават во неговите резултати од пребарување.

Како краулерите избираат кои правила важат за нив?

RFC 9309 го дефинира ова прецизно, а деталите ги објаснуваат повеќето изненадувања:

Кои се најчестите грешки во robots.txt?

Може ли да наведам AI политика за употреба надвор од дозволување и забрана?

Cloudflare предложи ред Content-Signal за robots.txt со три сигнали: search (изградба на индекс за пребарување и прикажување врски и кратки извадоци), ai-input (употреба на содржината во реално време за AI одговори) и ai-train (обука или дотерување на модели). Управуваниот robots.txt на Cloudflare може да го додаде наместо вас.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Како и сè во robots.txt, ова се желби, а не технички контроли. Самиот Cloudflare забележува дека почитувањето на robots.txt е доброволно. Редот е изборен и не штети, но не ги заменува групите по краулер погоре.

Колку време им треба на промените и како да ги проверам?

RFC 9309 вели дека краулерите не треба да користат кеширан robots.txt подолго од 24 часа, а OpenAI и Perplexity наведуваат дека на промените може да им треба околу еден ден да се применат. Запомнете и дека robots.txt не е контрола на пристап: заштитен ѕид сепак може да блокира краулер што вашите правила го дозволуваат.

AISeeWhy го анализира вашиот robots.txt според RFC 9309 за секој краулер што го тестира, ги означува датотеките што се недостапни или сервирани како HTML, покажува каде вашите правила и вашиот сервер не се согласуваат и дава готов diff за промената.

Поправки за овој проблем

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали блокирањето на GPTBot или ClaudeBot ѝ штети на мојата видливост во AI одговорите?

Не директно. Двата производители користат посебни краулери за пребарување, OAI-SearchBot и Claude-SearchBot. Блокирањето на краулерот за обука е избор на политика.

Дали Google-Extended ги запира AI Overviews?

Не. Google наведува дека AI функциите во пребарувањето користат Googlebot и вообичаените контроли за пребарувањето, како nosnippet и noindex. Google-Extended ги опфаќа обуката и поткрепувањето на Gemini во други производи на Google и не влијае на пребарувањето.

Дали AI краулерите поддржуваат Crawl-delay?

Тој не е дел од RFC 9309. Anthropic наведува дека поддржува Crawl-delay како нестандардно проширување; за другите производители проверете ја нивната документација.

Каде мора да се наоѓа robots.txt?

Во коренот на секој хост, на пример https://example.com/robots.txt. Датотека во подпапка се игнорира, а секој поддомен има потреба од свој.

Извори

Уште статии