robots.txt за AI ботове: какво да разрешите и какво да блокирате

Публикувано

Кратък отговор

Дайте на всеки AI бот, който ви интересува, собствена група User-agent. Разрешете ботовете за търсене като OAI-SearchBot, Claude-SearchBot и PerplexityBot, ако искате да бъдете цитирани, и решете отделно за токените за обучение като GPTBot, ClaudeBot, Google-Extended и Applebot-Extended. Група с конкретно име заменя групата * за този бот.

robots.txt е обикновен текстов файл, създаден през 1994 г., който през 2022 г. стана официален стандарт – RFC 9309. Повечето AI компании казват, че ботовете им го спазват, а няколко публикуват отделни токени за търсене и за обучение. Това прави robots.txt най-простото място да заявите AI политика, стига правилата да означават това, което мислите.

На тази страница
  1. Какви токени в robots.txt използват AI ботовете?
  2. Как изглежда добър robots.txt за AI?
  3. Как ботовете избират кои правила важат за тях?
  4. Кои са най-честите грешки в robots.txt?
  5. Мога ли да заявя политика за използване от AI отвъд разрешаване и забрана?
  6. Колко време отнемат промените и как да ги проверя?

Какви токени в robots.txt използват AI ботовете?

Това са токените, които компаниите документират. Според RFC 9309 съпоставянето не зависи от главни и малки букви.

Как изглежда добър robots.txt за AI?

Този пример пуска AI търсенето и изтеглянията по заявка на потребители, отказва основните токени за обучение и държи една частна зона затворена за всички:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Няколко поредни реда User-agent образуват една група, така че правилата под тях се прилагат за всеки от тези ботове. Ако искате съдържанието ви да се използва за обучение, просто пропуснете втората група. Блокирането на Google-Extended не засяга Google Search: Google казва, че то не влияе на включването в Search и не е сигнал за класиране. По същия начин Apple казва, че страниците, които забраняват Applebot-Extended, пак могат да се появяват в резултатите от търсенето ѝ.

Как ботовете избират кои правила важат за тях?

RFC 9309 определя това точно и детайлите обясняват повечето изненади:

Кои са най-честите грешки в robots.txt?

Мога ли да заявя политика за използване от AI отвъд разрешаване и забрана?

Cloudflare е предложил ред Content-Signal за robots.txt с три сигнала: search (изграждане на индекс за търсене и показване на връзки и кратки откъси), ai-input (използване на съдържанието в реално време за AI отговори) и ai-train (обучение или фина настройка на модели). Управляваният robots.txt на Cloudflare може да го добави вместо вас.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Като всичко в robots.txt, това са предпочитания, а не технически ограничения. Самият Cloudflare отбелязва, че спазването на robots.txt е доброволно. Редът е по избор и не вреди, но не замества групите за отделните ботове по-горе.

Колко време отнемат промените и как да ги проверя?

RFC 9309 казва, че ботовете не трябва да използват кеширан robots.txt повече от 24 часа, а OpenAI и Perplexity казват, че промените може да влязат в сила за около ден. Помнете също, че robots.txt не е контрол на достъпа: защитна стена пак може да блокира бот, който правилата ви разрешават.

AISeeWhy анализира robots.txt ви по RFC 9309 за всеки бот, който тества, отбелязва файлове, които са недостъпни или се връщат като HTML, показва къде правилата ви и сървърът ви се разминават и дава готов diff за промяната.

Корекции за този проблем

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Вреди ли блокирането на GPTBot или ClaudeBot на видимостта ми в AI отговорите?

Не пряко. И двете компании използват отделни ботове за търсене – OAI-SearchBot и Claude-SearchBot. Блокирането на бота за обучение е избор на политика.

Спира ли Google-Extended AI Overviews?

Не. Google казва, че AI функциите в Search използват Googlebot и обичайните настройки на Search като nosnippet и noindex. Google-Extended обхваща обучението и обосноваването на Gemini в други продукти на Google и не засяга Search.

Поддържат ли AI ботовете Crawl-delay?

Той не е част от RFC 9309. Anthropic казва, че поддържа Crawl-delay като нестандартно разширение; за другите компании проверете документацията им.

Къде трябва да се намира robots.txt?

В корена на всеки хост, например https://example.com/robots.txt. Файл в подпапка се пренебрегва, а всеки поддомейн се нуждае от собствен файл.

Източници

Още статии