AISeeWhy
UK
Почати пробний період

robots.txt для AI-краулерів: що дозволити, що закрити

Опубліковано

Коротка відповідь

Дайте кожному важливому AI-краулеру власну групу User-agent. Дозвольте пошукові краулери на кшталт OAI-SearchBot, Claude-SearchBot і PerplexityBot, якщо хочете, щоб вас цитували, а токени навчання, такі як GPTBot, ClaudeBot, Google-Extended і Applebot-Extended, вирішуйте окремо. Іменована група замінює для цього краулера групу *.

robots.txt — простий текстовий файл, що з’явився ще 1994 року, а 2022-го став формальним стандартом RFC 9309. Більшість AI-вендорів заявляють, що їхні краулери його дотримуються, а деякі публікують окремі токени для пошуку й для навчання. Тому robots.txt — найпростіше місце, щоб зафіксувати політику щодо AI, за умови що правила означають саме те, що ви думаєте.

На цій сторінці
  1. Які токени robots.txt використовують AI-краулери
  2. Як виглядає хороший robots.txt для AI
  3. Як краулери вибирають, які правила до них належать
  4. Найпоширеніші помилки в robots.txt
  5. Чи можна задати політику використання AI не лише через allow і disallow
  6. Скільки часу займають зміни та як їх перевірити

Які токени robots.txt використовують AI-краулери

Це токени, які описують самі вендори. За RFC 9309 регістр під час зіставлення не враховується.

Як виглядає хороший robots.txt для AI

Цей приклад пускає AI-пошук і завантаження на запит користувача, вимикає основні токени навчання і тримає одну закриту ділянку недоступною для всіх:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Кілька рядків User-agent поспіль утворюють одну групу, тож правила під ними діють на кожного з цих краулерів. Якщо ви хочете, щоб ваш контент використовувався для навчання, просто не додавайте другу групу. Блокування Google-Extended не впливає на Google Пошук: Google повідомляє, що воно не впливає на включення в Пошук і не є чинником ранжування. Так само Apple повідомляє, що сторінки, закриті для Applebot-Extended, усе одно можуть з’являтися в її результатах пошуку.

Як краулери вибирають, які правила до них належать

RFC 9309 описує це точно, і деталі пояснюють більшість несподіванок:

Найпоширеніші помилки в robots.txt

Чи можна задати політику використання AI не лише через allow і disallow

Cloudflare запропонував для robots.txt рядок Content-Signal із трьома сигналами: search (побудова пошукового індексу та показ посилань і коротких фрагментів), ai-input (використання контенту в реальному часі для AI-відповідей) і ai-train (навчання або донавчання моделей). Кероване robots.txt від Cloudflare може додати його за вас.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Як і все в robots.txt, це побажання, а не технічний контроль. Сам Cloudflare зауважує, що дотримання robots.txt добровільне. Рядок необов’язковий і шкоди не завдає, але не замінює описані вище групи для кожного краулера.

Скільки часу займають зміни та як їх перевірити

RFC 9309 каже, що краулери не повинні використовувати кешований robots.txt довше ніж 24 години, а OpenAI і Perplexity повідомляють, що зміни можуть застосовуватися близько доби. Пам’ятайте й те, що robots.txt не контроль доступу: файрвол усе одно може заблокувати краулера, якого дозволяють ваші правила.

AISeeWhy розбирає ваш robots.txt за RFC 9309 для кожного краулера, якого перевіряє, позначає недоступні файли та файли, що віддаються як HTML, показує, де ваші правила розходяться з поведінкою сервера, і дає готовий diff для зміни.

Поширені запитання

Чи шкодить блокування GPTBot або ClaudeBot моїй видимості в AI-відповідях?

Напряму ні. Обидва вендори використовують для пошуку окремі краулери, OAI-SearchBot і Claude-SearchBot. Блокування краулера навчання — питання вашої політики.

Чи зупиняє Google-Extended AI Overviews?

Ні. Google повідомляє, що AI-функції в Пошуку використовують Googlebot і звичайні засоби керування Пошуком, як-от nosnippet і noindex. Google-Extended стосується навчання та grounding Gemini в інших продуктах Google і на Пошук не впливає.

Чи підтримують AI-краулери Crawl-delay?

У RFC 9309 його немає. Anthropic повідомляє, що підтримує Crawl-delay як нестандартне розширення; в інших вендорів дивіться документацію.

Де має лежати robots.txt?

У корені кожного хоста, наприклад https://example.com/robots.txt. Файл у підпапці ігнорується, а в кожного піддомену має бути свій.

Джерела

Інші статті