robots.txt за AI ботове: какво да разрешите и какво да блокирате
Дайте на всеки AI бот, който ви интересува, собствена група User-agent. Разрешете ботовете за търсене като OAI-SearchBot, Claude-SearchBot и PerplexityBot, ако искате да бъдете цитирани, и решете отделно за токените за обучение като GPTBot, ClaudeBot, Google-Extended и Applebot-Extended. Група с конкретно име заменя групата * за този бот.
robots.txt е обикновен текстов файл, създаден през 1994 г., който през 2022 г. стана официален стандарт – RFC 9309. Повечето AI компании казват, че ботовете им го спазват, а няколко публикуват отделни токени за търсене и за обучение. Това прави robots.txt най-простото място да заявите AI политика, стига правилата да означават това, което мислите.
На тази страница
Какви токени в robots.txt използват AI ботовете?
Това са токените, които компаниите документират. Според RFC 9309 съпоставянето не зависи от главни и малки букви.
- OpenAI:
OAI-SearchBot(търсене в ChatGPT),GPTBot(обучение),ChatGPT-User(посещения по заявка на потребители; OpenAI казва, че robots.txt може да не се прилага). - Anthropic:
Claude-SearchBot(търсене),ClaudeBot(обучение),Claude-User(посещения по заявка на потребители). - Perplexity:
PerplexityBot(търсене),Perplexity-User(посещения по заявка на потребители; Perplexity казва, че по правило пренебрегва robots.txt). - Google:
Googlebot(Search, включително AI функциите му) иGoogle-Extended– токен без собствен бот, който управлява използването за обучение и обосноваване на Gemini. - Apple:
Applebot(търсене в Spotlight, Siri и Safari) иApplebot-Extended, който не обхожда, но управлява използването за обучение на базовите модели на Apple. - Meta:
meta-externalagent(обучение и индексиране на продукти) иmeta-webindexer(търсене в Meta AI). - Common Crawl:
CCBot, който изгражда безплатния публичен архив с уеб данни на Common Crawl.
Как изглежда добър robots.txt за AI?
Този пример пуска AI търсенето и изтеглянията по заявка на потребители, отказва основните токени за обучение и държи една частна зона затворена за всички:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Няколко поредни реда User-agent образуват една група, така че правилата под тях се прилагат за всеки от тези ботове. Ако искате съдържанието ви да се използва за обучение, просто пропуснете втората група. Блокирането на Google-Extended не засяга Google Search: Google казва, че то не влияе на включването в Search и не е сигнал за класиране. По същия начин Apple казва, че страниците, които забраняват Applebot-Extended, пак могат да се появяват в резултатите от търсенето ѝ.
Как ботовете избират кои правила важат за тях?
RFC 9309 определя това точно и детайлите обясняват повечето изненади:
- Ботът търси групата, чийто
User-agentсъвпада с продуктовия му токен, без значение от главни и малки букви. Ако съвпадат няколко групи, правилата им се обединяват в една. - Само ако нито една група не съвпада, ботът следва групата
User-agent: *. Група с конкретно име не наследява нищо от*. - В рамките на групата печели правилото с най-дългия съвпадащ път.
Allow: /blog/печели предDisallow: /за/blog/post. - Ако правило
Allowи правилоDisallowсъвпадат с еднаква дължина, трябва да се използваAllow. *в пътя съвпада с произволни символи, а$фиксира края, така чеDisallow: /*.pdf$обхваща всеки PDF файл.
Кои са най-честите грешки в robots.txt?
- Очакването група с конкретно име да наследява от
*. Група заOAI-SearchBotсамо сAllow: /отваря всеки път, включително забранените под*. - Адрес на robots.txt, който връща HTML страница, често страница 404, върната със статус 200. Ботовете не намират в нея валидни правила.
- robots.txt, който връща сървърна грешка. RFC 9309 казва, че тогава ботът трябва да приеме целия сайт за забранен. 404 е различен случай: означава, че няма ограничения.
- Блокиране на токен за търсене с намерението да се блокира обучението, например забрана на
PerplexityBotилиClaude-SearchBot, за да се избегне обучението на модели. - Разчитане на robots.txt, за да спре изтеглянията по заявка на потребители. И OpenAI, и Perplexity казват, че техните user agent за потребители може да не го спазват.
- Забравени поддомейни. Всеки хост има собствен robots.txt; документацията на Anthropic напомня на собствениците на сайтове да добавят правила за всеки поддомейн.
Мога ли да заявя политика за използване от AI отвъд разрешаване и забрана?
Cloudflare е предложил ред Content-Signal за robots.txt с три сигнала: search (изграждане на индекс за търсене и показване на връзки и кратки откъси), ai-input (използване на съдържанието в реално време за AI отговори) и ai-train (обучение или фина настройка на модели). Управляваният robots.txt на Cloudflare може да го добави вместо вас.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Като всичко в robots.txt, това са предпочитания, а не технически ограничения. Самият Cloudflare отбелязва, че спазването на robots.txt е доброволно. Редът е по избор и не вреди, но не замества групите за отделните ботове по-горе.
Колко време отнемат промените и как да ги проверя?
RFC 9309 казва, че ботовете не трябва да използват кеширан robots.txt повече от 24 часа, а OpenAI и Perplexity казват, че промените може да влязат в сила за около ден. Помнете също, че robots.txt не е контрол на достъпа: защитна стена пак може да блокира бот, който правилата ви разрешават.
AISeeWhy анализира robots.txt ви по RFC 9309 за всеки бот, който тества, отбелязва файлове, които са недостъпни или се връщат като HTML, показва къде правилата ви и сървърът ви се разминават и дава готов diff за промяната.
Корекции за този проблем
- robots.txt позволява GPTBot, но сървърът го блокира
- robots.txt забранява OAI-SearchBot
- robots.txt е HTML страница
- Няма Content-Signal в robots.txt
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Вреди ли блокирането на GPTBot или ClaudeBot на видимостта ми в AI отговорите?
Не пряко. И двете компании използват отделни ботове за търсене – OAI-SearchBot и Claude-SearchBot. Блокирането на бота за обучение е избор на политика.
Спира ли Google-Extended AI Overviews?
Не. Google казва, че AI функциите в Search използват Googlebot и обичайните настройки на Search като nosnippet и noindex. Google-Extended обхваща обучението и обосноваването на Gemini в други продукти на Google и не засяга Search.
Поддържат ли AI ботовете Crawl-delay?
Той не е част от RFC 9309. Anthropic казва, че поддържа Crawl-delay като нестандартно разширение; за другите компании проверете документацията им.
Къде трябва да се намира robots.txt?
В корена на всеки хост, например https://example.com/robots.txt. Файл в подпапка се пренебрегва, а всеки поддомейн се нуждае от собствен файл.
Източници
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Преглед на ботовете на OpenAI
- Google: Общи ботове, включително Google-Extended
- Apple: За Applebot
- Cloudflare: Управляван robots.txt и Content Signals