Генератор на robots.txt за AI ботове
Изберете кои AI ботове могат да четат сайта ви и копирайте генерирания robots.txt. Чест избор е да блокирате ботовете за обучение на AI, като GPTBot и ClaudeBot, но да позволите ботовете за AI търсене, като OAI-SearchBot и PerplexityBot, така че страниците ви да продължат да се появяват и да бъдат цитирани в AI отговорите.
Блокирането на ботовете, които изтеглят по заявка на потребител, има ограничен ефект: някои доставчици посочват, че тези агенти може да не спазват robots.txt, защото човек е поискал страницата. Проверете резултата с инструмента за проверка на robots.txt, преди да го публикувате. robots.txt тестер и проверка за AI ботове →
Как да го използвате
Поставете файла в корена на домейна си (https://example.com/robots.txt). Ако вече имате правила за други ботове, запазете ги и добавете само групите за AI. Промените влизат в сила следващия път, когато всеки бот прочете файла, обикновено в рамките на ден.
Стартирайте пълната проверка →
Ръководство
Как да използвате генератора на robots.txt
Този текст е преведен машинно от английски.
Какво пише генераторът
Отметнете ботовете, които могат да четат сайта ви, и махнете отметката от тези, които искате да блокирате. Генераторът пише robots.txt с по една група за всеки блокиран бот, User-agent: <token>, последвано от Disallow: /, а накрая група User-agent: *, която разрешава всичко останало. Добавете адрес на sitemap и той добавя ред Sitemap. Отметнете опции за Content-Signal и той добавя ред Content-Signal, който посочва как може да се използва съдържанието ви.
Нищо не напуска браузъра ви: файлът се създава на страницата, докато кликвате, и го копирате от полето с резултата.
От коя предварителна настройка да започнете
- Разреши всички: всеки бот може да чете всяка страница. Подходящо за повечето сайтове, които искат да бъдат намирани и цитирани.
- Блокирай обучението, разреши AI търсенето: ботове за обучение като
GPTBot, ClaudeBot, CCBot и Google-Extended са блокирани; ботове за търсене и потребителски ботове като OAI-SearchBot, Claude-SearchBot, PerplexityBot и ChatGPT-User остават разрешени. Страниците ви все още могат да се показват и цитират в AI отговори. - Блокирай всички AI ботове: всеки AI бот от списъка е блокиран. Страниците ви няма да се изтеглят за AI отговори от тези ботове, което обикновено означава по-малко цитирания и по-малко трафик от асистенти.
Пример: блокирай обучението, разреши AI търсенето
Всеки блокиран бот има собствена група, така че неговото Disallow: / важи само за него. Всички останали ботове, включително OAI-SearchBot и Googlebot, попадат в User-agent: * и могат да четат всичко. Редът Content-Signal повтаря същото намерение за ботовете, които го четат: търсене и отговори в реално време да, обучение не.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Sitemap: https://example.com/sitemap.xml
Преди да публикувате
- Обединете, не заменяйте. Ако сегашният ви robots.txt има правила за административни зони, колички или страници с търсене, копирайте ги в групата
User-agent: * на новия файл, иначе ще отворите тези зони за всички ботове. - Поставете файла в корена на всеки хост:
https://example.com/robots.txt. Поддомейнът се нуждае от собствен файл. - Сервирайте го като обикновен текст със статус 200. HTML страница или грешка на този адрес не работи като robots.txt.
- Поставете резултата в robots.txt тестера и проверете няколко реални пътя за ботовете, които ви интересуват.
- Помнете, че robots.txt е молба. Ако защитна стена блокира бот, който разрешавате, файлът не може да поправи това; пълната проверка го показва.
Чести грешки
- Блокиране на
OAI-SearchBot или PerplexityBot, за да се спре обучението. Това са ботове за търсене; блокирането им ви премахва от отговорите. - Няколко реда
User-agent над едно Disallow: /, когато сте искали да блокирате само един от тях: последователните редове образуват една група. - Очакване, че инструменти за изтегляне по заявка на потребител като
ChatGPT-User ще спазват блокиране. Някои доставчици казват, че тези агенти може да не следват robots.txt, когато човек е поискал страницата. - Добавяне на редове
Crawl-delay или Noindex. Те не са част от RFC 9309 и Google пренебрегва и двата.
Често задавани въпроси
Ще премахне ли блокирането на GPTBot сайта ми от ChatGPT?
Не. GPTBot събира данни за обучение. Търсенето в ChatGPT използва OAI-SearchBot, а ChatGPT-User отваря страници, които хората поискат. Оставете ги разрешени, ако искате да бъдете цитирани.
Какво е Content-Signal?
Ред в robots.txt, който посочва как може да се използва съдържанието ви: search, ai-input (отговори в реално време) и ai-train (обучение), всяко с да или не. Поддръжката е различна при различните доставчици; групите за конкретни ботове остават правилото, което ботовете следват.
Влияе ли Google-Extended на Google Търсене?
Не. Това е токен само за robots.txt, който определя дали Google може да използва страниците ви за своите AI модели; той не променя обхождането или класирането в Google Търсене.
Изпраща ли се изборът ми някъде?
Не. Генераторът работи в браузъра ви и нищо не се изпраща към нашия сървър, докато не решите да тествате файла.
Свързани инструменти и ръководства