Генератор на robots.txt за AI ботове

Изберете кои AI ботове могат да четат сайта ви и копирайте генерирания robots.txt. Чест избор е да блокирате ботовете за обучение на AI, като GPTBot и ClaudeBot, но да позволите ботовете за AI търсене, като OAI-SearchBot и PerplexityBot, така че страниците ви да продължат да се появяват и да бъдат цитирани в AI отговорите.

Започнете от
Обучение на AI
AI търсене
Изтегляне по заявка на потребител
Content-Signal (по желание): отметнете какво позволявате

Блокирането на ботовете, които изтеглят по заявка на потребител, има ограничен ефект: някои доставчици посочват, че тези агенти може да не спазват robots.txt, защото човек е поискал страницата. Проверете резултата с инструмента за проверка на robots.txt, преди да го публикувате. robots.txt тестер и проверка за AI ботове →

Как да го използвате

Поставете файла в корена на домейна си (https://example.com/robots.txt). Ако вече имате правила за други ботове, запазете ги и добавете само групите за AI. Промените влизат в сила следващия път, когато всеки бот прочете файла, обикновено в рамките на ден.

Стартирайте пълната проверка →

Ръководство

Как да използвате генератора на robots.txt

Този текст е преведен машинно от английски.

Какво пише генераторът

Отметнете ботовете, които могат да четат сайта ви, и махнете отметката от тези, които искате да блокирате. Генераторът пише robots.txt с по една група за всеки блокиран бот, User-agent: <token>, последвано от Disallow: /, а накрая група User-agent: *, която разрешава всичко останало. Добавете адрес на sitemap и той добавя ред Sitemap. Отметнете опции за Content-Signal и той добавя ред Content-Signal, който посочва как може да се използва съдържанието ви.

Нищо не напуска браузъра ви: файлът се създава на страницата, докато кликвате, и го копирате от полето с резултата.

От коя предварителна настройка да започнете

Пример: блокирай обучението, разреши AI търсенето

Всеки блокиран бот има собствена група, така че неговото Disallow: / важи само за него. Всички останали ботове, включително OAI-SearchBot и Googlebot, попадат в User-agent: * и могат да четат всичко. Редът Content-Signal повтаря същото намерение за ботовете, които го четат: търсене и отговори в реално време да, обучение не.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Преди да публикувате

Чести грешки

Често задавани въпроси

Ще премахне ли блокирането на GPTBot сайта ми от ChatGPT?

Не. GPTBot събира данни за обучение. Търсенето в ChatGPT използва OAI-SearchBot, а ChatGPT-User отваря страници, които хората поискат. Оставете ги разрешени, ако искате да бъдете цитирани.

Какво е Content-Signal?

Ред в robots.txt, който посочва как може да се използва съдържанието ви: search, ai-input (отговори в реално време) и ai-train (обучение), всяко с да или не. Поддръжката е различна при различните доставчици; групите за конкретни ботове остават правилото, което ботовете следват.

Влияе ли Google-Extended на Google Търсене?

Не. Това е токен само за robots.txt, който определя дали Google може да използва страниците ви за своите AI модели; той не променя обхождането или класирането в Google Търсене.

Изпраща ли се изборът ми някъде?

Не. Генераторът работи в браузъра ви и нищо не се изпраща към нашия сървър, докато не решите да тествате файла.

Свързани инструменти и ръководства