Генератор на robots.txt за AI краулери

Изберете кои AI краулери смеат да го читаат вашиот сајт и копирајте го генерираниот robots.txt. Чест избор е да се блокираат AI краулерите за обука, како GPTBot и ClaudeBot, а да се дозволат AI краулерите за пребарување, како OAI-SearchBot и PerplexityBot, за вашите страници и понатаму да се појавуваат и да се цитираат во AI одговорите.

Почнете од
AI обука
AI пребарување
Преземање на барање на корисник
Content-Signal (опционално): штиклирајте што дозволувате

Блокирањето на преземањата на барање на корисник има ограничен ефект: некои производители велат дека овие агенти можеби не го следат robots.txt, бидејќи страницата ја побарал човек. Тестирајте го резултатот со проверката на robots.txt пред да го објавите. Тестер и проверка на robots.txt за AI краулери →

Како да го користите

Ставете ја датотеката во коренот на вашиот домен (https://example.com/robots.txt). Ако веќе имате правила за други краулери, задржете ги и додајте ги само AI групите. Промените стапуваат на сила следниот пат кога секој краулер ќе ја прочита датотеката, обично во рок од еден ден.

Изврши ја целосната проверка →

Водич

Како да го користите генераторот на robots.txt

Овој текст е машински преведен од англиски.

Што пишува генераторот

Штиклирајте ги краулерите што смеат да го читаат вашиот сајт и тргнете ја ознаката од оние што сакате да ги блокирате. Генераторот пишува robots.txt со по една група за секој блокиран краулер, User-agent: <token> проследено со Disallow: /, а на крајот група User-agent: * што дозволува сè друго. Додајте адреса на sitemap и тој додава ред Sitemap. Штиклирајте опции за Content-Signal и тој додава ред Content-Signal што наведува како смее да се користи вашата содржина.

Ништо не го напушта вашиот прелистувач: датотеката се гради на страницата додека кликате, а ја копирате од полето за резултат.

Од која претходна поставка да почнете

Пример: блокирај ја обуката, дозволи AI пребарување

Секој блокиран краулер има сопствена група, па неговото Disallow: / важи само за него. Сите други краулери, вклучително OAI-SearchBot и Googlebot, паѓаат во User-agent: * и смеат да читаат сè. Редот Content-Signal ја повторува истата намера за краулерите што го читаат: пребарување и одговори во реално време да, обука не.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

Пред да објавите

Чести грешки

Често поставувани прашања

Дали блокирањето на GPTBot ќе го отстрани мојот сајт од ChatGPT?

Не. GPTBot собира податоци за обука. Пребарувањето на ChatGPT користи OAI-SearchBot, а ChatGPT-User ги отвора страниците што луѓето ги бараат. Оставете ги дозволени ако сакате да бидете цитирани.

Што е Content-Signal?

Ред во robots.txt што наведува како смее да се користи вашата содржина: search, ai-input (одговори во реално време) и ai-train (обука), секое со да или не. Поддршката се разликува кај добавувачите; групите за конкретни краулери остануваат правилото што краулерите го следат.

Дали Google-Extended влијае на Google Search?

Не. Тоа е ознака само за robots.txt што контролира дали Google смее да ги користи вашите страници за своите AI модели; не го менува обиколувањето или рангирањето во Google Search.

Дали мојот избор се испраќа некаде?

Не. Генераторот работи во вашиот прелистувач и ништо не се испраќа до нашиот сервер додека не одлучите да ја тестирате датотеката.

Поврзани алатки и водичи