Изберете кои AI краулери смеат да го читаат вашиот сајт и копирајте го генерираниот robots.txt. Чест избор е да се блокираат AI краулерите за обука, како GPTBot и ClaudeBot, а да се дозволат AI краулерите за пребарување, како OAI-SearchBot и PerplexityBot, за вашите страници и понатаму да се појавуваат и да се цитираат во AI одговорите.
Блокирањето на преземањата на барање на корисник има ограничен ефект: некои производители велат дека овие агенти можеби не го следат robots.txt, бидејќи страницата ја побарал човек. Тестирајте го резултатот со проверката на robots.txt пред да го објавите. Тестер и проверка на robots.txt за AI краулери →
Како да го користите
Ставете ја датотеката во коренот на вашиот домен (https://example.com/robots.txt). Ако веќе имате правила за други краулери, задржете ги и додајте ги само AI групите. Промените стапуваат на сила следниот пат кога секој краулер ќе ја прочита датотеката, обично во рок од еден ден.
Штиклирајте ги краулерите што смеат да го читаат вашиот сајт и тргнете ја ознаката од оние што сакате да ги блокирате. Генераторот пишува robots.txt со по една група за секој блокиран краулер, User-agent: <token> проследено со Disallow: /, а на крајот група User-agent: * што дозволува сè друго. Додајте адреса на sitemap и тој додава ред Sitemap. Штиклирајте опции за Content-Signal и тој додава ред Content-Signal што наведува како смее да се користи вашата содржина.
Ништо не го напушта вашиот прелистувач: датотеката се гради на страницата додека кликате, а ја копирате од полето за резултат.
Од која претходна поставка да почнете
Дозволи ги сите: секој краулер смее да ја чита секоја страница. Соодветно за повеќето сајтови што сакаат да бидат пронајдени и цитирани.
Блокирај ја обуката, дозволи AI пребарување: краулерите за обука како GPTBot, ClaudeBot, CCBot и Google-Extended се блокирани; краулерите за пребарување и корисничките краулери како OAI-SearchBot, Claude-SearchBot, PerplexityBot и ChatGPT-User остануваат дозволени. Вашите страници сè уште можат да се појавуваат и да се цитираат во AI одговори.
Блокирај ги сите AI краулери: секој AI краулер од листата е блокиран. Тие краулери нема да ги преземаат вашите страници за AI одговори, што обично значи помалку цитирања и помалку сообраќај од асистенти.
Пример: блокирај ја обуката, дозволи AI пребарување
Секој блокиран краулер има сопствена група, па неговото Disallow: / важи само за него. Сите други краулери, вклучително OAI-SearchBot и Googlebot, паѓаат во User-agent: * и смеат да читаат сè. Редот Content-Signal ја повторува истата намера за краулерите што го читаат: пребарување и одговори во реално време да, обука не.
Спојте, не заменувајте. Ако вашиот сегашен robots.txt има правила за административни делови, кошнички или страници за пребарување, копирајте ги во групата User-agent: * на новата датотека, инаку ќе ги отворите тие делови за сите краулери.
Ставете ја датотеката во коренот на секој хост: https://example.com/robots.txt. Поддоменот има потреба од сопствена датотека.
Сервирајте ја како обичен текст со статус 200. HTML страница или грешка на таа адреса не функционира како robots.txt.
Залепете го резултатот во тестерот за robots.txt и проверете неколку вистински патеки за краулерите што ве интересираат.
Запомнете дека robots.txt е молба. Ако заштитен ѕид блокира краулер што го дозволувате, датотеката не може да го поправи тоа; целосната проверка го покажува.
Чести грешки
Блокирање на OAI-SearchBot или PerplexityBot за да се запре обуката. Тоа се краулери за пребарување; нивното блокирање ве отстранува од одговорите.
Пишување неколку редови User-agent над едно Disallow: / кога сте сакале да блокирате само еден од нив: последователните редови образуваат една група.
Очекување дека преземачите активирани од корисник, како ChatGPT-User, ќе почитуваат блокирање. Некои добавувачи наведуваат дека овие агенти можеби не го следат robots.txt кога човек ја побарал страницата.
Додавање редови Crawl-delay или Noindex. Тие не се дел од RFC 9309 и Google ги игнорира двата.
Често поставувани прашања
Дали блокирањето на GPTBot ќе го отстрани мојот сајт од ChatGPT?
Не. GPTBot собира податоци за обука. Пребарувањето на ChatGPT користи OAI-SearchBot, а ChatGPT-User ги отвора страниците што луѓето ги бараат. Оставете ги дозволени ако сакате да бидете цитирани.
Што е Content-Signal?
Ред во robots.txt што наведува како смее да се користи вашата содржина: search, ai-input (одговори во реално време) и ai-train (обука), секое со да или не. Поддршката се разликува кај добавувачите; групите за конкретни краулери остануваат правилото што краулерите го следат.
Дали Google-Extended влијае на Google Search?
Не. Тоа е ознака само за robots.txt што контролира дали Google смее да ги користи вашите страници за своите AI модели; не го менува обиколувањето или рангирањето во Google Search.
Дали мојот избор се испраќа некаде?
Не. Генераторот работи во вашиот прелистувач и ништо не се испраќа до нашиот сервер додека не одлучите да ја тестирате датотеката.