Тестер и проверка на robots.txt за AI краулери

Внесете адреса на страница: го читаме robots.txt на сајтот и за секој AI краулер и краулер на пребарувач покажуваме дали смее да ја преземе таа страница. Или залепете robots.txt за да го тестирате пред да го објавите.

robots.txt е само барање. Заштитен ѕид или заштита од ботови сепак може да блокира краулер што robots.txt го дозволува; целосната проверка го тестира тоа. Изврши ја целосната проверка →

Истата проверка за отворената страница, со еден клик: Проверка на AI краулери ↗

Како AI краулерите го читаат robots.txt

Секој краулер ја следи групата што ја именува неговата ознака (на пример GPTBot или PerplexityBot); само ако таква нема, го следи User-agent: *. Во рамки на групата победува најдолгото правило што се совпаѓа, а при нерешено победува Allow. Блокирањето на краулерите за обука, како GPTBot, ClaudeBot или Google-Extended, ја држи вашата содржина надвор од обуката на моделите; блокирањето на краулерите за пребарување и за корисници, како OAI-SearchBot, ChatGPT-User или PerplexityBot, ги држи вашите страници надвор од AI одговорите.

Водич

Како да го користите тестерот за robots.txt

Овој текст е машински преведен од англиски.

Што проверува овој тестер за robots.txt

Внесете ја адресата на страница. Тестерот ги зема шемата и хостот од таа адреса, го чита /robots.txt од коренот на хостот и ги оценува неговите правила за патеката на вашата страница. Одговара на едно прашање за секој од 16 краулери: смее ли овој краулер да ја преземе оваа страница?

Краулерите се групирани според тоа што прават. Краулерите за обука собираат страници за AI модели: GPTBot, ClaudeBot, CCBot, Bytespider и Meta-ExternalAgent, како и ознаките Google-Extended и Applebot-Extended, кои постојат само во robots.txt: никогаш не посетуваат сами, туку им кажуваат на Google и Apple дали смеат да ги користат страниците што веќе ги презеле. Краулерите за пребарување ги градат индексите што ги цитираат AI одговорите и резултатите од пребарувањето: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot и Applebot. Корисничките агенти преземаат страница кога некој ќе побара од асистент да ја отвори: ChatGPT-User, Claude-User и Perplexity-User.

Можете и да залепите robots.txt наместо адреса. Тогаш ништо не се презема: тестерот го оценува текстот што сте го залепиле, за да можете да испробате промена пред да ја објавите. Залепениот текст се користи за одговорот и не се зачувува.

Како да ги читате резултатите

Табелата има по еден ред за секој краулер. Колоната за вашата патека покажува Дозволено или Блокирано. Последната колона покажува кој дел од датотеката одлучил:

Под табелата ги гледате редовите Sitemap што ги наведува датотеката и нејзиниот ред Content-Signal, ако го има. Ако адресата вратила веб-страница наместо текстуална датотека, или воопшто нема датотека, тестерот го кажува тоа: краулерите HTML страница на /robots.txt ја третираат како датотека што не постои.

Ред со Дозволено значи само дека robots.txt не го запира тој краулер. Не значи дека краулерот ќе ја посети страницата и не кажува ништо за вашиот заштитен ѕид.

Како краулерот ги избира своите правила

RFC 9309, стандардот за robots.txt, поставува три правила што објаснуваат речиси секој изненадувачки резултат. Краулерот прво бара групи чиј User-agent се совпаѓа со неговата ознака, без разлика на големи и мали букви. Ако најде, ги следи само тие групи и целосно го игнорира User-agent: *. Во избраната група победува правилото со најдолгата патека што се совпаѓа, а ако Allow и Disallow се совпаѓаат со иста должина, победува Allow.

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

Со оваа датотека GPTBot е блокиран за секоја страница, бидејќи има сопствена група. Секој друг краулер смее да го преземе /private/press/kit.pdf, бидејќи Allow: /private/press/ е подолго од Disallow: /private/, а е блокиран за /private/notes/. Тестирајте ги двете патеки во тестерот и ќе видите како одлуката преминува од едната група во другата.

Чести грешки, со примери

Краулери за обука, пребарување и корисници: што прави блокирањето на секој

Блокирањето на краулер за обука е прашање на политика. Ги држи вашите страници надвор од идната обука на модели и не влијае на тоа дали AI пребарувањето може да ве цитира денес. Блокирањето на краулер за пребарување како OAI-SearchBot, Claude-SearchBot или PerplexityBot ги држи вашите страници надвор од одговорите на тој асистент. Блокирањето на Googlebot или Bingbot ве отстранува од тие пребарувачи и од AI функциите изградени врз нив.

Корисничките агенти како ChatGPT-User дејствуваат во име на човек што ја побарал вашата страница. Некои добавувачи наведуваат дека овие агенти можеби не го следат robots.txt при такви барања, па правило за нив е молба, а не гаранција. Ако сакате обуката исклучена, а AI пребарувањето вклучено, блокирајте ги ознаките за обука и оставете ги ознаките за пребарување и корисници како што се.

Тестирајте пред објавување, а потоа тестирајте повторно

Залепете ја вашата нацрт-верзија во тестерот, поставете ја патеката на важна страница, на пример страница за производ или цени, и прочитајте го редот на секој краулер што ве интересира. Повторете со патека што сте сакале да ја блокирате. Кога резултатите се совпаѓаат со вашата намера, објавете ја датотеката и пуштете го тестерот повторно со живата адреса: тоа докажува дека серверот ја враќа датотеката што сте ја уредиле.

Краулерите го кешираат robots.txt; Google, на пример, обично ја освежува својата копија во рок од 24 часа. Промената може да се одрази во нивното однесување по еден ден, а извештајот за robots.txt во Google Search Console ја покажува копијата што Google последна ја презел.

Кога robots.txt дозволува краулер, а тој сепак е блокиран

robots.txt е само молба. Заштитен ѕид, услуга за заштита од ботови или правило во CDN сепак може да му одговори на краулерот со 403 или страница со предизвик, додека луѓето ја добиваат страницата. Тестерот не може да го види тоа, бидејќи чита само една датотека. Целосната проверка ја презема вашата страница со user agent на секој краулер, паралелно со обичен прелистувач, и покажува кој краулер добива поинаков одговор, со HTTP статусот и потписот на заштитниот ѕид.

Често поставувани прашања

Дали е ова исто како robots.txt Tester на Google?

Не. Google го повлече самостојниот robots.txt Tester во 2023 година; извештајот за robots.txt во Search Console сега ја покажува датотеката што Google ја презел и евентуалните грешки при парсирањето, само за краулерите на Google. Овој тестер ги применува истите правила од RFC 9309 на 16 AI краулери и краулери на пребарувачи одеднаш.

Дали Дозволено значи дека краулерот ќе ја прочита или цитира мојата страница?

Не. Значи дека robots.txt не го забранува тоа. Дали краулерот ќе ја добие страницата зависи од вашиот сервер и заштитен ѕид, а дали асистентот ќе ја цитира зависи од вашата содржина и од поставеното прашање.

Зошто кај еден краулер пишува „нема правило“?

Вашата датотека нема група за неговата ознака и нема група User-agent: *, па за него не важи ништо и секоја патека е дозволена.

Можам ли да тестирам robots.txt што сè уште не е објавен?

Да. Залепете го текстот во второто поле и внесете ја патеката за тестирање. Ништо не се презема од вашиот сајт и залепениот текст не се зачувува.

Дали тестерот испраќа барања како GPTBot или другите краулери?

Не. Само го чита вашиот robots.txt и ги применува правилата. За да видите што навистина добива секој краулер од вашиот сервер, извршете ја целосната проверка.

Колку често можам да го користам?

Бесплатен е и не бара сметка. За да остане достапен за сите, од секоја мрежа може да се направат ограничен број тестови на час.

Поврзани алатки и водичи