Въведете адрес на страница: ще прочетем robots.txt на сайта и ще покажем за всеки AI бот и бот на търсачка дали може да изтегли тази страница. Или поставете robots.txt, за да го тествате, преди да го публикувате.
robots.txt е само молба. Защитна стена или защита от ботове може да блокира бот, който robots.txt позволява; пълната проверка тества това. Стартирайте пълната проверка →
Всеки бот следва групата, която посочва неговия токен (например GPTBot или PerplexityBot); само ако няма такава, следва User-agent: *. В рамките на една група печели най-дългото съвпадащо правило, а при равенство печели Allow. Блокирането на ботове за обучение като GPTBot, ClaudeBot или Google-Extended държи съдържанието ви извън обучението на модели; блокирането на ботове за търсене и за заявки на потребители като OAI-SearchBot, ChatGPT-User или PerplexityBot държи страниците ви извън AI отговорите.
Ръководство
Как да използвате robots.txt тестера
Този текст е преведен машинно от английски.
Какво проверява този robots.txt тестер
Въведете адреса на страница. Тестерът взема схемата и хоста от този адрес, прочита /robots.txt от корена на хоста и оценява правилата му за пътя на вашата страница. Той отговаря на един въпрос за всеки от 16 бота: може ли този бот да изтегли тази страница?
Ботовете са групирани според това, което правят. Ботовете за обучение събират страници за AI модели: GPTBot, ClaudeBot, CCBot, Bytespider и Meta-ExternalAgent, както и токените Google-Extended и Applebot-Extended, които съществуват само в robots.txt: те никога не посещават сами, а казват на Google и Apple дали могат да използват страници, които вече са изтеглили. Ботовете за търсене изграждат индексите, които AI отговорите и резултатите от търсенето цитират: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot и Applebot. Потребителските агенти изтеглят страница, когато човек помоли асистент да я отвори: ChatGPT-User, Claude-User и Perplexity-User.
Можете също да поставите robots.txt вместо адрес. Тогава нищо не се изтегля: тестерът оценява поставения текст, така че можете да изпробвате промяна, преди да я публикувате. Поставеният текст се използва за отговора и не се запазва.
Как да четете резултатите
Таблицата има по един ред за всеки бот. Колоната за вашия път показва Разрешено или Блокирано. Последната колона показва коя част от файла е решила:
Собствена група: файлът има ред User-agent с токена на този бот и за него важат само правилата на тази група.
User-agent: *: никоя група не назовава бота, затова той следва общата група.
Няма правило: не важи никоя група, затова страницата е разрешена.
Под таблицата виждате редовете Sitemap, които файлът изброява, и реда му Content-Signal, ако има такъв. Ако адресът е върнал уеб страница вместо текстов файл или изобщо няма файл, тестерът го казва: ботовете третират HTML страница на /robots.txt като липсващ файл.
Ред с Разрешено означава само, че robots.txt не спира този бот. Не означава, че ботът ще посети страницата, и не казва нищо за защитната ви стена.
Как ботът избира своите правила
RFC 9309, стандартът за robots.txt, задава три правила, които обясняват почти всеки изненадващ резултат. Ботът първо търси групи, чийто User-agent съвпада с неговия токен, без значение от главни и малки букви. Ако намери такава, следва само тези групи и напълно пренебрегва User-agent: *. В избраната група печели правилото с най-дългия съвпадащ път, а ако Allow и Disallow съвпадат със същата дължина, печели Allow.
С този файл GPTBot е блокиран за всяка страница, защото има собствена група. Всеки друг бот може да изтегли /private/press/kit.pdf, защото Allow: /private/press/ е по-дълго от Disallow: /private/, и е блокиран за /private/notes/. Тествайте двата пътя в тестера и ще видите как решението преминава от едната група към другата.
Чести грешки, с примери
Последователните редове User-agent образуват една група. Файл с User-agent: GPTBot, после User-agent: OAI-SearchBot, после Disallow: / блокира и двата бота, така че сайт, който е искал да спре обучението, изчезва и от търсенето в ChatGPT.
Блокиране на грешния токен на OpenAI. GPTBot събира данни за обучение; OAI-SearchBot решава дали търсенето в ChatGPT може да ви покаже и цитира. Ако блокирате OAI-SearchBot или ChatGPT-User, за да спрете обучението, вместо това изчезвате от отговорите.
Един знак обръща правилото. Disallow: без нищо след него разрешава всичко; Disallow: / блокира всичко.
Пътищата различават главни и малки букви. Disallow: /Blog/ не блокира /blog/.
Заместващите знаци изискват внимание. Disallow: /*.pdf блокира и /file.pdf?download=1; Disallow: /*.pdf$ блокира само адреси, които завършват на .pdf.
Файлът е на грешния хост. robots.txt важи само за схемата и хоста, от които се сервира, така че www.example.com, example.com и shop.example.com се нуждаят всеки от собствен файл.
Сървърът отговаря с грешка. Отговор 4xx означава, че ботовете могат да изтеглят всичко. Отговор 5xx или изтичане на времето означава, че трябва да приемат, че всичко е забранено, докато файлът не може да се прочете отново, така че повреден /robots.txt може да спре цялото обхождане.
Правила, които ботовете не следват. Noindex: и Crawl-delay: не са част от RFC 9309 и Google пренебрегва и двете.
Очакване robots.txt да премахне страница от търсенето. Той спира обхождането, не индексирането: блокиран адрес все още може да се показва без текста си. За да държите страница извън индекса, разрешете обхождането и използвайте мета таг или хедър noindex.
Ботове за обучение, търсене и потребители: какво прави блокирането на всеки
Блокирането на бот за обучение е въпрос на политика. То държи страниците ви извън бъдещото обучение на модели и не влияе на това дали AI търсенето може да ви цитира днес. Блокирането на бот за търсене като OAI-SearchBot, Claude-SearchBot или PerplexityBot държи страниците ви извън отговорите на съответния асистент. Блокирането на Googlebot или Bingbot ви премахва от тези търсачки и от AI функциите, изградени върху тях.
Потребителски агенти като ChatGPT-User действат от името на човек, който е поискал страницата ви. Някои доставчици казват, че тези агенти може да не следват robots.txt при такива заявки, така че правило за тях е молба, а не гаранция. Ако искате обучението изключено, а AI търсенето включено, блокирайте токените за обучение и оставете токените за търсене и потребители както са.
Тествайте преди публикуване, после тествайте отново
Поставете черновата си в тестера, задайте пътя на важна страница, например продуктова страница или страница с цени, и прочетете реда на всеки бот, който ви интересува. Повторете с път, който сте искали да блокирате. Когато резултатите съвпадат с намерението ви, публикувайте файла и пуснете тестера отново с действащия адрес: това доказва, че сървърът връща файла, който сте редактирали.
Ботовете кешират robots.txt; Google например обикновено обновява копието си в рамките на 24 часа. Промяната може да се отрази в поведението им след ден, а отчетът за robots.txt в Google Search Console показва копието, което Google е изтеглил последно.
Когато robots.txt разрешава бот, а той все пак е блокиран
robots.txt е само молба. Защитна стена, услуга за защита от ботове или правило в CDN все пак може да отговори на бота с 403 или страница за проверка, докато хората получават страницата. Тестерът не може да види това, защото чете само един файл. Пълната проверка изтегля страницата ви с user agent на всеки бот успоредно с обикновен браузър и показва кой бот получава различен отговор, с HTTP статуса и подписа на защитната стена.
Често задавани въпроси
Същото ли е като robots.txt Tester на Google?
Не. Google спря самостоятелния си robots.txt Tester през 2023 г.; отчетът за robots.txt в Search Console сега показва файла, който Google е изтеглил, и евентуалните грешки при анализа, само за ботовете на Google. Този тестер прилага същите правила на RFC 9309 към 16 AI бота и бота на търсачки наведнъж.
Означава ли Разрешено, че ботът ще прочете или цитира страницата ми?
Не. Означава, че robots.txt не го забранява. Дали ботът ще получи страницата, зависи от сървъра и защитната ви стена, а дали асистент ще я цитира, зависи от съдържанието ви и от зададения въпрос.
Защо при някой бот пише „няма правило“?
Файлът ви няма група за неговия токен и няма група User-agent: *, затова за него не важи нищо и всеки път е разрешен.
Мога ли да тествам robots.txt, който още не е публикуван?
Да. Поставете текста във второто поле и въведете пътя за тестване. Нищо не се изтегля от сайта ви и поставеният текст не се запазва.
Изпраща ли тестерът заявки като GPTBot или другите ботове?
Не. Той само чете robots.txt и прилага правилата. За да видите какво реално получава всеки бот от сървъра ви, стартирайте пълната проверка.
Колко често мога да го използвам?
Безплатен е и не изисква профил. За да остане достъпен за всички, от всяка мрежа може да се правят ограничен брой тестове на час.