robots.txt забранява OAI-SearchBot
Във вашия robots.txt има правило Disallow, което съвпада с тази страница за токена на този бот. Одитът прилага RFC 9309: собствената група на бота, ако има такава, иначе групата *, като печели най-дългото съвпадащо правило. Добавете Allow за бота или премахнете правилото, ако искате да го допуснете.
Какво означава
Правилата във вашия robots.txt пречат на OAI-SearchBot да изтегли /.
Защо това е важно за AI търсенето
Добре възпитаните AI ботове спазват robots.txt. Ако OAI-SearchBot, Claude-SearchBot или PerplexityBot са забранени, страницата не се изтегля за техните индекси за търсене и не може да бъде цитирана в отговорите им. Забраната на токени за обучение като GPTBot, ClaudeBot, Google-Extended или Applebot-Extended спира само използването за обучение на модели.
Много сайтове блокират AI ботовете по невнимание: шаблон, който забранява всичко освен Googlebot, или група User-agent: * с Disallow: /, останала от тестовата среда. Имайте предвид, че Applebot използва групата на Googlebot, когато няма собствена група.
Как да го поправите
- Намерете правилото в находката: в нея са посочени токенът на бота и пътят. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
- Премахнете токена на бота от всяка група, която забранява страницата, след това добавете собствена група за него с
Allow: /. Конкретната група замества групата*за този бот, така че правилата под*вече не се прилагат за него. - В WordPress проверете дали robots.txt е истински файл в главната директория на сайта или се генерира от SEO плъгин като Yoast или Rank Math, и го редактирайте там. В Shopify редактирайте шаблона на темата
robots.txt.liquid. - В Cloudflare проверете дали управляваната настройка за robots.txt не добавя правила за AI ботове върху вашия собствен файл.
- Оставете токените за обучение забранени, ако такава е политиката ви; това не засяга ботовете за търсене, които използват отделни токени.
Пример
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Как да потвърдите корекцията
След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.