robots.txt не може да бъде изтеглен

Кратък отговор

Изтеглянето на /robots.txt не успя: сървърът отговори със статус 5xx или 429, или изобщо не отговори. Според RFC 9309 ботовете тогава смятат целия сайт за забранен. Направете така, че /robots.txt да връща статус 200 с обикновен текст или 404, ако нямате правила.

robots.unreachable · Приоритет: P1

Какво означава

robots.txt отговори със статус 403 или не отговори. Според RFC 9309 в такъв случай ботовете третират целия сайт като забранен.

Защо това е важно за AI търсенето

RFC 9309 казва, че бот, който не може да достигне robots.txt заради грешка на сървъра, трябва да приеме пълна забрана. Googlebot, Bingbot и AI ботовете, които следват стандарта, спират да изтеглят страници, докато robots.txt не започне да отговаря отново, така че един повреден файл може да скрие целия сайт.

Липсващият файл е друго нещо: 404 или друг статус 4xx означава, че няма правила, значи всичко е разрешено и AISeeWhy не отчита нищо. Проблем са само грешките на сървъра, ограниченията на честотата (429) и заявките, които изтичат или се отказват, преди да се върне какъвто и да е статус.

Как да го поправите

  1. Отворете https://your-domain/robots.txt извън вашата мрежа и запишете статуса. Одитът го изтегля с user agent на браузър.
  2. Ако е 5xx, проверете маршрута на сървъра: фреймуърки като Next.js го обслужват от public/robots.txt или app/robots.ts, а WordPress го генерира динамично, така че грешка в PHP го поврежда.
  3. Ако е 429 или изтичане на времето, изключете /robots.txt от ограничаването на честотата и проверките за ботове в CDN или WAF.
  4. Кеширайте robots.txt в CDN, за да отговаря и когато сървърът е бавен. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.

Как да потвърдите корекцията

След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.

Проверете страницата ми →

Свързани ръководства

Всички находки и как работи оценката