robots.txt не може да бъде изтеглен
Изтеглянето на /robots.txt не успя: сървърът отговори със статус 5xx или 429, или изобщо не отговори. Според RFC 9309 ботовете тогава смятат целия сайт за забранен. Направете така, че /robots.txt да връща статус 200 с обикновен текст или 404, ако нямате правила.
Какво означава
robots.txt отговори със статус 403 или не отговори. Според RFC 9309 в такъв случай ботовете третират целия сайт като забранен.
Защо това е важно за AI търсенето
RFC 9309 казва, че бот, който не може да достигне robots.txt заради грешка на сървъра, трябва да приеме пълна забрана. Googlebot, Bingbot и AI ботовете, които следват стандарта, спират да изтеглят страници, докато robots.txt не започне да отговаря отново, така че един повреден файл може да скрие целия сайт.
Липсващият файл е друго нещо: 404 или друг статус 4xx означава, че няма правила, значи всичко е разрешено и AISeeWhy не отчита нищо. Проблем са само грешките на сървъра, ограниченията на честотата (429) и заявките, които изтичат или се отказват, преди да се върне какъвто и да е статус.
Как да го поправите
- Отворете
https://your-domain/robots.txtизвън вашата мрежа и запишете статуса. Одитът го изтегля с user agent на браузър. - Ако е 5xx, проверете маршрута на сървъра: фреймуърки като Next.js го обслужват от
public/robots.txtилиapp/robots.ts, а WordPress го генерира динамично, така че грешка в PHP го поврежда. - Ако е 429 или изтичане на времето, изключете
/robots.txtот ограничаването на честотата и проверките за ботове в CDN или WAF. - Кеширайте robots.txt в CDN, за да отговаря и когато сървърът е бавен. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
Как да потвърдите корекцията
След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.