robots.txt не може да се преузме
Преузимање /robots.txt није успело: сервер је одговорио статусом 5xx или 429 или уопште није одговорио. Према RFC 9309 краулери тада цео сајт сматрају забрањеним. Нека /robots.txt враћа статус 200 са обичним текстом или 404 ако немате правила.
Шта то значи
robots.txt је вратио статус 403 или није одговорио. Према RFC 9309 краулери тада цео сајт сматрају забрањеним.
Зашто је ово важно за AI претрагу
RFC 9309 каже да краулер који не може да дође до robots.txt због грешке сервера мора да претпостави потпуну забрану. Googlebot, Bingbot и AI краулери који прате стандард престају да преузимају странице док robots.txt поново не одговори, па један неисправан фајл може да сакрије цео сајт.
Фајл који недостаје је друга ствар: 404 или други статус 4xx значи да нема правила, па је све дозвољено и AISeeWhy ништа не пријављује. Проблем су само грешке сервера, ограничења брзине (429) и захтеви који истекну или буду одбијени пре него што стигне било какав статус.
Како да исправите
- Отворите
https://your-domain/robots.txtизван своје мреже и забележите статус. Аудит га преузима са user agent-ом прегледача. - Ако је статус 5xx, проверите руту на изворном серверу: framework-ови као што је Next.js га служе из
public/robots.txtилиapp/robots.ts, а WordPress га генерише динамички, па га PHP грешка поквари. - Ако је статус 429 или истек времена, изузмите
/robots.txtиз ограничења брзине и изазова за ботове у CDN-у или WAF-у. - Кеширајте robots.txt на CDN-у да би одговарао и када је изворни сервер спор. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
Како потврдити исправку
После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.