robots.txt не може да се преземе
Преземањето на /robots.txt не успеа: серверот одговори со статус 5xx или 429, или воопшто не одговори. Според RFC 9309, краулерите тогаш го третираат целиот сајт како забранет. Направете /robots.txt да враќа статус 200 со обичен текст, или 404 ако немате правила.
Што значи
robots.txt одговори со статус 403 или не одговори. Според RFC 9309 краулерите тогаш го сметаат целиот сајт за забранет.
Зошто е важно за AI пребарувањето
RFC 9309 вели дека краулер што не може да стигне до robots.txt поради грешка на серверот мора да претпостави целосна забрана. Googlebot, Bingbot и AI краулерите што го следат стандардот престануваат да преземаат страници додека robots.txt повторно не одговори, па една расипана датотека може да го скрие целиот сајт.
Датотека што недостасува е друг случај: 404 или друг статус 4xx значи дека нема правила, па сè е дозволено и AISeeWhy не пријавува ништо. Проблем се само грешките на серверот, ограничувањата на бројот на барања (429) и барањата што истекуваат или се одбиени пред да се врати каков било статус.
Како да се поправи
- Отворете
https://your-domain/robots.txtнадвор од вашата мрежа и забележете го статусот. Ревизијата го презема со user agent на прелистувач. - Ако е 5xx, проверете ја рутата на изворниот сервер: рамки како Next.js го сервираат од
public/robots.txtилиapp/robots.ts, а WordPress го генерира динамично, па PHP грешка го расипува. - Ако е 429 или истек на време, изземете го
/robots.txtод ограничувањето на бројот на барања и од предизвиците за ботови во вашиот CDN или WAF. - Кеширајте го robots.txt на CDN за да одговара и кога изворниот сервер е бавен. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.