robots.txt не може да се преземе

Краток одговор

Преземањето на /robots.txt не успеа: серверот одговори со статус 5xx или 429, или воопшто не одговори. Според RFC 9309, краулерите тогаш го третираат целиот сајт како забранет. Направете /robots.txt да враќа статус 200 со обичен текст, или 404 ако немате правила.

robots.unreachable · Приоритет: P1

Што значи

robots.txt одговори со статус 403 или не одговори. Според RFC 9309 краулерите тогаш го сметаат целиот сајт за забранет.

Зошто е важно за AI пребарувањето

RFC 9309 вели дека краулер што не може да стигне до robots.txt поради грешка на серверот мора да претпостави целосна забрана. Googlebot, Bingbot и AI краулерите што го следат стандардот престануваат да преземаат страници додека robots.txt повторно не одговори, па една расипана датотека може да го скрие целиот сајт.

Датотека што недостасува е друг случај: 404 или друг статус 4xx значи дека нема правила, па сè е дозволено и AISeeWhy не пријавува ништо. Проблем се само грешките на серверот, ограничувањата на бројот на барања (429) и барањата што истекуваат или се одбиени пред да се врати каков било статус.

Како да се поправи

  1. Отворете https://your-domain/robots.txt надвор од вашата мрежа и забележете го статусот. Ревизијата го презема со user agent на прелистувач.
  2. Ако е 5xx, проверете ја рутата на изворниот сервер: рамки како Next.js го сервираат од public/robots.txt или app/robots.ts, а WordPress го генерира динамично, па PHP грешка го расипува.
  3. Ако е 429 или истек на време, изземете го /robots.txt од ограничувањето на бројот на барања и од предизвиците за ботови во вашиот CDN или WAF.
  4. Кеширајте го robots.txt на CDN за да одговара и кога изворниот сервер е бавен. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.

Како да се потврди поправката

По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.

Провери ја мојата страница →

Поврзани водичи

Сите наоди и како функционира оцената