robots.txt файлын алу мүмкін емес

Қысқа жауап

/robots.txt файлын алу сәтсіз болды: сервер 5xx немесе 429 статусымен жауап берді немесе мүлде жауап бермеді. RFC 9309 бойынша мұндайда краулерлер бүкіл сайтты тыйым салынған деп санайды. /robots.txt 200 статусымен қарапайым мәтін қайтаратындай етіңіз, ал ережелеріңіз болмаса — 404.

robots.unreachable · Басымдық: P1

Бұл нені білдіреді

robots.txt 403 статусымен жауап берді немесе жауап бермеді. RFC 9309 бойынша мұндайда краулерлер бүкіл сайтты тыйым салынған деп санайды.

Бұл ЖИ іздеу үшін неге маңызды

RFC 9309 бойынша сервер қатесі салдарынан robots.txt-ке жете алмаған краулер толық тыйым бар деп есептеуге тиіс. Стандартты ұстанатын Googlebot, Bingbot және ЖИ краулерлері robots.txt қайта жауап бергенше беттерді алуды тоқтатады, сондықтан бір бұзылған файл бүкіл сайтты жасырып тастауы мүмкін.

Файлдың болмауы — басқа жағдай: 404 немесе басқа 4xx статусы ережелер жоқ дегенді білдіреді, яғни бәріне рұқсат бар және AISeeWhy ештеңе хабарламайды. Мәселе тек сервер қателерінде, rate limit (429) жағдайларында және статус қайтпай тұрып уақыты бітетін немесе қабылданбайтын сұрауларда.

Қалай түзетуге болады

  1. https://your-domain/robots.txt мекенжайын желіңізден тыс жерден ашып, статусын жазып алыңыз. Аудит оны браузер user agent-імен алады.
  2. Егер 5xx болса, origin маршрутын тексеріңіз: Next.js сияқты фреймворктер оны public/robots.txt немесе app/robots.ts арқылы береді, WordPress оны динамикалық түрде генерациялайды, сондықтан PHP қатесі оны бұзады.
  3. Егер 429 немесе күту уақыты бітсе, CDN немесе WAF-та /robots.txt жолын rate limiting пен бот тексерулерінен босатыңыз.
  4. Origin баяу болғанда да жауап беруі үшін robots.txt-ті CDN-де кэштеңіз. AISeeWhy есебі дәлелдерді және қоюға дайын түзетуді көрсетеді; нәтижені растау үшін кейін «Қайта тексеру» батырмасын басыңыз.

Түзетуді қалай растауға болады

Өзгерістен кейін есептегі "Қайта тексеру" батырмасын басыңыз: ол не түзетілгенін және баға қалай өзгергенін көрсетеді.

Бетімді тексеру →

Байланысты нұсқаулықтар

Барлық мәселелер және баға қалай есептеледі