robots.txt — HTML беті

Қысқа жауап

/robots.txt мекенжайы HTML құжатын қайтарады, әдетте 200 статусымен берілген 404 бетін немесе басты бетті. Краулерлер HTML-ден ешқандай ережені оқи алмайды. Сол жолда қарапайым мәтіндік robots.txt беріңіз немесе ережелеріңіз болмаса, нақты 404 статусын қайтарыңыз.

robots.invalid · Басымдық: P2

Бұл нені білдіреді

robots.txt мекенжайы HTML қайтарады (көбіне 200 статусымен берілген 404 беті), сондықтан краулерлер ешқандай ережені оқи алмайды.

Бұл ЖИ іздеу үшін неге маңызды

Краулерлер robots.txt-ті жол-жолымен талдайды және түсінбегенін елемейді, сондықтан HTML беті оларға ешқандай ереже де, Sitemap жолдарын да бермейді. Сіз көздеген саясат, мысалы, оқыту краулерлерін бұғаттау немесе іздеу краулерлерін өткізу, қолданылмайды, ал онда жарияланған sitemap-тар табылмайды.

Бұл әдетте әр белгісіз жолға қолданба қабығымен және 200 статусымен жауап беретін бір беттік қолданбаларда және catch-all маршруттарда болады. AISeeWhy Content-Type header-і бойынша емес, мазмұн бойынша бағалайды, себебі краулерлер де солай істейді: text/html ретінде берілген мәтіндік файл бәрібір оқылады, ал HTML беті оқылмайды.

Қалай түзетуге болады

  1. /robots.txt ашып, бастапқы кодын қараңыз: ол <!doctype немесе <html деп басталса, файл жоқ және оның орнына резервтік маршрут жауап береді.
  2. Нақты файл қосыңыз: Next.js, Vite немесе Create React App-та public/robots.txt, nginx немесе Apache-та веб-түбір, ал Shopify-да robots.txt.liquid үлгісі.
  3. nginx-те try_files ... /index.html резервтік ережесі статикалық файл тексерілгенге дейін /robots.txt жолын ұстап алмайтынына көз жеткізіңіз; қажет болса, location = /robots.txt қосыңыз.
  4. Catch-all маршрутыңыз белгісіз жолдарға 404 статусын жіберетіндей түзетіңіз. AISeeWhy есебі дәлелдерді және қоюға дайын түзетуді көрсетеді; нәтижені растау үшін кейін «Қайта тексеру» батырмасын басыңыз.

Мысал

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Түзетуді қалай растауға болады

Өзгерістен кейін есептегі "Қайта тексеру" батырмасын басыңыз: ол не түзетілгенін және баға қалай өзгергенін көрсетеді.

Бетімді тексеру →

Байланысты нұсқаулықтар

Барлық мәселелер және баға қалай есептеледі