robots.txt је HTML страница

Кратак одговор

Адреса /robots.txt враћа HTML документ, обично страницу 404 или почетну страницу са статусом 200. Краулери из HTML-а не могу да прочитају никаква правила. На тој путањи послужите robots.txt као обичан текст или вратите прави статус 404 ако немате правила.

robots.invalid · Приоритет: P2

Шта то значи

Адреса robots.txt враћа HTML (често страницу 404 са статусом 200), па краулери не могу да прочитају ниједно правило.

Зашто је ово важно за AI претрагу

Краулери читају robots.txt ред по ред и занемарују оно што не разумеју, па им HTML страница не даје ни правила ни редове Sitemap. Ваша намеравана политика, као што је блокирање краулера за обуку или дозвољавање краулера претраге, не примењује се, а мапе сајта наведене тамо се не проналазе.

Ово се обично дешава код single-page апликација и catch-all рута које на сваку непознату путању одговарају љуском апликације и статусом 200. AISeeWhy процењује по телу одговора, а не по заглављу Content-Type, јер тако раде и краулери: текстуални фајл послужен као text/html се и даље чита, а HTML страница не.

Како да исправите

  1. Отворите /robots.txt и погледајте изворни код: ако почиње са <!doctype или <html, фајл недостаје и одговара резервна рута.
  2. Додајте прави фајл: public/robots.txt у Next.js-у, Vite-у или Create React App-у, корен сајта на nginx-у или Apache-у или шаблон robots.txt.liquid у Shopify-ју.
  3. У nginx-у проверите да резервна рута try_files ... /index.html не хвата /robots.txt пре него што се провери статички фајл; по потреби додајте location = /robots.txt.
  4. Исправите catch-all руту тако да за непознате путање шаље статус 404. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.

Пример

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Како потврдити исправку

После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.

Провери моју страницу →

Сродни водичи

Сви налази и како функционише оцена