robots.txt је HTML страница
Адреса /robots.txt враћа HTML документ, обично страницу 404 или почетну страницу са статусом 200. Краулери из HTML-а не могу да прочитају никаква правила. На тој путањи послужите robots.txt као обичан текст или вратите прави статус 404 ако немате правила.
Шта то значи
Адреса robots.txt враћа HTML (често страницу 404 са статусом 200), па краулери не могу да прочитају ниједно правило.
Зашто је ово важно за AI претрагу
Краулери читају robots.txt ред по ред и занемарују оно што не разумеју, па им HTML страница не даје ни правила ни редове Sitemap. Ваша намеравана политика, као што је блокирање краулера за обуку или дозвољавање краулера претраге, не примењује се, а мапе сајта наведене тамо се не проналазе.
Ово се обично дешава код single-page апликација и catch-all рута које на сваку непознату путању одговарају љуском апликације и статусом 200. AISeeWhy процењује по телу одговора, а не по заглављу Content-Type, јер тако раде и краулери: текстуални фајл послужен као text/html се и даље чита, а HTML страница не.
Како да исправите
- Отворите
/robots.txtи погледајте изворни код: ако почиње са<!doctypeили<html, фајл недостаје и одговара резервна рута. - Додајте прави фајл:
public/robots.txtу Next.js-у, Vite-у или Create React App-у, корен сајта на nginx-у или Apache-у или шаблонrobots.txt.liquidу Shopify-ју. - У nginx-у проверите да резервна рута
try_files ... /index.htmlне хвата/robots.txtпре него што се провери статички фајл; по потреби додајтеlocation = /robots.txt. - Исправите catch-all руту тако да за непознате путање шаље статус 404. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
Пример
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Како потврдити исправку
После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.