robots.txt е HTML страница
Адресата /robots.txt враќа HTML документ, обично страница 404 или почетната страница сервирана со статус 200. Краулерите не можат да прочитаат правила од HTML. Сервирајте robots.txt како обичен текст на таа патека, или вратете вистински статус 404 ако немате правила.
Што значи
Адресата на robots.txt враќа HTML (често 404 страница испратена со статус 200), па краулерите не можат да прочитаат ниту едно правило.
Зошто е важно за AI пребарувањето
Краулерите го читаат robots.txt ред по ред и игнорираат сè што не разбираат, па HTML страницата не им дава ниту правила ниту редови Sitemap. Вашата намерна политика, на пример блокирање на краулерите за обука или дозволување на краулерите за пребарување, не се применува, а sitemap-ите наведени таму не се пронаоѓаат.
Ова обично се случува кај апликации од една страница и рути што фаќаат сè, кои на секоја непозната патека одговараат со обвивката на апликацијата и статус 200. AISeeWhy проценува според телото, а не според заглавието Content-Type, бидејќи така прават и краулерите: текстуална датотека сервирана како text/html сепак се чита, а HTML страница не.
Како да се поправи
- Отворете
/robots.txtи погледнете го изворниот код: ако почнува со<!doctypeили<html, датотеката недостасува и одговара резервна рута. - Додајте вистинска датотека:
public/robots.txtво Next.js, Vite или Create React App, коренот на сајтот во nginx или Apache, или шаблонотrobots.txt.liquidво Shopify. - Во nginx, проверете дали резервната опција
try_files ... /index.htmlне го фаќа/robots.txtпред да се провери статичката датотека; по потреба додајтеlocation = /robots.txt. - Поправете ја рутата што фаќа сè за да враќа статус 404 за непознати патеки. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.
Пример
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Како да се потврди поправката
По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.