robots.txt е HTML страница
Адресът /robots.txt връща HTML документ, обикновено страница 404 или началната страница със статус 200. Ботовете не могат да прочетат правила от HTML. Обслужвайте robots.txt като обикновен текст на този път или връщайте истински статус 404, ако нямате правила.
Какво означава
Адресът на robots.txt връща HTML (често страница 404, върната със статус 200), затова ботовете не могат да прочетат никакви правила.
Защо това е важно за AI търсенето
Ботовете четат robots.txt ред по ред и пренебрегват онова, което не разбират, така че HTML страницата не им дава нито правила, нито редове Sitemap. Желаната ви политика, например блокиране на ботовете за обучение или допускане на ботовете за търсене, не се прилага, а картите на сайта, посочени там, не се откриват.
Това обикновено се случва при едностранични приложения и маршрути, които прихващат всичко и отговарят на всеки непознат път с обвивката на приложението и статус 200. AISeeWhy съди по съдържанието, а не по хедъра Content-Type, защото ботовете правят същото: текстов файл, обслужен като text/html, пак се чете, а HTML страница не се чете.
Как да го поправите
- Отворете
/robots.txtи вижте изходния код: ако започва с<!doctypeили<html, файлът липсва и отговаря резервен маршрут. - Добавете истински файл:
public/robots.txtв Next.js, Vite или Create React App, главната директория на сайта в nginx или Apache, или шаблонаrobots.txt.liquidв Shopify. - В nginx се уверете, че резервният вариант
try_files ... /index.htmlне прихваща/robots.txt, преди да се провери статичният файл; добаветеlocation = /robots.txt, ако е нужно. - Поправете маршрута, който прихваща всичко, така че да връща статус 404 за непознати пътища. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
Пример
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Как да потвърдите корекцията
След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.