robots.txt е HTML страница

Кратък отговор

Адресът /robots.txt връща HTML документ, обикновено страница 404 или началната страница със статус 200. Ботовете не могат да прочетат правила от HTML. Обслужвайте robots.txt като обикновен текст на този път или връщайте истински статус 404, ако нямате правила.

robots.invalid · Приоритет: P2

Какво означава

Адресът на robots.txt връща HTML (често страница 404, върната със статус 200), затова ботовете не могат да прочетат никакви правила.

Защо това е важно за AI търсенето

Ботовете четат robots.txt ред по ред и пренебрегват онова, което не разбират, така че HTML страницата не им дава нито правила, нито редове Sitemap. Желаната ви политика, например блокиране на ботовете за обучение или допускане на ботовете за търсене, не се прилага, а картите на сайта, посочени там, не се откриват.

Това обикновено се случва при едностранични приложения и маршрути, които прихващат всичко и отговарят на всеки непознат път с обвивката на приложението и статус 200. AISeeWhy съди по съдържанието, а не по хедъра Content-Type, защото ботовете правят същото: текстов файл, обслужен като text/html, пак се чете, а HTML страница не се чете.

Как да го поправите

  1. Отворете /robots.txt и вижте изходния код: ако започва с <!doctype или <html, файлът липсва и отговаря резервен маршрут.
  2. Добавете истински файл: public/robots.txt в Next.js, Vite или Create React App, главната директория на сайта в nginx или Apache, или шаблона robots.txt.liquid в Shopify.
  3. В nginx се уверете, че резервният вариант try_files ... /index.html не прихваща /robots.txt, преди да се провери статичният файл; добавете location = /robots.txt, ако е нужно.
  4. Поправете маршрута, който прихваща всичко, така че да връща статус 404 за непознати пътища. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.

Пример

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Как да потвърдите корекцията

След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.

Проверете страницата ми →

Свързани ръководства

Всички находки и как работи оценката