robots.txt е HTML страница

Краток одговор

Адресата /robots.txt враќа HTML документ, обично страница 404 или почетната страница сервирана со статус 200. Краулерите не можат да прочитаат правила од HTML. Сервирајте robots.txt како обичен текст на таа патека, или вратете вистински статус 404 ако немате правила.

robots.invalid · Приоритет: P2

Што значи

Адресата на robots.txt враќа HTML (често 404 страница испратена со статус 200), па краулерите не можат да прочитаат ниту едно правило.

Зошто е важно за AI пребарувањето

Краулерите го читаат robots.txt ред по ред и игнорираат сè што не разбираат, па HTML страницата не им дава ниту правила ниту редови Sitemap. Вашата намерна политика, на пример блокирање на краулерите за обука или дозволување на краулерите за пребарување, не се применува, а sitemap-ите наведени таму не се пронаоѓаат.

Ова обично се случува кај апликации од една страница и рути што фаќаат сè, кои на секоја непозната патека одговараат со обвивката на апликацијата и статус 200. AISeeWhy проценува според телото, а не според заглавието Content-Type, бидејќи така прават и краулерите: текстуална датотека сервирана како text/html сепак се чита, а HTML страница не.

Како да се поправи

  1. Отворете /robots.txt и погледнете го изворниот код: ако почнува со <!doctype или <html, датотеката недостасува и одговара резервна рута.
  2. Додајте вистинска датотека: public/robots.txt во Next.js, Vite или Create React App, коренот на сајтот во nginx или Apache, или шаблонот robots.txt.liquid во Shopify.
  3. Во nginx, проверете дали резервната опција try_files ... /index.html не го фаќа /robots.txt пред да се провери статичката датотека; по потреба додајте location = /robots.txt.
  4. Поправете ја рутата што фаќа сè за да враќа статус 404 за непознати патеки. Извештајот на AISeeWhy ги прикажува доказите и готова поправка за лепење; потоа кликнете „Провери повторно“ за да го потврдите резултатот.

Пример

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Како да се потврди поправката

По промената притиснете „Провери повторно“ во извештајот: ќе видите што е поправено и како се променила оцената.

Провери ја мојата страница →

Поврзани водичи

Сите наоди и како функционира оцената