HTML page ang robots.txt

Maikling sagot

Nagbabalik ng HTML na dokumento ang address na /robots.txt, kadalasan ay 404 page o ang home page na may status 200. Walang rule na mababasa ng mga crawler mula sa HTML. Magbigay ng plain-text na robots.txt sa path na iyon, o magbalik ng totoong 404 status kung wala kang rule.

robots.invalid · Priyoridad: P2

Ano ang ibig sabihin nito

Nagbabalik ng HTML ang address ng robots.txt (kadalasan ay 404 page na may status 200), kaya walang rule na mababasa ng mga crawler.

Bakit ito mahalaga para sa AI search

Binabasa ng mga crawler ang robots.txt nang linya-linya at binabalewala ang hindi nila naiintindihan, kaya walang rule at walang Sitemap line na naibibigay sa kanila ng HTML page. Hindi naipapatupad ang nilalayon mong patakaran, gaya ng pag-block sa mga training crawler o pagpapapasok sa mga search crawler, at hindi nahahanap ang mga sitemap na idineklara roon.

Karaniwan itong nangyayari sa mga single-page app at catch-all route na sumasagot sa bawat hindi kilalang path gamit ang app shell at status 200. Hinuhusgahan ng AISeeWhy ayon sa body, hindi sa Content-Type header, dahil ganoon din ang mga crawler: binabasa pa rin ang text file na ibinigay bilang text/html, pero hindi ang HTML page.

Paano ito ayusin

  1. Buksan ang /robots.txt at tingnan ang source: kung nagsisimula ito sa <!doctype o <html, wala ang file at isang fallback route ang sumasagot.
  2. Magdagdag ng totoong file: public/robots.txt sa Next.js, Vite o Create React App, ang web root sa nginx o Apache, o ang template na robots.txt.liquid sa Shopify.
  3. Sa nginx, tiyaking hindi nasasalo ng fallback na try_files ... /index.html ang /robots.txt bago tingnan ang static file; magdagdag ng location = /robots.txt kung kailangan.
  4. Ayusin ang catch-all route mo para magpadala ng status 404 para sa mga hindi kilalang path. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.

Halimbawa

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Paano kumpirmahin ang ayos

Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.

Suriin ang pahina ko →

Mga kaugnay na gabay

Lahat ng natuklasan at paano gumagana ang score