HTML page ang robots.txt
Nagbabalik ng HTML na dokumento ang address na /robots.txt, kadalasan ay 404 page o ang home page na may status 200. Walang rule na mababasa ng mga crawler mula sa HTML. Magbigay ng plain-text na robots.txt sa path na iyon, o magbalik ng totoong 404 status kung wala kang rule.
Ano ang ibig sabihin nito
Nagbabalik ng HTML ang address ng robots.txt (kadalasan ay 404 page na may status 200), kaya walang rule na mababasa ng mga crawler.
Bakit ito mahalaga para sa AI search
Binabasa ng mga crawler ang robots.txt nang linya-linya at binabalewala ang hindi nila naiintindihan, kaya walang rule at walang Sitemap line na naibibigay sa kanila ng HTML page. Hindi naipapatupad ang nilalayon mong patakaran, gaya ng pag-block sa mga training crawler o pagpapapasok sa mga search crawler, at hindi nahahanap ang mga sitemap na idineklara roon.
Karaniwan itong nangyayari sa mga single-page app at catch-all route na sumasagot sa bawat hindi kilalang path gamit ang app shell at status 200. Hinuhusgahan ng AISeeWhy ayon sa body, hindi sa Content-Type header, dahil ganoon din ang mga crawler: binabasa pa rin ang text file na ibinigay bilang text/html, pero hindi ang HTML page.
Paano ito ayusin
- Buksan ang
/robots.txtat tingnan ang source: kung nagsisimula ito sa<!doctypeo<html, wala ang file at isang fallback route ang sumasagot. - Magdagdag ng totoong file:
public/robots.txtsa Next.js, Vite o Create React App, ang web root sa nginx o Apache, o ang template narobots.txt.liquidsa Shopify. - Sa nginx, tiyaking hindi nasasalo ng fallback na
try_files ... /index.htmlang/robots.txtbago tingnan ang static file; magdagdag nglocation = /robots.txtkung kailangan. - Ayusin ang catch-all route mo para magpadala ng status 404 para sa mga hindi kilalang path. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.
Halimbawa
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml Paano kumpirmahin ang ayos
Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.