Hindi makuha ang robots.txt
Pumalya ang pagkuha sa /robots.txt: sumagot ang server ng 5xx na status o 429, o hindi sumagot. Ayon sa RFC 9309, itinuturing ng mga crawler na hindi pinapayagan ang buong site. Pasagutin ang /robots.txt ng status 200 na may plain text, o ng 404 kung wala kang rule.
Ano ang ibig sabihin nito
Sumagot ang robots.txt ng status 403 o hindi sumagot. Ayon sa RFC 9309, itinuturing ng mga crawler na hindi pinapayagan ang buong site.
Bakit ito mahalaga para sa AI search
Sinasabi ng RFC 9309 na ang crawler na hindi maabot ang robots.txt dahil sa server error ay dapat ipalagay na bawal ang lahat. Humihinto sa pagkuha ng mga pahina ang Googlebot, Bingbot at mga AI crawler na sumusunod sa pamantayan hanggang sumagot muli ang robots.txt, kaya kayang itago ng isang sirang file ang buong site.
Iba ang nawawalang file: ang 404 o ibang 4xx na status ay nangangahulugang walang rule, kaya pinapayagan ang lahat at walang iniuulat ang AISeeWhy. Ang problema ay ang mga server error, rate limit (429) at mga request na nagta-time out o tinatanggihan bago dumating ang anumang status.
Paano ito ayusin
- Buksan ang
https://your-domain/robots.txtmula sa labas ng network mo at tandaan ang status. Kinukuha ito ng audit gamit ang user agent ng browser. - Kung 5xx, tingnan ang route sa origin: ibinibigay ito ng mga framework gaya ng Next.js mula sa
public/robots.txtoapp/robots.ts, at dynamic itong ginagawa ng WordPress, kaya sinisira ito ng PHP error. - Kung 429 o timeout, i-exempt ang
/robots.txtsa rate limiting at mga bot challenge sa CDN o WAF mo. - I-cache ang robots.txt sa CDN para sumagot pa rin ito kapag mabagal ang origin. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.
Paano kumpirmahin ang ayos
Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.