robots.txt nuk mund të merret
Marrja e /robots.txt dështoi: serveri u përgjigj me një status 5xx ose 429, ose nuk u përgjigj fare. Sipas RFC 9309 zvarritësit e trajtojnë atëherë gjithë sajtin si të ndaluar. Bëni që /robots.txt të kthejë statusin 200 me tekst të thjeshtë, ose 404 nëse nuk keni rregulla.
Çfarë do të thotë
robots.txt u përgjigj me statusin 403 ose nuk u përgjigj. Sipas RFC 9309 zvarritësit e trajtojnë atëherë gjithë sajtin si të ndaluar.
Pse ka rëndësi për kërkimin me AI
RFC 9309 thotë që një zvarritës që nuk arrin robots.txt për shkak të një gabimi serveri duhet të supozojë ndalim të plotë. Googlebot, Bingbot dhe zvarritësit AI që ndjekin standardin ndalojnë së marri faqe derisa robots.txt të përgjigjet sërish, ndaj një skedar i prishur mund ta fshehë gjithë sajtin.
Një skedar që mungon është ndryshe: një 404 ose një status tjetër 4xx do të thotë që nuk ka rregulla, pra gjithçka lejohet dhe AISeeWhy nuk raporton asgjë. Problemi janë vetëm gabimet e serverit, kufizimet e kërkesave (429) dhe kërkesat që skadojnë ose refuzohen para se të kthehet ndonjë status.
Si ta rregulloni
- Hapni
https://your-domain/robots.txtnga jashtë rrjetit tuaj dhe shënoni statusin. Auditimi e merr me një user agent shfletuesi. - Nëse është 5xx, kontrolloni rrugën në origjinë: framework-et si Next.js e shërbejnë nga
public/robots.txtoseapp/robots.ts, WordPress e krijon dinamikisht, ndaj një gabim PHP e prish. - Nëse është 429 ose skadim kohe, përjashtojeni
/robots.txtnga kufizimi i kërkesave dhe sfidat e botëve në CDN ose WAF. - Ruajeni robots.txt në cache në CDN, që të përgjigjet edhe kur origjina është e ngadaltë. Raporti i AISeeWhy tregon provat dhe një rregullim gati për t'u ngjitur; pas kësaj klikoni "Kontrollo sërish" për ta konfirmuar rezultatin.
Si ta konfirmoni rregullimin
Pas ndryshimit, shtypni "Kontrollo sërish" në raport: ai rendit çfarë u rregullua dhe si ndryshoi rezultati.