robots.txt-d ei õnnestu laadida
Faili /robots.txt laadimine ebaõnnestus: server vastas 5xx-olekukoodi või 429-ga või ei vastanud üldse. RFC 9309 järgi käsitlevad robotid sel juhul kogu saiti keelatuna. Pane /robots.txt tagastama olekukoodi 200 koos lihttekstiga või 404, kui sul reegleid pole.
Mida see tähendab
robots.txt vastas olekukoodiga 403 või ei vastanud üldse. RFC 9309 järgi käsitlevad robotid sel juhul kogu saiti keelatuna.
Miks see AI-otsingu jaoks oluline on
RFC 9309 ütleb, et robot, mis ei pääse serverivea tõttu robots.txt-le ligi, peab eeldama täielikku keeldu. Googlebot, Bingbot ja standardit järgivad AI-robotid lõpetavad lehtede laadimise, kuni robots.txt taas vastab, seega võib üks katkine fail peita kogu saidi.
Puuduv fail on teine asi: 404 või muu 4xx-olekukood tähendab, et reegleid pole, seega on kõik lubatud ja AISeeWhy ei raporteeri midagi. Probleem on ainult serverivead, päringute piirangud (429) ja päringud, mis aeguvad või lükatakse tagasi enne, kui olekukood tuleb.
Kuidas seda parandada
- Ava
https://your-domain/robots.txtväljastpoolt oma võrku ja pane olekukood kirja. Audit laadib selle brauseri user agent'iga. - Kui see on 5xx, kontrolli lähteserveri marsruuti: raamistikud nagu Next.js serveerivad seda failist
public/robots.txtvõiapp/robots.ts, WordPress genereerib selle dünaamiliselt, nii et PHP-viga muudab selle katki. - Kui see on 429 või aegumine, tee
/robots.txtoma CDN-is või WAF-is päringute piiramisest ja robotikontrollidest erandiks. - Salvesta robots.txt CDN-i vahemällu, et see vastaks ka siis, kui lähteserver on aeglane. AISeeWhy raport näitab tõendeid ja kleepimiseks valmis parandust; käivita seejärel „Kontrolli uuesti“, et tulemust kinnitada.
Kuidas parandust kinnitada
Pärast muudatust vajuta raportis „Kontrolli uuesti“: see näitab, mis parandati ja kuidas skoor muutus.