2 pahina ang tumanggi sa crawl
Sumagot ang mga pahinang ito ng 401, 403, 429 o 503, o nag-time out, nang kunin sila ng audit bilang browser. Kadalasang firewall, bot protection o rate limit iyon sa halip na sirang pahina. Tingnan kung pareho ang sagot na nakukuha ng mga search at AI crawler.
Ano ang ibig sabihin nito
Sumagot ang mga pahinang ito ng 401, 403, 429 o 503, o nag-time out. Maaaring pinipigilan din ng firewall o rate limit ang mga crawler; tingnan kung pareho ang sagot na nakukuha ng mga search at AI crawler.
Bakit ito mahalaga para sa AI search
Kumukuha ang audit ng maraming pahina sa maikling oras mula sa iisang server, kaya maaaring sumagot ng 429 o 503 ang rate limit kahit nakukuha ng mga tao ang pahina. Kung saklaw din ng parehong rule ang mga search at AI crawler, hindi kinukuha ang mga pahinang ito para sa mga index nila at hindi sila mababanggit sa mga AI na sagot.
Ang 401 ay nangangahulugang kailangan ng login ang pahina, na inaasahan para sa mga bahagi ng account pero hindi para sa pampublikong content. Ang 503 sa bawat pahina ay maaaring mangahulugang naiwang naka-on ang maintenance mode. Hiwalay ang mga pahinang ito sa mga sirang link dahil nakadepende ang ayos kung sino ang tinatanggihan.
Paano ito ayusin
- Buksan ang ilan sa mga nakalistang URL sa private browser window. Kung nag-load sila, nakatutok ang block sa mga automated na request.
- Hanapin ang mga tinanggihang request sa mga log ng firewall, CDN o hosting mo. Tiyaking pinapapasok ang mga beripikadong search crawler gaya ng Googlebot at Bingbot, at ang mga AI search crawler na gusto mo; maraming CDN, kabilang ang Cloudflare, ang may setting para sa verified bots.
- Kung rate limit ang sanhi, itaas ang limitasyon para sa mga karaniwang request ng pahina o huwag isama rito ang mga HTML page.
- Kung sumasagot ng 401 ang mga pahina, alisin ang login sa mga pampublikong pahina, o itigil ang pag-link sa mga pribadong pahina mula sa mga pampubliko.
- Patakbuhin muli ang audit ng site mula sa account mo para makumpirma ang resulta.
Paano kumpirmahin ang ayos
Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.