Pag-monitor ng AI crawler
Maaaring ma-lock out ang mga AI crawler magdamag dahil sa isang firewall rule, setting ng CDN o bagong robots.txt, at walang mukhang sira sa site mo para sa mga tao. Sinusuri muli ng pag-monitor ang mahahalagang pahina mo at nag-e-email sa iyo kapag may bagong humaharang sa kanila.
Libre · Walang sign-up · Resulta sa loob ng 30 segundo
Mga plan at presyo → Tingnan ang halimbawa ng buong ulat →
Isinalin ng makina ang tekstong ito mula sa Ingles.
Ano ang sinusuri ng pag-monitor
Ang bawat run ay kapareho ng libreng pagsusuri sa home page namin. Kinukuha ang pahina mo bilang 16 na AI at search crawler, bilang curl at bilang desktop browser, bawat isa gamit ang nailathalang user agent nito. Sinusuri ang robots.txt para sa bawat crawler token, at sinusuri ang structured data, content, mga petsa, sitemap, hreflang at llms.txt ng pahina. Ang resulta ay score mula 0 hanggang 100 at listahan ng mga natuklasan na may prayoridad na P1 hanggang P3.
Kailan ka makakatanggap ng email
Sinusuri muli ang mga naka-monitor na pahina araw-araw o lingguhan, ayon sa pinili mo. Makakatanggap ka ng email kapag may lumabas na bagong isyung humaharang, halimbawa crawler na nakakakuha na ngayon ng 403 o challenge page, o kapag bumaba ang score nang 10 puntos o higit pa. Sinasabi ng email kung ano ang nagbago at may link ito sa ulat na may ayos.
Ano ang hindi nito nakikita
Nagmumula ang mga request sa server namin gamit ang user agent ng bawat crawler, hindi sa sariling mga IP address ng mga operator ng crawler. Maaaring iba ang pagtrato sa kanila ng firewall na nagtitiwala sa totoong crawler batay sa IP kaysa sa amin, at sinasabi iyon ng bawat natuklasang block. Para makita kung paano sinagot ang totoong mga crawler, binabasa ng server log check sa mga bayad na plan ang access log mo at binibilang ang mga pagbisita at status code ng bawat AI crawler.
Mga plan na may pag-monitor
- Pro, $22 bawat buwan: 3 naka-monitor na pahina, para sa personal at hindi pangkomersyong site.
- Business, $88 bawat buwan: 25 naka-monitor na pahina, para sa mga site ng kumpanya at trabaho para sa kliyente.
- Agency, $288 bawat buwan: 60 naka-monitor na pahina para sa maraming site ng kliyente.
- Enterprise, $888 bawat buwan: 100 naka-monitor na pahina.
Walang pag-monitor ang libreng plan: nagbibigay ito ng isang pagsusuri bawat araw na may score at unang natuklasan. Buwanan ang singil sa mga plan, maaaring kanselahin anumang oras, at maaaring i-refund nang buo ang bawat bayad sa loob ng 14 araw.
Paano magsimula
- Patakbuhin ang libreng pagsusuri sa pinakamahalagang pahina mo at tingnan ang unang natuklasan.
- Pumili ng plan sa pahina ng presyo at mag-sign in gamit ang email mo.
- Idagdag ang mga pahinang babantayan sa ilalim ng Pag-monitor sa account mo: ang home page, presyo, pangunahing pahina ng produkto o serbisyo at mahahalagang artikulo.
- Pumili ng araw-araw o lingguhan. Pagkatapos ng ayos, suriin muli ang pahina para makita ang score bago at pagkatapos.
Mga madalas itanong
Aling mga pagbabago ang nagti-trigger ng alerto?
Bagong isyung humaharang sa naka-monitor na pahina, gaya ng crawler na tinatanggihan na ngayon, o pagbaba ng score nang 10 puntos o higit pa mula sa nakaraang pagsusuri.
Gumagamit ba ang pag-monitor ng totoong GPTBot o ClaudeBot?
Hindi. Ipinapadala nito ang mga nailathalang user agent nila mula sa server namin. Ipinapakita niyon kung paano tinatrato ng firewall at server mo ang mga user agent na iyon; ipinapakita ng server log check ang totoong mga pagbisita.
Maaari ko bang i-monitor ang mga site ng kliyente?
Oo, sa Business, Agency at Enterprise. Para sa personal at hindi pangkomersyong paggamit ang Pro.
Maaari ko ba itong subukan bago magbayad?
Ipinapakita ng libreng pagsusuri kung ano ang natutuklasan ng isang run sa anumang pahina. Kailangan ng bayad na plan para sa pag-monitor mismo, na maaari mong kanselahin anumang oras at ma-refund sa loob ng 14 araw.