Kako preveriti, ali spletno mesto blokira pajke UI
Prilepite poljuben naslov in preverite, ali blokira GPTBot, ClaudeBot, PerplexityBot in druge pajke UI: v robots.txt, v požarnem zidu ali v obeh.
Brezplačno · Brez registracije · Rezultat v 30 sekundah
Kateri pajki so blokirani
Pajki za učenje, iskanje in uporabniške zahteve so prikazani ločeno, saj blokada GPTBot ne blokira OAI-SearchBot, blokada ClaudeBot pa ne blokira Claude-SearchBot.
Vrstica, ki odloča
Za vsakega pajka se robots.txt prebere po pravilih RFC 9309: skupina, ki ga imenuje, ali User-agent: * kot nadomestna skupina, ter pravilo, ki zmaga.
Zavrnitve požarnega zidu
Stran se zahteva kot 14 pajkov in kot navaden brskalnik. Blokade in strani z izzivom so označene, požarni zid, ki je odgovoril, pa imenovan.
Popravek za vsako ugotovitev
Vsaka ugotovitev vsebuje spremembo, ki jo je treba narediti. Brezplačno preverjanje prikaže vašo oceno in prvo ugotovitev; celotno poročilo stane $29, enkratno.
Spletno mesto lahko pajke UI blokira na dveh mestih: v robots.txt, ki pajke prosi, naj se umaknejo, ter na strežniku ali v požarnem zidu, ki jih dejansko zavrne. V robots.txt poiščite skupino za žeton vsakega pajka, če je ni, pa skupino User-agent: *. Nato stran prenesite kot pajek in jo primerjajte s tem, kar dobi brskalnik. Razširitev za brskalnik del z robots.txt opravi za 16 pajkov UI z enim klikom.
Preverite ročno v 3 korakih
- Izberite pajka
Vsako podjetje za UI uporablja ločene pajke. Učenje:
GPTBot,ClaudeBot. Iskanje:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Na zahtevo osebe:ChatGPT-User,Claude-User,Perplexity-User. - Preberite robots.txt zanj
Odprite
https://example.com/robots.txtin poiščite skupino, ki imenuje pajka. Če je ni, velja skupinaUser-agent: *; če ni nobene od njiju, je dovoljeno vse. - Prenesite stran kot pajek
Zahtevajte stran z user agentom pajka in primerjajte status ter velikost s tem, kar dobi brskalnik. Napaka 403, stran z izzivom ali precej manjši 200 pomeni, da jo požarni zid zavrača.
Pogosta vprašanja
Ali je mesto brez robots.txt odprto za pajke UI?
Da, kar zadeva robots.txt. Napaka 404 za robots.txt pomeni, da pravil ni, zato sme vsak pajek prenesti vsako stran. Požarni zid lahko pajke kljub temu blokira.
Ali razširitev pokaže blokade požarnega zidu?
Ne. robots.txt bere iz vašega brskalnika, kar pokaže, kaj mesto prosi pajke. Za blokade požarnega zidu in zaščite pred boti je potrebna zahteva, poslana kot pajek, kar opravi celotno preverjanje na aiseewhy.com.
Ali lahko preverim mesto, ki ni moje?
Da. robots.txt je javen, razširitev pa bere samo datoteki robots.txt in llms.txt, ki ju mesto objavi, torej isti datoteki, ki ju bere vsak pajek.
Preberite celoten vodnik
Ne glede na to, ali po spremembi preverjate svoje mesto ali si ogledujete tuje, preden se nanj zanesete, ima vprašanje „ali to mesto blokira pajke UI?“ natančen odgovor. Odvisen je od tega, katerega pajka imate v mislih, saj podjetja UI uporabljajo ločene pajke za učenje, za iskanje in za obiske v živo, mesto pa lahko vsakega obravnava drugače. Ta vodnik prikazuje tri preverjanja, od najhitrejšega do najpopolnejšega.
Kje lahko spletno mesto blokira pajke UI?
Obstajajo tri plasti in pajek mora skozi vse, da lahko stran uporabi.
- robots.txt: javna datoteka s pravili, ki jo dobro vzgojeni pajki preberejo, preden karkoli prenesejo. To je prošnja, ne ključavnica.
- Strežnik, CDN ali požarni zid: odloča, kaj se dejansko vrne. Pravilo zaščite pred boti lahko pajku odgovori z napako 403, 429 ali s stranjo z izzivom, tudi ko ga robots.txt dovoljuje.
- Stran sama: če se glavno besedilo pojavi šele po zagonu JavaScripta, pajek, ki bere začetni HTML, dobi skoraj prazno stran, čeprav ga ni nič blokiralo.
Večina hitrih preverjanj pogleda samo prvo plast. To je dober začetek, če ne pozabite na drugi dve.
Kako preberem robots.txt za enega pajka UI?
V brskalniku odprite https://example.com/robots.txt in poiščite skupino, ki velja za pajka. Skupina se začne z eno ali več vrsticami User-agent. Pajek uporabi skupino, ki navaja njegov žeton, na primer GPTBot; velike in male črke niso pomembne. Če ga ne navaja nobena skupina, uporabi skupino User-agent: *. Če ni ne ene ne druge, je dovoljeno vse.
Znotraj skupine zmaga pravilo z najdaljšo ujemajočo se potjo, in ko sta Allow in Disallow enako dolga, zmaga Allow. Spodnja datoteka zato GPTBot blokira na celotnem mestu, vse druge pajke pa spusti noter:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Poglejte tudi, kako datoteka odgovori. Po RFC 9309 napaka 404 pomeni, da pravil ni, zato je dovoljeno vse. Napaka strežnika (5xx) ali odsotnost odgovora pomeni, da mora pajek celotno mesto obravnavati kot prepovedano. Pogosta napaka je naslov robots.txt, ki vrne stran HTML: pajki v njej ne najdejo veljavnih pravil.
Kako preverim vse pajke UI hkrati?
Ročno branje datoteke postane počasno, ko vam je pomembnih več pajkov. Vsako podjetje UI uporablja več pajkov z različnimi nalogami:
- Pajki za učenje zbirajo vsebino za učenje modelov:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagentter žetonaGoogle-ExtendedinApplebot-Extended, ki se pojavljata samo v robots.txt. - Pajki za iskanje indeksirajo strani, da jih lahko odgovori UI citirajo:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Uporabniški pajki prenesejo stran, ko asistenta za to prosi človek:
ChatGPT-User,Claude-User,Perplexity-User.
Brezplačna razširitev Preverjanje pajkov UI za Chrome to opravi z enim klikom. Odprite katerokoli stran, kliknite ikono in razširitev prebere robots.txt tega mesta ter za vsakega od 16 pajkov pokaže, ali je stran dovoljena in katera vrstica o tem odloča. Pokaže tudi nastavitve Content-Signal, ali ima mesto datoteko llms.txt, in zemljevide mesta, navedene v robots.txt. Deluje v vašem brskalniku, ne potrebuje računa in bere samo mesto, na katerem jo kliknete.
Brez Chroma enak odgovor za prilepljen URL da brezplačno preverjanje robots.txt na aiseewhy.com.
Kako preverim, ali jih požarni zid spusti skozi?
robots.txt pokaže, kaj mesto prosi. Če želite videti, kaj pajek dejansko dobi, stran zahtevajte dvakrat, enkrat kot brskalnik in enkrat z user agentom pajka, ter primerjajte statusno kodo in velikost odgovora:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Če brskalnik dobi 200, pajek pa 403, 429 ali 503 ali precej manjšo stran, požarni zid ali zaščita pred boti pajka obravnava drugače. Za vsak zunanji preizkus velja ena omejitev: prihaja iz vašega omrežja, ne iz omrežja podjetja UI. Požarni zid, ki pajkom zaupa po njihovih objavljenih naslovih IP, lahko pravega pajka obravnava drugače, zato imajo zadnjo besedo dnevniki vašega strežnika.
Celotno preverjanje na aiseewhy.com prenese stran kot vseh 16 pajkov ob pravem brskalniku, poimenuje požarni zid ali pravilo, ki pajka blokira, in primerja besedilo, ki ga je prejel vsak od njih.
Kakšen rezultat naj bo vaš cilj?
Odvisno je od tega, kaj želite. Če želite biti citirani v iskanju ChatGPT, v Claude in v Perplexity, morajo biti pajki za iskanje in uporabniški pajki v robots.txt dovoljeni in od strežnika morajo dobiti pravo stran. Če ne želite, da se vaša vsebina uporablja za učenje, blokirajte samo žetone za učenje. To sta ločeni odločitvi: blokiranje GPTBot ne blokira OAI-SearchBot, blokiranje ClaudeBot pa ne blokira Claude-SearchBot.
Mnoga mesta ju zamenjujejo. V našem poročilu iz novembra 2026 o 1.000 najbolj priljubljenih domenah 63 % mest, ki blokirajo pajka za učenje, blokira tudi vsaj enega pajka za iskanje UI ali uporabniškega pajka, s čimer svoje strani izločijo iz teh odgovorov UI.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje in validator llms.txt
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Viri
- RFC 9309: Robots Exclusion Protocol
- OpenAI: pregled pajkov OpenAI
- Anthropic: Ali Anthropic pajka podatke s spleta in kako lahko lastniki spletnih mest pajka blokirajo?
- Perplexity: pajki Perplexity
- Google: običajni pajki, vključno z Google-Extended
- AISeeWhy: poročilo o dostopu pajkov UI, 2026-11