Kuidas kontrollida, kas veebisait blokeerib AI-roboteid
Kleebi mis tahes aadress ja vaata, kas see blokeerib GPTBot'i, ClaudeBot'i, PerplexityBot'i ja teised AI-robotid: robots.txt-s, tulemüüris või mõlemas.
Tasuta · Registreerumata · Tulemus 30 sekundiga
Millised robotid on blokeeritud
Treening-, otsingu- ja kasutajarobotid on eraldi, sest GPTBot-i blokeerimine ei blokeeri OAI-SearchBot-i ning ClaudeBot-i blokeerimine ei blokeeri Claude-SearchBot-i.
Otsustav rida
Iga roboti puhul loetakse robots.txt RFC 9309 reeglite järgi: grupp, mis robotit nimetab, või varuvariandina User-agent: *, ning reegel, mis jääb peale.
Tulemüüri keeldumised
Lehte küsitakse 14 robotina ja tavalise brauserina. Blokeeringud ja kontrolllehed märgitakse ning vastanud tulemüür nimetatakse.
Lahendus igale leiule
Iga leiuga kaasneb muudatus, mida teha. Tasuta kontroll näitab sinu skoori ja esimest leidu; täisraport maksab $29, ühekordselt.
Sait saab AI-roboteid blokeerida kahes kohas: robots.txt-s, mis palub robotitel eemale hoida, ning serveris või tulemüüris, mis neid päriselt tagasi lükkab. Loe robots.txt-st iga roboti tunnust, varuvariandiks User-agent: *, siis laadi leht robotina ja võrdle seda brauseriga. Brauserilaiendus teeb robots.txt osa 16 AI-roboti jaoks ühe klõpsuga.
Kontrolli käsitsi 3 sammuga
- Vali robot
Iga AI-ettevõte kasutab eraldi roboteid. Treening:
GPTBot,ClaudeBot. Otsing:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Inimese palvel:ChatGPT-User,Claude-User,Perplexity-User. - Loe selle kohta robots.txt-i
Ava
https://example.com/robots.txtja leia grupp, mis robotit nimetab. Kui ühtegi ei ole, kehtib gruppUser-agent: *; kui pole kumbagi, on kõik lubatud. - Lae leht robotina
Küsi lehte roboti user agent'iga ja võrdle olekut ning suurust brauseri omaga. 403, kontrollleht või palju väiksem 200 tähendab, et tulemüür keeldub.
Korduma kippuvad küsimused
Kas sait ilma robots.txt-ta on AI-robotitele avatud?
Jah, mis puudutab robots.txt-d. 404 robots.txt puhul tähendab, et reegleid pole, seega võib iga robot laadida iga lehte. Tulemüür võib roboteid siiski blokeerida.
Kas laiendus näitab tulemüüri blokeeringuid?
Ei. See loeb robots.txt-d sinu brauserist, mis näitab, mida sait robotitelt palub. Tulemüüri ja robotikaitse blokeeringute nägemiseks on vaja robotina saadetud päringut ja seda teeb täielik kontroll aiseewhy.com-is.
Kas ma saan kontrollida saiti, mis pole minu oma?
Jah. robots.txt on avalik ja laiendus loeb ainult saidi avaldatud robots.txt ja llms.txt faile, samu faile, mida loeb iga robot.
Loe kogu juhendit
Kas kontrollid oma saiti pärast muudatust või vaatad kellegi teise saiti enne, kui sellele tugined, küsimusele „kas see sait blokeerib AI-roboteid?” on täpne vastus. See sõltub sellest, millist robotit mõtled, sest AI-ettevõtted kasutavad eraldi roboteid treeninguks, otsinguks ja otsekülastusteks ning sait võib igaüht neist kohelda erinevalt. See juhend näitab kolme kontrolli, kiireimast kõige põhjalikumani.
Kus saab sait AI-roboteid blokeerida?
Kihte on kolm ja robot peab lehe kasutamiseks läbima need kõik.
- robots.txt: avalik reeglifail, mida korralikult käituvad robotid loevad enne, kui midagi laadivad. See on palve, mitte lukk.
- Server, CDN või tulemüür: see otsustab, mida tegelikult tagasi saadetakse. Robotikaitse reegel võib robotile vastata koodiga 403, 429 või kontrollilehega ka siis, kui robots.txt seda lubab.
- Leht ise: kui põhitekst ilmub alles pärast JavaScripti käivitumist, saab esialgset HTML-i lugev robot peaaegu tühja lehe, kuigi miski teda ei blokeerinud.
Enamik kiireid kontrolle vaatab ainult esimest kihti. See on hea algus, kui ainult ülejäänud kaht meeles pead.
Kuidas lugeda robots.txt-d ühe AI-roboti jaoks?
Ava brauseris https://example.com/robots.txt ja leia grupp, mis robotile kehtib. Grupp algab ühe või mitme User-agent reaga. Robot kasutab gruppi, kus on nimetatud tema tunnus, näiteks GPTBot; sobitamine ei sõltu suur- ja väiketähtedest. Kui ükski grupp teda ei nimeta, kasutab ta gruppi User-agent: *. Kui pole kumbagi, on kõik lubatud.
Grupi sees võidab pikima sobiva teega reegel ja kui Allow ja Disallow on võrdse pikkusega, võidab Allow. Seega blokeerib allolev fail GPTBot-i kogu saidilt, kuid laseb kõik teised robotid sisse:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Vaata ka, kuidas fail vastab. RFC 9309 järgi tähendab 404, et reegleid pole, seega on kõik lubatud. Serveri viga (5xx) või vastuse puudumine tähendab, et robot peab kogu saiti keelatuks lugema. robots.txt aadress, mis tagastab HTML-lehe, on levinud viga: robotid ei leia sealt ühtegi kehtivat reeglit.
Kuidas kontrollida kõiki AI-roboteid korraga?
Faili käsitsi lugemine muutub aeglaseks, kui sind huvitab rohkem kui üks robot. Iga AI-ettevõte kasutab mitut, eri ülesannetega:
- Treeningrobotid koguvad sisu mudelite treenimiseks:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, lisaks tunnusedGoogle-ExtendedjaApplebot-Extended, mis esinevad ainult robots.txt-s. - Otsingurobotid indekseerivad lehti, et AI-vastused saaksid neile viidata:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Kasutajarobotid laadivad lehe, kui inimene seda assistendilt palub:
ChatGPT-User,Claude-User,Perplexity-User.
Tasuta Chrome'i laiendus AI-robotite kontrollija teeb seda ühe klõpsuga. Ava ükskõik milline leht, klõpsa ikooni ja see loeb saidi robots.txt-d ning näitab iga 16 roboti kohta, kas leht on lubatud ja milline rida selle otsustab. Samuti näitab see Content-Signal eelistusi, kas saidil on llms.txt, ja robots.txt-s loetletud saidikaarte. See töötab sinu brauseris, ei vaja kontot ja loeb ainult seda saiti, millel sellele klõpsad.
Ilma Chrome'ita annab aiseewhy.com tasuta robots.txt kontrollija sama vastuse kleebitud URL-i kohta.
Kuidas kontrollida, kas tulemüür neid läbi laseb?
robots.txt näitab, mida sait palub. Et näha, mida robot tegelikult saab, küsi lehte kaks korda, üks kord brauserina ja üks kord roboti user agent'iga, ning võrdle olekukoodi ja vastuse suurust:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Kui brauser saab 200 ja robot saab 403, 429 või 503 või palju väiksema lehe, kohtleb tulemüür või robotikaitse robotit teisiti. Ühe piirangu all on iga väline test: see tuleb sinu võrgust, mitte AI-ettevõtte omast. Tulemüür, mis usaldab roboteid nende avaldatud IP-aadresside järgi, võib päris robotit kohelda teisiti, seega on viimane sõna sinu serveri logidel.
Täielik kontroll aiseewhy.com-is laadib lehe kõigi 16 robotina päris brauseri kõrval, nimetab tulemüüri või reegli, mis robotit blokeerib, ja võrdleb teksti, mille igaüks sai.
Millise tulemuse poole püüelda?
See sõltub sellest, mida soovid. Kui tahad, et sulle viidataks ChatGPT otsingus, Claude'is ja Perplexitys, peavad otsingu- ja kasutajarobotid olema robots.txt-s lubatud ja saama serverist päris lehe. Kui sa ei taha, et sinu sisu kasutataks treeninguks, blokeeri ainult treeningtunnused. Need on eraldi valikud: GPTBot blokeerimine ei blokeeri OAI-SearchBot-i ja ClaudeBot blokeerimine ei blokeeri Claude-SearchBot-i.
Paljud saidid ajavad need segi. Meie 2026. aasta novembri aruandes 1000 populaarseima domeeni kohta blokeerivad 63% treeningrobotit blokeerivatest saitidest ka vähemalt ühe AI-otsingu- või kasutajaroboti, mis jätab nende lehed neist AI-vastustest välja.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- llms.txt kontrollija ja valideerija
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Allikad
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI Crawler Access Report, 2026-11