Paano malaman kung bina-block ng website ang mga AI crawler
I-paste ang kahit anong address at tingnan kung bina-block nito ang GPTBot, ClaudeBot, PerplexityBot at iba pang AI crawler: sa robots.txt, sa firewall, o pareho.
Libre · Walang sign-up · Resulta sa loob ng 30 segundo
Aling mga crawler ang bina-block
Magkakahiwalay na ipinapakita ang training, search at user crawler, dahil hindi nagba-block ng OAI-SearchBot ang pag-block sa GPTBot, at hindi nagba-block ng Claude-SearchBot ang pag-block sa ClaudeBot.
Ang linyang nagpapasya
Para sa bawat crawler, binabasa ang robots.txt ayon sa mga patakaran ng RFC 9309: ang grupong nagpapangalan dito, o ang User-agent: * bilang panghalili, at ang rule na nananaig.
Mga pagtanggi ng firewall
Kinukuha ang pahina bilang 14 na crawler at bilang karaniwang browser. Minamarkahan ang mga block at challenge page, at pinapangalanan ang firewall na sumagot.
May ayos para sa bawat natuklasan
Bawat natuklasan ay may kasamang pagbabagong dapat gawin. Ipinapakita ng libreng check ang score mo at ang unang natuklasan; ang buong ulat ay $29, minsanan lang.
Puwedeng i-block ng site ang mga AI crawler sa dalawang lugar: sa robots.txt, na humihiling sa mga crawler na lumayo, at sa server o firewall, na talagang tumatanggi sa kanila. Basahin ang robots.txt para sa token ng bawat crawler, at kung wala, ang grupong User-agent: * ang tingnan. Pagkatapos, kunin ang pahina bilang crawler at ihambing ito sa browser. Kayang gawin ng isang browser extension ang bahaging robots.txt para sa 16 na AI crawler sa isang click.
Suriin nang mano-mano sa 3 hakbang
- Piliin ang crawler
May kanya-kanyang crawler ang bawat AI company. Training:
GPTBot,ClaudeBot. Search:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Kapag hiniling ng tao:ChatGPT-User,Claude-User,Perplexity-User. - Basahin ang robots.txt para dito
Buksan ang
https://example.com/robots.txtat hanapin ang grupong nagpapangalan sa crawler. Kung walang grupong gumagawa nito, ang grupongUser-agent: *ang umiiral; kung wala rin iyon, pinapayagan ang lahat. - Kunin ang pahina bilang crawler
I-request ang pahina gamit ang user agent ng crawler at ihambing ang status at laki sa nakukuha ng browser. Ang 403, challenge page o mas maliit na 200 ay nangangahulugang tinatanggihan ito ng firewall.
Mga madalas itanong
Bukas ba sa mga AI crawler ang site na walang robots.txt?
Oo, pagdating sa robots.txt. Ang 404 para sa robots.txt ay nangangahulugang walang rule, kaya puwedeng kunin ng bawat crawler ang bawat pahina. Puwede pa ring i-block ng firewall ang mga crawler.
Ipinapakita ba ng extension ang mga block ng firewall?
Hindi. Binabasa nito ang robots.txt mula sa browser mo, na nagpapakita kung ano ang hinihiling ng site sa mga crawler. Para sa mga block ng firewall at bot protection, kailangan ng request na ipinadala bilang crawler, at iyon ang ginagawa ng buong check sa aiseewhy.com.
Puwede ko bang suriin ang site na hindi akin?
Oo. Pampubliko ang robots.txt, at ang mga file na robots.txt at llms.txt lang na inilalathala ng site ang binabasa ng extension, ang parehong mga file na binabasa ng bawat crawler.
Basahin ang buong gabay
Sinusuri mo man ang sarili mong site pagkatapos ng isang pagbabago o tinitingnan ang site ng iba bago ka umasa rito, may tiyak na sagot ang tanong na "bina-block ba ng site na ito ang mga AI crawler?". Nakadepende ito sa kung aling crawler ang tinutukoy mo, dahil magkakahiwalay na crawler ang pinapatakbo ng mga AI company para sa training, para sa search at para sa mga live na pagbisita, at puwedeng iba-iba ang pagtrato ng site sa bawat isa. Ipinapakita ng gabay na ito ang tatlong pagsusuri, mula sa pinakamabilis hanggang sa pinakakumpleto.
Saan puwedeng i-block ng site ang mga AI crawler?
May tatlong layer, at kailangang malampasan ng crawler ang lahat ng ito para magamit ang isang pahina.
- robots.txt: isang pampublikong file ng mga rule na binabasa ng maaayos na crawler bago sila kumuha ng kahit ano. Kahilingan ito, hindi kandado.
- Ang server, CDN o firewall: ito ang nagpapasya kung ano talaga ang ibinabalik. Puwedeng sagutin ng isang bot protection rule ang crawler ng 403, 429 o challenge page kahit pinapayagan ito ng robots.txt.
- Ang pahina mismo: kung lumalabas lang ang pangunahing text pagkatapos tumakbo ng JavaScript, halos walang laman na pahina ang nakukuha ng crawler na nagbabasa ng unang HTML, kahit walang humarang dito.
Ang unang layer lang ang tinitingnan ng karamihan ng mabilisang pagsusuri. Magandang simula iyon, basta tandaan mo ang dalawa pa.
Paano ko babasahin ang robots.txt para sa isang AI crawler?
Buksan ang https://example.com/robots.txt sa browser at hanapin ang grupong nalalapat sa crawler. Nagsisimula ang grupo sa isa o higit pang linyang User-agent. Ginagamit ng crawler ang grupong bumabanggit sa token nito, gaya ng GPTBot; hindi mahalaga ang laki ng titik sa pagtutugma. Kung walang grupong bumabanggit dito, ang grupong User-agent: * ang ginagamit nito. Kung wala ang dalawa, pinapayagan ang lahat.
Sa loob ng grupo, nananalo ang rule na may pinakamahabang tumutugmang path, at kapag magkasinghaba ang isang Allow at isang Disallow, Allow ang nananalo. Kaya bina-block ng file sa ibaba ang GPTBot sa buong site pero pinapapasok ang lahat ng iba pang crawler:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Tingnan din kung paano sumasagot ang file. Ayon sa RFC 9309, ang 404 ay nangangahulugang walang rule, kaya pinapayagan ang lahat. Ang server error (5xx) o ang kawalan ng anumang sagot ay nangangahulugang dapat ituring ng crawler na disallowed ang buong site. Karaniwang pagkakamali ang robots.txt address na nagbabalik ng HTML page: walang valid na rule na makikita roon ang mga crawler.
Paano ko susuriin ang lahat ng AI crawler nang sabay-sabay?
Bumabagal ang manual na pagbasa ng file kapag higit sa isang crawler na ang mahalaga sa iyo. Ilang crawler ang pinapatakbo ng bawat AI company, na may magkakaibang trabaho:
- Nangongolekta ng content para sa model training ang mga training crawler:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, pati ang mga token naGoogle-ExtendedatApplebot-Extended, na sa robots.txt lang lumalabas. - Ini-index ng mga search crawler ang mga pahina para masipi ito ng mga sagot ng AI:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Kinukuha ng mga user crawler ang isang pahina kapag hiniling ito ng tao sa assistant:
ChatGPT-User,Claude-User,Perplexity-User.
Ginagawa ito sa isang click ng libreng AI Crawler Checker extension para sa Chrome. Buksan ang kahit anong pahina, i-click ang icon, at babasahin nito ang robots.txt ng site na iyon at ipapakita, para sa bawat isa sa 16 na crawler, kung pinapayagan ang pahina at kung aling linya ang nagpapasya. Ipinapakita rin nito ang mga Content-Signal preference, kung may llms.txt ang site, at ang mga sitemap na nakalista sa robots.txt. Tumatakbo ito sa browser mo, hindi kailangan ng account, at ang site lang na in-click mo ang binabasa nito.
Kung walang Chrome, ang libreng robots.txt checker sa aiseewhy.com ay nagbibigay ng parehong sagot para sa URL na ipe-paste mo.
Paano ko malalaman kung pinapadaan sila ng firewall?
Ipinapakita ng robots.txt kung ano ang hinihiling ng site. Para makita kung ano talaga ang nakukuha ng crawler, i-request ang pahina nang dalawang beses, isang beses bilang browser at isang beses gamit ang user agent ng crawler, at ihambing ang status code at laki ng response:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Kung 200 ang nakukuha ng browser at 403, 429 o 503, o mas maliit nang husto na pahina, ang nakukuha ng crawler, iba ang pagtrato ng firewall o bot protection sa crawler. May isang limitasyon ang bawat test mula sa labas: galing ito sa network mo, hindi sa network ng AI company. Ang firewall na nagtitiwala sa mga crawler batay sa nakalathalang IP address nila ay puwedeng iba ang pagtrato sa totoong crawler, kaya ang server logs mo ang huling batayan.
Kinukuha ng buong check sa aiseewhy.com ang pahina bilang lahat ng 16 na crawler katabi ng isang totoong browser, pinapangalanan ang firewall o rule na humaharang sa crawler, at inihahambing ang text na natanggap ng bawat isa.
Anong resulta ang dapat kong puntiryahin?
Depende ito sa gusto mo. Kung gusto mong masipi sa ChatGPT search, Claude at Perplexity, dapat pinapayagan sa robots.txt ang mga search at user crawler at dapat nilang makuha ang totoong pahina mula sa server. Kung ayaw mong magamit ang content mo sa training, ang mga training token lang ang i-block. Magkahiwalay na pagpili ang mga ito: hindi bina-block ng pag-block sa GPTBot ang OAI-SearchBot, at hindi bina-block ng pag-block sa ClaudeBot ang Claude-SearchBot.
Maraming site ang napagpapalit ang mga ito. Sa aming ulat noong Nobyembre 2026 tungkol sa 1,000 pinakasikat na domain, 63% ng mga site na nagba-block ng training crawler ay nagba-block din ng kahit isang AI search o user crawler, kaya hindi lumalabas ang mga pahina nila sa mga sagot na iyon ng AI.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- llms.txt checker at validator
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga pinagmulan
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI Crawler Access Report, 2026-11