Apat sa sampung business website ang tumatanggi sa mga AI crawler
Sa mga audit namin ng 165 business website sa US, UK at France, 38% ang tumanggi sa kahit isang AI crawler sa antas ng server, halos laging training o scraper bot. Mga isa sa sampung site ang tumanggi rin sa AI search crawler gaya ng PerplexityBot o OAI-SearchBot, ang mga crawler na maaaring humantong sa pagsipi. Suriin ang sa iyo sa pamamagitan ng isang request bawat crawler.
Itinanong mo sa ChatGPT ang tungkol sa sarili mong produkto at ang binanggit nito ay isang kakumpitensya, isang review site at isang thread sa forum. Minsan usapin iyon ng nilalaman. Kadalasan, firewall ito na sumasagot ng hindi sa mga AI crawler, na hindi kailanman nakita ng sinuman sa team mo dahil gumagana ang site sa browser.
Sa pahinang ito
Ano ang sinubok namin?
Ilang beses naming kinukuha ang isang page mula sa parehong address: minsan bilang karaniwang browser, at minsan bilang bawat isa sa 14 na AI at search crawler, kasama ang GPTBot, OAI-SearchBot at ChatGPT-User mula sa OpenAI, ClaudeBot at Claude-SearchBot mula sa Anthropic, at PerplexityBot mula sa Perplexity. Kung nakuha ng browser ang page at 401, 403, 406, 429, 451, 503 o challenge page ang nakuha ng crawler, tinatanggihan ng site ang crawler na iyon.
Ang sample ay 218 business website sa US, UK at France, na na-audit mula 18 hanggang 21 Nobyembre 2026. Nagawa naming patakbuhin ang buong pagsusuri sa 165. Ang natitirang 53 ay tumanggi kahit sa payak naming request ng browser o hindi sumagot, kaya inalis namin sila sa halip na manghula.
Ano ang natuklasan namin?
- 38% ng mga nasubok na site (63 sa 165) ang tumanggi sa kahit isang AI crawler.
- Ang bawat isa sa mga site na iyon ay tumanggi sa kahit isang training o scraper crawler. Ang
Bytespideray tinanggihan ng 35% ng lahat ng site, angClaudeBotng 13% at angGPTBotng 11%. - 10% ng mga site (16) ang tumanggi rin sa kahit isang AI search crawler, at 5% (8) ang tumanggi sa crawler na nagbubukas ng page nang live kapag nagtanong ang isang tao sa assistant tungkol dito.
- Ang mga search crawler na pinakamahalaga ay ang
PerplexityBot(11 site) atOAI-SearchBot(5 site). - Ang Cloudflare ang nasa likod ng 32 sa 66 na site na tumanggi sa alinmang crawler na sinubok namin. Sa 30 pa, hindi namin nalaman kung aling firewall ang sumagot.
Bakit ito nangyayari, at kailan ito pagpili?
Malamang na sinadya ang malaking bahagi nito. Maraming may-ari ang ayaw gamitin ang nilalaman nila para mag-train ng mga model, at madaling i-on ang mga setting ng bot-protection na humaharang sa mga scraper. Makatwirang pagpili iyon.
Ang problema ay may magkahiwalay na crawler ang mga kumpanya ng AI para sa training at para sa search. Hindi kailangang harangan ang search crawler para harangan ang training crawler, at ang search crawler ang maaaring maghatid sa pagsipi ng page mo sa isang sagot.
Mas mahusay ba ang pinakamalalaking site?
Hindi naman. Sa robots.txt report namin sa 1,000 pinakasikat na domain, 29.9% ng mga site na may robots.txt ang humaharang sa kahit isang AI training crawler, at 63.2% ng mga iyon ang humaharang din sa kahit isang AI search o user crawler. 11.0% lang ang humaharang sa training habang pinapayagan ang bawat AI search crawler, na malamang ang setup na gusto ng karamihan sa kanila.
Paano ko susuriin ang sarili kong site sa loob ng sampung minuto?
- Buksan ang
yoursite.com/robots.txt. Para sa bawat AI crawler na mahalaga sa iyo, tingnan kung may grupong nagpapangalan dito at ano ang sinasabi ng grupo. Ang grupong nagpapangalan sa isang crawler ay ganap na pumapalit sa pangkalahatang grupong*. - Subukan ang ginagawa ng server, hindi ang sinasabi ng file. I-request ang pangunahing page mo bilang browser at bilang crawler. Ang 403, 429, pahinang may pamagat na
Just a moment..., o tugon na mas maliit nang husto kaysa sa tugon sa browser ang palatandaan ng pagharang ng firewall. - Tanungin ang assistant. Kapag naka-on ang search, itanong sa ChatGPT o Perplexity ang mga tanong ng mga mamimili mo at tingnan kung aling mga site ang sinisipi nito. Kung maayos ang access at wala ka pa rin doon, ang problema ay nilalaman, hindi access.
Gaano maaasahan ang mga numerong ito?
Ituring ang mga ito bilang padron, hindi census. Hindi random ang sample: mga kumpanyang nakita sa mga ad library, job board at map listing. Sinusubok namin ayon sa user agent mula sa iisang address, habang ang mga totoong crawler ay nagmumula sa mga address na inilalathala ng mga vendor nila, kaya iba ang pagtrato ng ilang firewall sa mga totoo. At hindi laging pagkakamali ang pagharang.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Ilang porsyento ng mga website ang humaharang sa mga AI crawler?
Sa audit namin ng 165 nasubok na business website, 38% ang tumanggi sa kahit isang AI crawler sa antas ng server, karamihan ay training at scraper bot. Mga 10% ang tumanggi rin sa AI search crawler.
Pinapalabas ba ng pagharang sa GPTBot ang site ko sa ChatGPT search?
Hindi. Ayon sa OpenAI, hiwalay ang bawat setting ng robots.txt para sa mga crawler nito: ang GPTBot ay para sa training, ang OAI-SearchBot ay para sa ChatGPT search. Ang pagharang sa isa ay hindi pagharang sa isa pa.
Paano makakaharang ang isang site ng crawler nang hindi gumagamit ng robots.txt?
Ang firewall, CDN o bot-protection rule ay maaaring sumagot sa crawler ng 403, 429 o challenge page. Hindi ito ipinapakita ng robots.txt, kaya kailangan itong subukan sa pamamagitan ng pag-request ng page bilang crawler.
Laging pagkakamali ba ang pagtanggi sa isang crawler?
Hindi. Maraming may-ari ang gustong ilayo ang mga training crawler at scraper. Ang pagkakamali ay ang aksidenteng pagharang sa mga search crawler, dahil ang mga iyon ang maaaring sumipi sa page mo.
Mga pinagmulan
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)