Katër nga dhjetë sajte biznesi refuzojnë crawlerat e AI
Në auditimet tona të 165 sajteve biznesi në SHBA, Britani dhe Francë, 38% refuzuan në server të paktën një crawler të AI, pothuajse gjithmonë një bot trajnimi ose zhvjelljeje. Rreth një sajt nga dhjetë refuzoi edhe një crawler kërkimi të AI si PerplexityBot ose OAI-SearchBot, pra crawlerat që mund të çojnë te një citim. Kontrolloje të tëndin me një kërkesë për çdo crawler.
I bën ChatGPT-së një pyetje për produktin tënd dhe ajo emërton një konkurrent, një sajt vlerësimesh dhe një temë forumi. Ndonjëherë kjo është çështje përmbajtjeje. Shpesh është një firewall që u përgjigjet crawlerave të AI me një jo, gjë që askush në ekipin tënd nuk e ka parë kurrë, sepse sajti punon në shfletues.
Në këtë faqe
Çfarë testuam?
E kërkojmë një faqe disa herë nga e njëjta adresë: një herë si shfletues i zakonshëm dhe nga një herë si secili prej 14 crawlerëve të AI dhe të kërkimit, mes tyre GPTBot, OAI-SearchBot dhe ChatGPT-User nga OpenAI, ClaudeBot dhe Claude-SearchBot nga Anthropic dhe PerplexityBot nga Perplexity. Nëse shfletuesi e merr faqen dhe një crawler merr 401, 403, 406, 429, 451, 503 ose një faqe sfide, sajti e refuzon atë crawler.
Mostra është 218 sajte biznesi në SHBA, Britani dhe Francë, të audituara nga 18 deri më 21 nëntor 2026. Testin e plotë e ekzekutuam në 165. Të tjerët 53 refuzuan edhe kërkesën tonë të thjeshtë si shfletues ose nuk u përgjigjën, ndaj i lamë jashtë në vend që të hamendësonim.
Çfarë gjetëm?
- 38% e sajteve të testueshme (63 nga 165) refuzuan të paktën një crawler të AI.
- Secili prej këtyre sajteve refuzoi të paktën një crawler trajnimi ose zhvjelljeje.
Bytespideru refuzua nga 35% e të gjithë sajteve,ClaudeBotnga 13% dheGPTBotnga 11%. - 10% e sajteve (16) refuzuan edhe të paktën një crawler kërkimi të AI, dhe 5% (8) refuzuan një crawler që hap një faqe drejtpërdrejt kur një person pyet asistentin për të.
- Crawlerat e kërkimit që ranë më shumë në sy ishin
PerplexityBot(11 sajte) dheOAI-SearchBot(5 sajte). - Cloudflare qëndronte pas 32 nga 66 sajtet që refuzuan ndonjë crawler të testuar. Për 30 të tjerë nuk mundëm të themi cili firewall u përgjigj.
Pse ndodh, dhe kur është zgjedhje?
Një pjesë e mirë kjo ka gjasa të jetë e qëllimshme. Shumë pronarë nuk duan që përmbajtja e tyre të përdoret për të trajnuar modele, dhe cilësimet e mbrojtjes nga botët që bllokojnë zhvjelluesit aktivizohen lehtë. Kjo është zgjedhje e arsyeshme.
Problemi është se kompanitë e AI përdorin crawlerë të ndarë për trajnim dhe për kërkim. Bllokimi i crawlerit të trajnimit nuk kërkon bllokimin e atij të kërkimit, dhe crawleri i kërkimit është ai që mund të çojë në citimin e faqes tënde në një përgjigje.
A ia dalin më mirë sajtet më të mëdhenj?
Jo vërtet. Në raportin tonë për robots.txt mbi 1 000 domenet më të popullarizuara, 29,9% e sajteve me robots.txt bllokojnë të paktën një crawler trajnimi të AI, dhe 63,2% e tyre bllokojnë edhe të paktën një crawler kërkimi ose përdoruesi të AI. Vetëm 11,0% bllokojnë trajnimin duke lejuar çdo crawler kërkimi të AI, që është konfigurimi që ndoshta e donin shumica.
Si ta kontrolloj sajtin tim për dhjetë minuta?
- Hap
yoursite.com/robots.txt. Për secilin crawler të AI që të intereson, shiko nëse një grup e emërton dhe çfarë thotë grupi. Një grup që emërton një crawler e zëvendëson plotësisht grupin e përgjithshëm*. - Testo çfarë bën serveri, jo çfarë thotë skedari. Kërko faqen tënde kryesore si shfletues dhe si crawler. Një 403, një 429, një faqe me titull
Just a moment...ose një përgjigje shumë më e vogël se ajo e shfletuesit është shenja e një bllokimi nga firewall-i. - Pyet asistentin. Me kërkimin të aktivizuar, pyet ChatGPT-në ose Perplexity me pyetjet që bëjnë blerësit e tu dhe shiko cilat sajte citon. Nëse qasja është në rregull dhe prapë mungon, problemi është përmbajtja, jo qasja.
Sa të besueshme janë këto numra?
Trajtoji si një model, jo si regjistrim të plotë. Mostra nuk është e rastësishme: janë kompani të gjetura përmes bibliotekave të reklamave, faqeve të punës dhe listimeve në harta. Ne testojmë sipas user agent nga një adresë, ndërsa crawlerat e vërtetë vijnë nga adresat që publikojnë prodhuesit e tyre, ndaj disa firewall-e do t'i trajtonin ndryshe të vërtetët. Dhe një bllokim nuk është gjithmonë gabim.
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
Sa për qind e sajteve bllokojnë crawlerat e AI?
Në auditimin tonë të 165 sajteve biznesi të testueshme, 38% refuzuan në server të paktën një crawler të AI, kryesisht bote trajnimi dhe zhvjelljeje. Rreth 10% refuzuan edhe një crawler kërkimi të AI.
A e mban bllokimi i GPTBot sajtin tim jashtë kërkimit të ChatGPT?
Jo. OpenAI thotë se çdo cilësim robots.txt për crawlerat e saj është i pavarur: GPTBot lidhet me trajnimin, OAI-SearchBot me kërkimin e ChatGPT. Bllokimi i njërit nuk bllokon tjetrin.
Si mund ta bllokojë një sajt një crawler pa robots.txt?
Një rregull i firewall-it, CDN-së ose mbrojtjes nga botët mund t'i përgjigjet një crawleri me 403, 429 ose një faqe sfide. robots.txt nuk e tregon kurrë këtë, ndaj duhet testuar duke e kërkuar faqen si crawler.
A është gjithmonë gabim refuzimi i një crawleri?
Jo. Shumë pronarë duan t'i mbajnë jashtë crawlerat e trajnimit dhe zhvjelluesit. Gabimi është bllokimi aksidental i crawlerave të kërkimit, sepse këta janë ata që mund ta citojnë faqen tënde.
Burimet
- AISeeWhy: Raporti i qasjes së crawlerave të AI, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Pasqyrë e crawlerave të OpenAI
- Perplexity: Crawlerat e Perplexity
- Cloudflare: Menaxhimi i crawlerave të AI (AI Crawl Control)