Katër nga dhjetë sajte biznesi refuzojnë crawlerat e AI

Publikuar

Përgjigje e shkurtër

Në auditimet tona të 165 sajteve biznesi në SHBA, Britani dhe Francë, 38% refuzuan në server të paktën një crawler të AI, pothuajse gjithmonë një bot trajnimi ose zhvjelljeje. Rreth një sajt nga dhjetë refuzoi edhe një crawler kërkimi të AI si PerplexityBot ose OAI-SearchBot, pra crawlerat që mund të çojnë te një citim. Kontrolloje të tëndin me një kërkesë për çdo crawler.

I bën ChatGPT-së një pyetje për produktin tënd dhe ajo emërton një konkurrent, një sajt vlerësimesh dhe një temë forumi. Ndonjëherë kjo është çështje përmbajtjeje. Shpesh është një firewall që u përgjigjet crawlerave të AI me një jo, gjë që askush në ekipin tënd nuk e ka parë kurrë, sepse sajti punon në shfletues.

Në këtë faqe
  1. Çfarë testuam?
  2. Çfarë gjetëm?
  3. Pse ndodh, dhe kur është zgjedhje?
  4. A ia dalin më mirë sajtet më të mëdhenj?
  5. Si ta kontrolloj sajtin tim për dhjetë minuta?
  6. Sa të besueshme janë këto numra?

Çfarë testuam?

E kërkojmë një faqe disa herë nga e njëjta adresë: një herë si shfletues i zakonshëm dhe nga një herë si secili prej 14 crawlerëve të AI dhe të kërkimit, mes tyre GPTBot, OAI-SearchBot dhe ChatGPT-User nga OpenAI, ClaudeBot dhe Claude-SearchBot nga Anthropic dhe PerplexityBot nga Perplexity. Nëse shfletuesi e merr faqen dhe një crawler merr 401, 403, 406, 429, 451, 503 ose një faqe sfide, sajti e refuzon atë crawler.

Mostra është 218 sajte biznesi në SHBA, Britani dhe Francë, të audituara nga 18 deri më 21 nëntor 2026. Testin e plotë e ekzekutuam në 165. Të tjerët 53 refuzuan edhe kërkesën tonë të thjeshtë si shfletues ose nuk u përgjigjën, ndaj i lamë jashtë në vend që të hamendësonim.

Çfarë gjetëm?

Pse ndodh, dhe kur është zgjedhje?

Një pjesë e mirë kjo ka gjasa të jetë e qëllimshme. Shumë pronarë nuk duan që përmbajtja e tyre të përdoret për të trajnuar modele, dhe cilësimet e mbrojtjes nga botët që bllokojnë zhvjelluesit aktivizohen lehtë. Kjo është zgjedhje e arsyeshme.

Problemi është se kompanitë e AI përdorin crawlerë të ndarë për trajnim dhe për kërkim. Bllokimi i crawlerit të trajnimit nuk kërkon bllokimin e atij të kërkimit, dhe crawleri i kërkimit është ai që mund të çojë në citimin e faqes tënde në një përgjigje.

A ia dalin më mirë sajtet më të mëdhenj?

Jo vërtet. Në raportin tonë për robots.txt mbi 1 000 domenet më të popullarizuara, 29,9% e sajteve me robots.txt bllokojnë të paktën një crawler trajnimi të AI, dhe 63,2% e tyre bllokojnë edhe të paktën një crawler kërkimi ose përdoruesi të AI. Vetëm 11,0% bllokojnë trajnimin duke lejuar çdo crawler kërkimi të AI, që është konfigurimi që ndoshta e donin shumica.

Si ta kontrolloj sajtin tim për dhjetë minuta?

  1. Hap yoursite.com/robots.txt. Për secilin crawler të AI që të intereson, shiko nëse një grup e emërton dhe çfarë thotë grupi. Një grup që emërton një crawler e zëvendëson plotësisht grupin e përgjithshëm *.
  2. Testo çfarë bën serveri, jo çfarë thotë skedari. Kërko faqen tënde kryesore si shfletues dhe si crawler. Një 403, një 429, një faqe me titull Just a moment... ose një përgjigje shumë më e vogël se ajo e shfletuesit është shenja e një bllokimi nga firewall-i.
  3. Pyet asistentin. Me kërkimin të aktivizuar, pyet ChatGPT-në ose Perplexity me pyetjet që bëjnë blerësit e tu dhe shiko cilat sajte citon. Nëse qasja është në rregull dhe prapë mungon, problemi është përmbajtja, jo qasja.

Sa të besueshme janë këto numra?

Trajtoji si një model, jo si regjistrim të plotë. Mostra nuk është e rastësishme: janë kompani të gjetura përmes bibliotekave të reklamave, faqeve të punës dhe listimeve në harta. Ne testojmë sipas user agent nga një adresë, ndërsa crawlerat e vërtetë vijnë nga adresat që publikojnë prodhuesit e tyre, ndaj disa firewall-e do t'i trajtonin ndryshe të vërtetët. Dhe një bllokim nuk është gjithmonë gabim.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

Sa për qind e sajteve bllokojnë crawlerat e AI?

Në auditimin tonë të 165 sajteve biznesi të testueshme, 38% refuzuan në server të paktën një crawler të AI, kryesisht bote trajnimi dhe zhvjelljeje. Rreth 10% refuzuan edhe një crawler kërkimi të AI.

A e mban bllokimi i GPTBot sajtin tim jashtë kërkimit të ChatGPT?

Jo. OpenAI thotë se çdo cilësim robots.txt për crawlerat e saj është i pavarur: GPTBot lidhet me trajnimin, OAI-SearchBot me kërkimin e ChatGPT. Bllokimi i njërit nuk bllokon tjetrin.

Si mund ta bllokojë një sajt një crawler pa robots.txt?

Një rregull i firewall-it, CDN-së ose mbrojtjes nga botët mund t'i përgjigjet një crawleri me 403, 429 ose një faqe sfide. robots.txt nuk e tregon kurrë këtë, ndaj duhet testuar duke e kërkuar faqen si crawler.

A është gjithmonë gabim refuzimi i një crawleri?

Jo. Shumë pronarë duan t'i mbajnë jashtë crawlerat e trajnimit dhe zhvjelluesit. Gabimi është bllokimi aksidental i crawlerave të kërkimit, sepse këta janë ata që mund ta citojnë faqen tënde.

Burimet

Më shumë artikuj