Lexuam robots.txt të 10 000 sajteve më të popullarizuara. Ja çfarë bëjnë ato me crawlerat e AI
Nga 6 192 domenet e Tranco top 10 000 që shërbejnë një robots.txt, 23,2% bllokojnë të paktën një crawler trajnimi të AI dhe 12,3% bllokojnë të paktën një crawler kërkimi ose përdoruesi të AI. 51,6% e sajteve që bllokojnë trajnimin bllokojnë edhe kërkimin e AI. Vetëm 11,2% dalin nga trajnimi duke lejuar çdo crawler kërkimi të AI.
Në nëntor lexuam robots.txt të 1 000 domeneve më të popullarizuara. Këtë herë lexuam 10 000, me të njëjtën metodë, dhe shtuam një kontroll se si ndryshon pamja kur sajtet bëhen më të vegjël. Përfundimi kryesor qëndron: bllokimi i trajnimit dhe bllokimi i kërkimit trajtohen si një vendim i vetëm, ndonëse janë dy.
Në këtë faqe
Si e matëm?
Morëm 10 000 domenet e para të listës Tranco (ID e listës JZWZY) dhe për secilin domen kërkuam një herë faqen kryesore, robots.txt dhe llms.txt më 21 nëntor 2026, me user agent-in e vetë AISeeWhy. E gjykuam çdo robots.txt sipas RFC 9309 për faqen kryesore (/) dhe për 16 crawlerë të AI dhe të kërkimit.
6 192 nga 10 000 domenet shërbyen një robots.txt (një përgjigje e suksesshme që nuk është faqe HTML). 1 121 u përgjigjën me një 4xx, që do të thotë pa rregulla dhe çdo crawler i lejuar, dhe 2 687 nuk shërbyen një të tillë (pa sajt HTTPS, gabime, skadim kohe ose një faqe HTML në vend). Çdo përqindje më poshtë është nga 6 192. Lista përfshin CDN dhe API që nuk shërbejnë asnjë sajt.
Çfarë gjetëm?
- 23,2% (1 437 domene) bllokojnë të paktën një crawler trajnimi të AI.
- 12,3% (762) bllokojnë të paktën një crawler kërkimi ose përdoruesi të AI, pra faqet nuk duhet të përdoren ose citohen nga përgjigjet që mbështeten te ai.
- 51,6% e domeneve që bllokojnë një crawler trajnimi (742 nga 1 437) bllokojnë edhe të paktën një crawler kërkimi ose përdoruesi të AI.
- Vetëm 11,2% (695) ndjekin rrugën selektive: bllokojnë crawlerat e trajnimit dhe lejojnë çdo crawler kërkimi dhe përdoruesi të AI.
- 6,5% (401) i shprehin preferencat e tyre për AI me
Content-Signal. - 12,4% e të gjithë 10 000 domeneve (1 240) publikojnë një
llms.txt. - Për krahasim, 2,0% (124) bllokojnë
Googlebotnë faqen kryesore.
Cilët crawlerë bllokohen më shpesh?
Pjesa e 6 192 domeneve robots.txt i të cilave ndalon faqen kryesore për crawlerin:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% është crawleri i kërkimit të AI që bllokohet më shpesh, përparaOAI-SearchBot7,0% dheClaude-SearchBot7,0%.- Crawlerat që hapin një faqe kur një person pyet:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
A bllokojnë më shumë sajtet më të mëdhenj?
Po, dhe e ngatërrojnë më shpesh trajnimin me kërkimin. E ndamë listën sipas renditjes:
- Vendet 1 deri 1 000 (560 domene me robots.txt): 28,6% bllokojnë trajnimin, 18,6% bllokojnë kërkimin e AI, dhe 63,1% e bllokuesve të trajnimit bllokojnë edhe kërkimin e AI.
- Vendet 1 001 deri 3 000 (1 256 domene): 23,5%, 13,5% dhe 55,6%.
- Vendet 3 001 deri 10 000 (4 376 domene): 22,4%, 11,2% dhe 48,6%.
Rruga selektive është e rrallë në çdo madhësi: 10,5%, 10,4% dhe 11,5% e domeneve në tre grupet.
A ka ndryshuar gjë qysh nga raporti ynë i 12 nëntorit?
I ekzekutuam sërish 1 000 domenet e para me të njëjtën listë. Rezultati është i qëndrueshëm brenda rreth një pike: 28,6% bllokojnë trajnimin (29,9% më 12 nëntor), 18,6% bllokojnë kërkimin e AI (19,5%), dhe 63,1% e bllokuesve të trajnimit bllokojnë edhe kërkimin e AI (63,2%). Emëruesit ndryshojnë pak (tani 560 domene me robots.txt, atëherë 518) sepse ky ekzekutim ndjek ridrejtimin e një domeni te hosti i tij kryesor para se ta kërkojë.
Çfarë do të thotë kjo për robots.txt tënd?
Shumica e kompanive të AI dokumentojnë crawlerë të ndarë për trajnim dhe për kërkim dhe thonë se cilësimet janë të pavarura. Ndalimi i GPTBot nuk e prek OAI-SearchBot, dhe ndalimi i ClaudeBot nuk e prek Claude-SearchBot. Nëse do të dalësh nga trajnimi dhe prapë të citohesh, blloko tokenat e trajnimit dhe lejo tokenat e kërkimit dhe të përdoruesit, dhe përsërit çdo shteg privat në çdo grup, sepse një grup i emërtuar nuk trashëgon nga *.
Sa të besueshme janë këto numra?
Janë rregulla robots.txt për faqen kryesore, të lexuara nga një parser në një ditë. Nuk masin bllokimet e firewall-it, që mund ta refuzojnë një crawler që robots.txt e lejon. Nuk mund të tregojnë çfarë synonte secili sajt, dhe lista Tranco përfshin domene që nuk shërbejnë asnjë sajt. Një rregull që bllokon një crawler kërkimi nuk është provë gabimi, vetëm e një zgjedhjeje që shpesh bëhet pa e ditur dallimin. Mund t'i citosh shifrat me një lidhje te kjo faqe.
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolluesi dhe validuesi i llms.txt
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
Sa për qind e sajteve popullore bllokojnë crawlerat e AI?
Ndër 6 192 domenet e Tranco top 10 000 që shërbejnë një robots.txt, 23,2% bllokojnë të paktën një crawler trajnimi të AI dhe 12,3% bllokojnë të paktën një crawler kërkimi ose përdoruesi të AI.
A bllokojnë edhe kërkimin e AI sajtet që bllokojnë trajnimin e AI?
Shpesh. 51,6% e sajteve që bllokojnë një crawler trajnimi bllokojnë edhe të paktën një crawler kërkimi ose përdoruesi të AI, megjithëse prodhuesit i dokumentojnë si crawlerë të ndarë me cilësime të pavarura.
Cili crawler i AI bllokohet më shpesh?
Ndër crawlerat e trajnimit Bytespider (18,7%) dhe CCBot (18,5%), pastaj GPTBot (17,4%). Ndër crawlerat e kërkimit të AI PerplexityBot bllokohet më shpesh, në 10,4% të domeneve.
Pse numrat ndryshojnë nga raporti juaj me 1 000 sajte?
1 000 domenet e para japin pothuajse të njëjtat përqindje (28,6% dhe 18,6% kundrejt 29,9% dhe 19,5%). Shifrat e 10 000 sajteve janë më të ulëta sepse sajtet më të vegjël bllokojnë më pak.
Burimet
- AISeeWhy: Raporti i qasjes së crawlerave të AI, 2026-11
- Tranco: një renditje sajtesh e orientuar drejt kërkimit
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Pasqyrë e crawlerave të OpenAI
- Anthropic: A mmbledh Anthropic të dhëna nga uebi dhe si mund ta bllokojnë crawlerin pronarët e sajteve?
- Perplexity: Crawlerat e Perplexity