Lexuam robots.txt të 10 000 sajteve më të popullarizuara. Ja çfarë bëjnë ato me crawlerat e AI

Publikuar

Përgjigje e shkurtër

Nga 6 192 domenet e Tranco top 10 000 që shërbejnë një robots.txt, 23,2% bllokojnë të paktën një crawler trajnimi të AI dhe 12,3% bllokojnë të paktën një crawler kërkimi ose përdoruesi të AI. 51,6% e sajteve që bllokojnë trajnimin bllokojnë edhe kërkimin e AI. Vetëm 11,2% dalin nga trajnimi duke lejuar çdo crawler kërkimi të AI.

Në nëntor lexuam robots.txt të 1 000 domeneve më të popullarizuara. Këtë herë lexuam 10 000, me të njëjtën metodë, dhe shtuam një kontroll se si ndryshon pamja kur sajtet bëhen më të vegjël. Përfundimi kryesor qëndron: bllokimi i trajnimit dhe bllokimi i kërkimit trajtohen si një vendim i vetëm, ndonëse janë dy.

Në këtë faqe
  1. Si e matëm?
  2. Çfarë gjetëm?
  3. Cilët crawlerë bllokohen më shpesh?
  4. A bllokojnë më shumë sajtet më të mëdhenj?
  5. A ka ndryshuar gjë qysh nga raporti ynë i 12 nëntorit?
  6. Çfarë do të thotë kjo për robots.txt tënd?
  7. Sa të besueshme janë këto numra?

Si e matëm?

Morëm 10 000 domenet e para të listës Tranco (ID e listës JZWZY) dhe për secilin domen kërkuam një herë faqen kryesore, robots.txt dhe llms.txt më 21 nëntor 2026, me user agent-in e vetë AISeeWhy. E gjykuam çdo robots.txt sipas RFC 9309 për faqen kryesore (/) dhe për 16 crawlerë të AI dhe të kërkimit.

6 192 nga 10 000 domenet shërbyen një robots.txt (një përgjigje e suksesshme që nuk është faqe HTML). 1 121 u përgjigjën me një 4xx, që do të thotë pa rregulla dhe çdo crawler i lejuar, dhe 2 687 nuk shërbyen një të tillë (pa sajt HTTPS, gabime, skadim kohe ose një faqe HTML në vend). Çdo përqindje më poshtë është nga 6 192. Lista përfshin CDN dhe API që nuk shërbejnë asnjë sajt.

Çfarë gjetëm?

Cilët crawlerë bllokohen më shpesh?

Pjesa e 6 192 domeneve robots.txt i të cilave ndalon faqen kryesore për crawlerin:

A bllokojnë më shumë sajtet më të mëdhenj?

Po, dhe e ngatërrojnë më shpesh trajnimin me kërkimin. E ndamë listën sipas renditjes:

Rruga selektive është e rrallë në çdo madhësi: 10,5%, 10,4% dhe 11,5% e domeneve në tre grupet.

A ka ndryshuar gjë qysh nga raporti ynë i 12 nëntorit?

I ekzekutuam sërish 1 000 domenet e para me të njëjtën listë. Rezultati është i qëndrueshëm brenda rreth një pike: 28,6% bllokojnë trajnimin (29,9% më 12 nëntor), 18,6% bllokojnë kërkimin e AI (19,5%), dhe 63,1% e bllokuesve të trajnimit bllokojnë edhe kërkimin e AI (63,2%). Emëruesit ndryshojnë pak (tani 560 domene me robots.txt, atëherë 518) sepse ky ekzekutim ndjek ridrejtimin e një domeni te hosti i tij kryesor para se ta kërkojë.

Çfarë do të thotë kjo për robots.txt tënd?

Shumica e kompanive të AI dokumentojnë crawlerë të ndarë për trajnim dhe për kërkim dhe thonë se cilësimet janë të pavarura. Ndalimi i GPTBot nuk e prek OAI-SearchBot, dhe ndalimi i ClaudeBot nuk e prek Claude-SearchBot. Nëse do të dalësh nga trajnimi dhe prapë të citohesh, blloko tokenat e trajnimit dhe lejo tokenat e kërkimit dhe të përdoruesit, dhe përsërit çdo shteg privat në çdo grup, sepse një grup i emërtuar nuk trashëgon nga *.

Sa të besueshme janë këto numra?

Janë rregulla robots.txt për faqen kryesore, të lexuara nga një parser në një ditë. Nuk masin bllokimet e firewall-it, që mund ta refuzojnë një crawler që robots.txt e lejon. Nuk mund të tregojnë çfarë synonte secili sajt, dhe lista Tranco përfshin domene që nuk shërbejnë asnjë sajt. Një rregull që bllokon një crawler kërkimi nuk është provë gabimi, vetëm e një zgjedhjeje që shpesh bëhet pa e ditur dallimin. Mund t'i citosh shifrat me një lidhje te kjo faqe.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

Sa për qind e sajteve popullore bllokojnë crawlerat e AI?

Ndër 6 192 domenet e Tranco top 10 000 që shërbejnë një robots.txt, 23,2% bllokojnë të paktën një crawler trajnimi të AI dhe 12,3% bllokojnë të paktën një crawler kërkimi ose përdoruesi të AI.

A bllokojnë edhe kërkimin e AI sajtet që bllokojnë trajnimin e AI?

Shpesh. 51,6% e sajteve që bllokojnë një crawler trajnimi bllokojnë edhe të paktën një crawler kërkimi ose përdoruesi të AI, megjithëse prodhuesit i dokumentojnë si crawlerë të ndarë me cilësime të pavarura.

Cili crawler i AI bllokohet më shpesh?

Ndër crawlerat e trajnimit Bytespider (18,7%) dhe CCBot (18,5%), pastaj GPTBot (17,4%). Ndër crawlerat e kërkimit të AI PerplexityBot bllokohet më shpesh, në 10,4% të domeneve.

Pse numrat ndryshojnë nga raporti juaj me 1 000 sajte?

1 000 domenet e para japin pothuajse të njëjtat përqindje (28,6% dhe 18,6% kundrejt 29,9% dhe 19,5%). Shifrat e 10 000 sajteve janë më të ulëta sepse sajtet më të vegjël bllokojnë më pak.

Burimet

Më shumë artikuj