Si të bllokoni trajnimin e AI, por të mbeteni në përgjigjet e kërkimit me AI

Publikuar

Përgjigje e shkurtër

Shumica e ofruesve të AI përdorin token-ë të veçantë në robots.txt për trajnimin e modeleve dhe për kërkimin. Ndaloni token-ët e trajnimit, si GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent dhe CCBot, dhe lejoni token-ët e kërkimit dhe të përdoruesve, si OAI-SearchBot, Claude-SearchBot dhe PerplexityBot. Shtoni një rresht Content-Signal për ta shprehur të njëjtën preferencë me fjalë.

Shumë pronarë sajtesh duan dy gjëra njëherësh: nuk duan që përmbajtja e tyre të përdoret për të trajnuar modele AI, por duan që asistentët AI t'i gjejnë, t'i citojnë dhe t'i lidhin faqet e tyre. Meqë ofruesit kryesorë tani i ndajnë këto detyra mes zvarritësve ose token-ëve të ndryshëm, robots.txt mund t'i shprehë të dyja zgjedhjet. Problemi është që emrat ndryshojnë nga një ofrues te tjetri, disa ofrues nuk e ndjekin këtë model, dhe një rresht i gabuar mund t'ju heqë nga përgjigjet e AI në vend që t'ju heqë nga të dhënat e trajnimit.

Në këtë faqe
  1. Cili është ndryshimi mes një zvarritësi trajnimi dhe një zvarritësi kërkimi?
  2. Cilët token-ë kontrollojnë trajnimin dhe cilët kërkimin?
  3. Si duket robots.txt?
  4. Sa sajte e bëjnë tashmë këtë?
  5. Çfarë shton Content-Signal?
  6. Ku nuk funksionon pastër kjo ndarje?
  7. Si ta kontrolloj që ndarja funksionon?

Cili është ndryshimi mes një zvarritësi trajnimi dhe një zvarritësi kërkimi?

Një zvarritës trajnimi mbledh faqe që mund të përdoren për të ndërtuar ose përmirësuar modele AI. Trajnimi në vetvete nuk sjell citim apo lidhje. Një zvarritës kërkimi ndërton një indeks që asistenti AI e përdor për të gjetur burime për një përgjigje, dhe këto burime janë ato që mund të citojë. Një agjent që nis nga përdoruesi e hap një faqe drejtpërdrejt, sepse dikush pyeti për të.

Ofruesit i dokumentojnë këto role veç e veç dhe thonë se cilësimet janë të pavarura. OpenAI, për shembull, thotë se çdo cilësim i robots.txt për zvarritësit e tij është i pavarur nga të tjerët. Pra, një refuzim i trajnimit, i bërë si duhet, nuk e prek dukshmërinë tuaj në kërkim.

Cilët token-ë kontrollojnë trajnimin dhe cilët kërkimin?

Këta janë token-ët që dokumentojnë ofruesit, të grupuar sipas asaj që kontrollojnë:

Si duket robots.txt?

Disa rreshta User-agent njëri pas tjetrit formojnë një grup sipas RFC 9309, ndaj rregullat zbatohen për secilin prej tyre. Ky skedar refuzon token-ët e trajnimit më sipër, lejon agjentët e kërkimit dhe të përdoruesve, dhe mban një shteg privat të mbyllur për të gjithë:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Dy detaje kanë rëndësi. Së pari, një grup me emër nuk trashëgon nga *, ndaj çdo shteg privat duhet përsëritur te grupi i kërkimit. Së dyti, mos i shtoni Googlebot ose Applebot te grupi i trajnimit: ata janë zvarritësit e kërkimit, dhe bllokimi i tyre ju heq nga Google Search dhe nga funksionet e kërkimit të Apple. Ndryshimet nuk janë të menjëhershme: OpenAI flet për rreth 24 orë për kërkimin, dhe Perplexity për deri në 24 orë.

Sa sajte e bëjnë tashmë këtë?

Më pak nga sa mund të prisni. Më 2026-11-12 lexuam skedarët robots.txt të 1 000 domeneve më të njohura në listën Tranco. Nga 518 që shërbenin një robots.txt, 155 (29,9%) e ndalojnë faqen kryesore për të paktën një zvarritës trajnimi AI. Vetëm 57 (11,0%) ndjekin rrugën selektive: bllokojnë zvarritësit e trajnimit dhe lejojnë çdo zvarritës kërkimi dhe përdoruesi AI që testuam. Gjithsej, 101 sajte (19,5%) bllokojnë të paktën një zvarritës kërkimi ose përdoruesi AI.

Shifrat për çdo zvarritës tregojnë të njëjtën ndarje. GPTBot është i bllokuar në 111 sajte (21,4%) dhe OAI-SearchBot në 58 (11,2%). ClaudeBot është i bllokuar në 110 (21,2%) dhe Claude-SearchBot në 67 (12,9%). Google-Extended është i bllokuar në 94 (18,1%), Googlebot në 14 (2,7%). Vetëm 18 sajte (3,5%) përdorin Content-Signal.

Studimi shikon vetëm rregullat e robots.txt për faqen kryesore. Ai nuk mat bllokimet e firewall-it dhe nuk tregon çfarë synonte secili sajt.

Çfarë shton Content-Signal?

Content Signals është një zgjerim i robots.txt i publikuar nga Cloudflare në contentsignals.org. Një rresht Content-Signal deklaron si mund të përdoret përmbajtja, me tre sinjale: search (ndërtimi i një indeksi kërkimi dhe shfaqja e lidhjeve dhe fragmenteve të shkurtra), ai-input (futja e përmbajtjes në modele AI në kohë reale, si grounding ose retrieval për përgjigje gjeneruese) dhe ai-train (trajnimi ose fine-tuning i modeleve).

Vini re se përkufizimi i search përjashton përmbledhjet e kërkimit të gjeneruara nga AI. Nëse doni të shfaqeni në përgjigjet e AI, vendosni edhe ai-input=yes, si në shembullin më sipër. robots.txt i menaxhuar i Cloudflare shton si parazgjedhje search=yes, ai-train=no; një sinjal që e lini jashtë as e lejon, as e kufizon atë përdorim.

Këto janë preferenca të deklaruara. Sajti i Content Signals thotë se ato nuk e pengojnë zvarritjen në nivel teknik, dhe Cloudflare vëren se respektimi i robots.txt është vullnetar. Asnjë nga faqet e zvarritësve të OpenAI, Anthropic, Google apo Perplexity që kontrolluam nuk thotë nëse e lexojnë Content-Signal, ndaj trajtojeni si shtesë të grupeve për çdo zvarritës, jo si zëvendësim.

Ku nuk funksionon pastër kjo ndarje?

Disa raste kërkojnë kujdes:

Si ta kontrolloj që ndarja funksionon?

Lexojeni robots.txt ashtu si do ta lexonte secili zvarritës: gjeni grupin që e përmend, kaloni te * vetëm nëse nuk ka asnjë, dhe zbatoni rregullin më të gjatë që përputhet. Pastaj kërkoni një faqe me user agent-in e secilit zvarritës kërkimi dhe konfirmoni që merr një 200 me përmbajtjen e plotë, jo një 403 ose një faqe sfide.

AISeeWhy i bën të dyja për 14 zvarritës, të grupuar si agjentë trajnimi, kërkimi dhe përdoruesi, dhe shënon gabimin më të shpeshtë: bllokimin e një token-i kërkimi si PerplexityBot ose Claude-SearchBot kur synimi ishte të bllokohej trajnimi.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A do ta heqë bllokimi i GPTBot sajtin tim nga përgjigjet e ChatGPT?

Jo. OpenAI thotë se GPTBot shërben për trajnim dhe se çdo cilësim i robots.txt është i pavarur. Kërkimi i ChatGPT përdor OAI-SearchBot; për sa kohë ai lejohet dhe nuk bllokohet nga firewall-i juaj, faqet tuaja mbeten të përshtatshme.

A më heq bllokimi i Google-Extended nga AI Overviews?

Jo sipas dokumentacionit të Google. Google thotë se Google-Extended nuk ndikon në përfshirjen në Google Search, dhe AI Overviews mbështeten në indeksin e Search. Google ofron një kontroll të veçantë në Search Console për ta përjashtuar një sajt nga AI Overviews dhe AI Mode.

A ka një rresht të vetëm që bllokon gjithë trajnimin e AI?

Asnjë rresht standard nuk e bën këtë. Content-Signal: ai-train=no e deklaron preferencën për të gjithë zvarritësit, por nëse një zvarritës e respekton varet nga operatori. Grupet me emër për çdo token trajnimi janë mënyra e dokumentuar.

A duhet ta bllokoj Perplexity për të ndaluar trajnimin e AI?

Perplexity thotë se agjentët e tij nuk përdoren për të mbledhur të dhëna trajnimi. Bllokimi i PerplexityBot ul dukshmërinë tuaj në rezultatet e kërkimit të Perplexity pa funksionuar si refuzim i trajnimit.

Burimet

Më shumë artikuj