AISeeWhy
RO
Începe proba gratuită

Cum blochezi antrenarea AI și rămâi în răspunsurile din căutarea AI

Publicat

Răspuns scurt

Majoritatea furnizorilor de AI folosesc tokenuri robots.txt separate pentru antrenarea modelelor și pentru căutare. Interzice tokenurile de antrenare, precum GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent și CCBot, și permite tokenurile de căutare și de utilizator, precum OAI-SearchBot, Claude-SearchBot și PerplexityBot. Adaugă o linie Content-Signal pentru a exprima aceeași preferință în cuvinte.

Mulți proprietari de site-uri vor două lucruri deodată: nu vor ca conținutul lor să fie folosit la antrenarea modelelor AI, dar vor ca asistenții AI să le găsească, să le citeze și să trimită către paginile lor. Deoarece marii furnizori împart acum aceste roluri între crawlere sau tokenuri diferite, robots.txt poate exprima ambele alegeri. Capcana este că numele diferă de la un furnizor la altul, câțiva furnizori nu se potrivesc tiparului, iar o singură linie greșită te poate scoate din răspunsurile AI în loc să te scoată din datele de antrenare.

Pe această pagină
  1. Care este diferența dintre un crawler de antrenare și unul de căutare?
  2. Ce tokenuri controlează antrenarea și care controlează căutarea?
  3. Cum arată robots.txt?
  4. Câte site-uri fac deja asta?
  5. Ce adaugă Content-Signal?
  6. Unde nu funcționează curat această împărțire?
  7. Cum verific dacă împărțirea funcționează?

Care este diferența dintre un crawler de antrenare și unul de căutare?

Un crawler de antrenare colectează pagini care pot fi folosite pentru a construi sau a îmbunătăți modele AI. Antrenarea în sine nu produce o citare sau un link. Un crawler de căutare construiește un index pe care un asistent AI îl folosește pentru a găsi surse pentru un răspuns, iar acele surse sunt cele pe care le poate cita. Un instrument de preluare declanșat de utilizator deschide o pagină pe loc, pentru că cineva a întrebat despre ea.

Furnizorii documentează aceste roluri separat și spun că setările sunt independente. OpenAI, de exemplu, spune că fiecare setare robots.txt pentru crawlerele sale este independentă de celelalte. Așadar, o renunțare la antrenare, făcută corect, nu îți afectează vizibilitatea în căutare.

Ce tokenuri controlează antrenarea și care controlează căutarea?

Acestea sunt tokenurile documentate de furnizori, grupate după ce controlează:

Cum arată robots.txt?

Mai multe linii User-agent consecutive formează un singur grup conform RFC 9309, deci regulile se aplică fiecăruia dintre ele. Acest fișier renunță la tokenurile de antrenare de mai sus, permite agenții de căutare și de utilizator și ține închisă o cale privată pentru toți:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Contează două detalii. În primul rând, un grup numit nu moștenește din *, deci căile private trebuie repetate în grupul de căutare. În al doilea rând, nu adăuga Googlebot sau Applebot în grupul de antrenare: sunt crawlerele de căutare, iar blocarea lor te scoate din Google Search și din funcțiile de căutare ale Apple. Modificările nu sunt instantanee: OpenAI spune aproximativ 24 de ore pentru căutare, iar Perplexity spune până la 24 de ore.

Câte site-uri fac deja asta?

Mai puține decât te-ai aștepta. Am citit fișierele robots.txt ale celor mai populare 1.000 de domenii din lista Tranco la 2026-11-12. Dintre cele 518 care serveau un robots.txt, 155 (29,9%) interzic pagina principală pentru cel puțin un crawler de antrenare AI. Doar 57 (11,0%) aleg varianta selectivă: blochează crawlerele de antrenare și permit toate crawlerele AI de căutare și de utilizator testate de noi. În total, 101 site-uri (19,5%) blochează cel puțin un crawler AI de căutare sau de utilizator.

Cifrele pe crawlere arată aceeași împărțire. GPTBot este blocat pe 111 site-uri (21,4%), iar OAI-SearchBot pe 58 (11,2%). ClaudeBot este blocat pe 110 (21,2%), iar Claude-SearchBot pe 67 (12,9%). Google-Extended este blocat pe 94 (18,1%), Googlebot pe 14 (2,7%). Doar 18 site-uri (3,5%) folosesc Content-Signal.

Studiul se uită doar la regulile robots.txt pentru pagina principală. Nu măsoară blocajele de firewall și nu arată ce a intenționat fiecare site.

Ce adaugă Content-Signal?

Content Signals este o extensie robots.txt publicată de Cloudflare la contentsignals.org. O linie Content-Signal arată cum poate fi folosit conținutul, prin trei semnale: search (construirea unui index de căutare și afișarea de linkuri și scurte fragmente), ai-input (introducerea conținutului în modele AI în timp real, de exemplu pentru ancorare sau regăsire în răspunsuri generative) și ai-train (antrenarea sau reglarea fină a modelelor).

Reține că definiția lui search exclude rezumatele de căutare generate de AI. Dacă vrei să apari în răspunsurile AI, setează și ai-input=yes, ca în exemplul de mai sus. robots.txt gestionat de Cloudflare adaugă implicit search=yes, ai-train=no; un semnal omis nu acordă și nu restricționează acea utilizare.

Acestea sunt preferințe declarate. Site-ul Content Signals spune că nu împiedică crawlingul la nivel tehnic, iar Cloudflare notează că respectarea robots.txt este voluntară. Niciuna dintre paginile despre crawlere ale OpenAI, Anthropic, Google sau Perplexity pe care le-am verificat nu spune dacă citesc Content-Signal, deci tratează-l ca pe un adaos la grupurile pe crawler, nu ca pe un înlocuitor.

Unde nu funcționează curat această împărțire?

Câteva cazuri cer atenție:

Cum verific dacă împărțirea funcționează?

Citește-ți robots.txt așa cum l-ar citi fiecare crawler: găsește grupul care îl menționează, treci la * doar dacă niciunul nu o face și aplică cea mai lungă regulă potrivită. Apoi cere o pagină cu user agent-ul fiecărui crawler de căutare și confirmă că primește un 200 cu tot conținutul, nu un 403 sau o pagină de verificare.

AISeeWhy face ambele lucruri pentru 14 crawlere, grupate ca agenți de antrenare, de căutare și de utilizator, și semnalează cea mai frecventă greșeală: blocarea unui token de căutare precum PerplexityBot sau Claude-SearchBot, când intenția era să blochezi antrenarea.

Întrebări frecvente

Dacă blochez GPTBot, îmi dispare site-ul din răspunsurile ChatGPT?

Nu. OpenAI spune că GPTBot este pentru antrenare și că fiecare setare robots.txt este independentă. Căutarea ChatGPT folosește OAI-SearchBot; atât timp cât este permis și nu e blocat de firewall, paginile tale rămân eligibile.

Mă scoate blocarea lui Google-Extended din AI Overviews?

Nu, conform documentației Google. Google spune că Google-Extended nu afectează includerea în Google Search, iar AI Overviews se bazează pe indexul Search. Google oferă un control separat în Search Console pentru a exclude un site din AI Overviews și AI Mode.

Există o singură linie care blochează toată antrenarea AI?

Nu există o linie standard. Content-Signal: ai-train=no exprimă preferința pentru toate crawlerele, dar dacă un crawler o respectă depinde de operator. Grupurile numite pentru fiecare token de antrenare sunt metoda documentată.

Ar trebui să blochez Perplexity pentru a opri antrenarea AI?

Perplexity spune că agenții săi nu sunt folosiți pentru a colecta date de antrenare. Blocarea lui PerplexityBot îți reduce vizibilitatea în rezultatele de căutare din Perplexity, fără să servească drept renunțare la antrenare.

Surse

Alte articole