robots.txt pentru crawlere AI: ce permiți și ce blochezi

Q: Acceptă crawlerele AI Crawl-delay?

Nu face parte din RFC 9309. Anthropic spune că acceptă Crawl-delay ca extensie nestandard; pentru alți furnizori, verifică documentația lor.

Q: Unde trebuie să se afle robots.txt?

La rădăcina fiecărui host, de exemplu https://example.com/robots.txt. Un fișier dintr-un subfolder este ignorat, iar fiecare subdomeniu are nevoie de al său.

Publicat 2026-11-12

Răspuns scurt

Dă fiecărui crawler AI care te interesează propriul grup User-agent. Permite crawlerele de căutare precum OAI-SearchBot, Claude-SearchBot și PerplexityBot dacă vrei să fii citat și decide separat în privința tokenurilor de antrenare precum GPTBot, ClaudeBot, Google-Extended și Applebot-Extended. Un grup numit înlocuiește grupul * pentru acel crawler.

robots.txt este un fișier text simplu care datează din 1994 și a devenit standard formal, RFC 9309, în 2022. Majoritatea furnizorilor de AI spun că crawlerele lor îl respectă, iar mai mulți publică tokenuri separate pentru căutare și pentru antrenare. Asta face din robots.txt cel mai simplu loc pentru a enunța o politică AI, cu condiția ca regulile să însemne ceea ce crezi că înseamnă.

Pe această pagină

Ce tokenuri din robots.txt folosesc crawlerele AI?
Cum arată un robots.txt bun pentru AI?
Cum aleg crawlerele ce reguli li se aplică?
Care sunt cele mai frecvente greșeli din robots.txt?
Pot enunța o politică de utilizare AI dincolo de allow și disallow?
Cât durează modificările și cum le verific?

Ce tokenuri din robots.txt folosesc crawlerele AI?

Acestea sunt tokenurile documentate de furnizori. Potrivirea nu ține cont de majuscule, conform RFC 9309.

OpenAI: OAI-SearchBot (căutarea ChatGPT), GPTBot (antrenare), ChatGPT-User (vizite cerute de utilizator; OpenAI spune că robots.txt poate să nu se aplice).
Anthropic: Claude-SearchBot (căutare), ClaudeBot (antrenare), Claude-User (vizite cerute de utilizator).
Perplexity: PerplexityBot (căutare), Perplexity-User (vizite cerute de utilizator; Perplexity spune că, în general, ignoră robots.txt).
Google: Googlebot (Google Search, inclusiv funcțiile sale AI) și Google-Extended, un token fără crawler propriu, care controlează utilizarea în antrenarea și grounding-ul Gemini.
Apple: Applebot (Spotlight, Siri, căutarea Safari) și Applebot-Extended, care nu parcurge site-uri, ci controlează utilizarea pentru antrenarea modelelor de bază ale Apple.
Meta: meta-externalagent (antrenare și indexarea produselor) și meta-webindexer (căutarea Meta AI).
Common Crawl: CCBot, care construiește arhiva publică gratuită de date web a Common Crawl.

Cum arată un robots.txt bun pentru AI?

Acest exemplu lasă să intre căutarea AI și preluările cerute de utilizatori, refuză principalele tokenuri de antrenare și ține închisă pentru toți o zonă privată:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Mai multe linii User-agent consecutive formează un singur grup, așa că regulile de sub ele se aplică fiecăruia dintre aceste crawlere. Dacă vrei totuși ca conținutul tău să fie folosit la antrenare, pur și simplu omite al doilea grup. Blocarea Google-Extended nu afectează Google Search: Google spune că nu influențează includerea în Search și nu este un semnal de clasare. La fel, Apple spune că paginile care interzic Applebot-Extended pot apărea în continuare în rezultatele sale de căutare.

Cum aleg crawlerele ce reguli li se aplică?

RFC 9309 definește asta precis, iar detaliile explică majoritatea surprizelor:

Un crawler caută grupul al cărui User-agent se potrivește cu tokenul său de produs, fără a ține cont de majuscule. Dacă se potrivesc mai multe grupuri, regulile lor se combină într-unul singur.
Doar dacă niciun grup nu se potrivește, crawlerul urmează grupul User-agent: *. Un grup numit nu moștenește nimic de la *.
În cadrul grupului, câștigă regula cu cea mai lungă cale potrivită. Allow: /blog/ bate Disallow: / pentru /blog/post.
Dacă o regulă Allow și una Disallow se potrivesc cu aceeași lungime, se folosește Allow.
* într-o cale se potrivește cu orice caractere, iar $ marchează sfârșitul, deci Disallow: /*.pdf$ acoperă toate PDF-urile.

Care sunt cele mai frecvente greșeli din robots.txt?

Așteptarea ca un grup numit să moștenească de la *. Un grup pentru OAI-SearchBot cu doar Allow: / deschide toate căile, inclusiv pe cele pe care le-ai interzis la *.
O adresă robots.txt care returnează o pagină HTML, adesea o pagină 404 servită cu status 200. Crawlerele nu găsesc în ea reguli valide.
Un robots.txt care returnează o eroare de server. RFC 9309 spune că un crawler trebuie atunci să presupună că întregul site este interzis. Un 404 e altceva: înseamnă că nu există restricții.
Blocarea unui token de căutare cu intenția de a bloca antrenarea, de exemplu interzicerea PerplexityBot sau Claude-SearchBot ca să eviți antrenarea modelelor.
Bazarea pe robots.txt pentru a opri preluările cerute de utilizatori. OpenAI și Perplexity spun amândouă că user agent-urile lor pot să nu îl respecte.
Uitarea subdomeniilor. Fiecare host are propriul robots.txt; documentația Anthropic le amintește proprietarilor de site-uri să adauge reguli pentru fiecare subdomeniu.

Pot enunța o politică de utilizare AI dincolo de allow și disallow?

Cloudflare a propus o linie Content-Signal pentru robots.txt, cu trei semnale: search (construirea unui index de căutare și afișarea de linkuri și extrase scurte), ai-input (folosirea conținutului în timp real pentru răspunsuri AI) și ai-train (antrenarea sau ajustarea modelelor). robots.txt gestionat de Cloudflare o poate adăuga pentru tine.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Ca tot ce ține de robots.txt, acestea sunt preferințe, nu controale tehnice. Cloudflare însăși notează că respectarea robots.txt este voluntară. Linia este opțională și nu strică, dar nu înlocuiește grupurile pe crawler de mai sus.

Cât durează modificările și cum le verific?

RFC 9309 spune că crawlerele nu ar trebui să folosească un robots.txt din cache mai mult de 24 de ore, iar OpenAI și Perplexity spun amândouă că modificările pot dura aproximativ o zi până se aplică. Ține minte și că robots.txt nu este control al accesului: un firewall poate bloca în continuare un crawler pe care regulile tale îl permit.

AISeeWhy analizează robots.txt conform RFC 9309 pentru fiecare crawler pe care îl testează, semnalează fișierele inaccesibile sau servite ca HTML, arată unde nu se potrivesc regulile tale cu serverul și oferă un diff gata de aplicat pentru modificare.

Întrebări frecvente

Îmi scade vizibilitatea în răspunsurile AI dacă blochez GPTBot sau ClaudeBot?

Nu direct. Ambii furnizori folosesc crawlere de căutare separate, OAI-SearchBot și Claude-SearchBot, pentru căutare. Blocarea crawlerului de antrenare este o alegere de politică.

Oprește Google-Extended AI Overviews?

Nu. Google spune că funcțiile AI din Search folosesc Googlebot și controalele obișnuite din Search, precum nosnippet și noindex. Google-Extended acoperă antrenarea și grounding-ul Gemini în alte produse Google și nu afectează Search.

Acceptă crawlerele AI Crawl-delay?

Nu face parte din RFC 9309. Anthropic spune că acceptă Crawl-delay ca extensie nestandard; pentru alți furnizori, verifică documentația lor.

Unde trebuie să se afle robots.txt?

La rădăcina fiecărui host, de exemplu https://example.com/robots.txt. Un fișier dintr-un subfolder este ignorat, iar fiecare subdomeniu are nevoie de al său.