robots.txt pre AI crawlery: čo povoliť a čo blokovať
Dajte každému AI crawleru, na ktorom vám záleží, vlastnú skupinu User-agent. Ak chcete byť citovaní, povoľte vyhľadávacie crawlery ako OAI-SearchBot, Claude-SearchBot a PerplexityBot a samostatne rozhodnite o tréningových tokenoch ako GPTBot, ClaudeBot, Google-Extended a Applebot-Extended. Pomenovaná skupina pre daný crawler nahrádza skupinu *.
robots.txt je obyčajný textový súbor, ktorý vznikol v roku 1994 a v roku 2022 sa stal formálnym štandardom RFC 9309. Väčšina dodávateľov AI uvádza, že ich crawlery sa ním riadia, a viacerí zverejňujú samostatné tokeny pre vyhľadávanie a pre trénovanie. Vďaka tomu je robots.txt najjednoduchšie miesto, kde vyjadriť politiku voči AI, pokiaľ pravidlá znamenajú to, čo si myslíte.
Na tejto stránke
Aké tokeny robots.txt používajú AI crawlery?
Toto sú tokeny, ktoré dodávatelia dokumentujú. Podľa RFC 9309 sa pri porovnávaní nerozlišujú veľké a malé písmená.
- OpenAI:
OAI-SearchBot(vyhľadávanie v ChatGPT),GPTBot(trénovanie),ChatGPT-User(návštevy na žiadosť používateľa; OpenAI uvádza, že robots.txt sa naň nemusí vzťahovať). - Anthropic:
Claude-SearchBot(vyhľadávanie),ClaudeBot(trénovanie),Claude-User(návštevy na žiadosť používateľa). - Perplexity:
PerplexityBot(vyhľadávanie),Perplexity-User(návštevy na žiadosť používateľa; Perplexity uvádza, že robots.txt spravidla ignoruje). - Google:
Googlebot(Vyhľadávanie vrátane jeho AI funkcií) aGoogle-Extended, token bez vlastného crawlera, ktorý riadi použitie na trénovanie a grounding Gemini. - Apple:
Applebot(Spotlight, Siri, vyhľadávanie v Safari) aApplebot-Extended, ktorý nič neprechádza, ale riadi použitie na trénovanie základných modelov Apple. - Meta:
meta-externalagent(trénovanie a indexovanie produktov) ameta-webindexer(vyhľadávanie Meta AI). - Common Crawl:
CCBot, ktorý zostavuje bezplatný verejný archív webových dát Common Crawl.
Ako vyzerá dobrý robots.txt pre AI?
Tento príklad pustí AI vyhľadávanie a sťahovanie pre používateľov, odmietne hlavné tréningové tokeny a jednu súkromnú časť nechá zatvorenú pre všetkých:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Niekoľko riadkov User-agent za sebou tvorí jednu skupinu, takže pravidlá pod nimi platia pre každý z týchto crawlerov. Ak chcete, aby sa váš obsah na trénovanie používal, druhú skupinu jednoducho vynechajte. Blokovanie Google-Extended neovplyvní Vyhľadávanie Google: Google uvádza, že nemá vplyv na zaradenie do Vyhľadávania a nie je signálom poradia. Podobne Apple uvádza, že stránky, ktoré zakazujú Applebot-Extended, sa môžu naďalej zobrazovať v jeho výsledkoch vyhľadávania.
Ako crawlery vyberajú, ktoré pravidlá na ne platia?
RFC 9309 to definuje presne a detaily vysvetľujú väčšinu prekvapení:
- Crawler hľadá skupinu, ktorej
User-agentzodpovedá jeho produktovému tokenu, bez ohľadu na veľké a malé písmená. Ak sa zhoduje viac skupín, ich pravidlá sa spoja do jednej. - Len ak sa nezhoduje žiadna skupina, crawler sa riadi skupinou
User-agent: *. Pomenovaná skupina od*nič nededí. - V rámci skupiny vyhrá pravidlo s najdlhšou zhodnou cestou.
Allow: /blog/pre/blog/postprebijeDisallow: /. - Ak sa pravidlo
AllowaDisallowzhodujú s rovnakou dĺžkou, má sa použiťAllow. *v ceste zodpovedá ľubovoľným znakom a$ukotvuje koniec, takžeDisallow: /*.pdf$pokrýva každé PDF.
Aké sú najčastejšie chyby v robots.txt?
- Očakávanie, že pomenovaná skupina zdedí pravidlá od
*. Skupina preOAI-SearchBotlen sAllow: /otvorí každú cestu vrátane tých, ktoré ste zakázali pod*. - Adresa robots.txt, ktorá vracia stránku HTML, často stránku 404 so stavovým kódom 200. Crawlery v nej nenájdu žiadne platné pravidlá.
- robots.txt, ktorý vracia chybu servera. Podľa RFC 9309 musí crawler potom predpokladať, že celý web je zakázaný. 404 je iný prípad: znamená, že neexistujú žiadne obmedzenia.
- Blokovanie vyhľadávacieho tokenu v snahe zablokovať trénovanie, napríklad zákaz
PerplexityBotaleboClaude-SearchBot, aby sa obsah nepoužil na trénovanie modelov. - Spoliehanie sa na robots.txt pri zastavení sťahovania na žiadosť používateľa. OpenAI aj Perplexity uvádzajú, že ich používateľskí agenti sa ním nemusia riadiť.
- Zabudnuté subdomény. Každý hostiteľ má vlastný robots.txt; dokumentácia Anthropic pripomína majiteľom webov, aby pridali pravidlá pre každú subdoménu.
Môžem vyjadriť politiku používania AI nad rámec povolenia a zákazu?
Cloudflare navrhol pre robots.txt riadok Content-Signal s tromi signálmi: search (zostavenie vyhľadávacieho indexu a zobrazovanie odkazov a krátkych úryvkov), ai-input (použitie obsahu v reálnom čase pre odpovede AI) a ai-train (trénovanie alebo dolaďovanie modelov). Spravovaný robots.txt od Cloudflare ho môže pridať za vás.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / Ako všetko v robots.txt, aj toto sú preferencie, nie technické obmedzenia. Sám Cloudflare pripomína, že dodržiavanie robots.txt je dobrovoľné. Riadok je nepovinný a neuškodí, no skupiny pre jednotlivé crawlery uvedené vyššie nenahrádza.
Ako dlho trvajú zmeny a ako ich skontrolovať?
Podľa RFC 9309 by crawlery nemali používať robots.txt z cache dlhšie ako 24 hodín a OpenAI aj Perplexity uvádzajú, že prejavenie zmien môže trvať asi deň. Pamätajte tiež, že robots.txt nie je riadenie prístupu: firewall môže crawler zablokovať, aj keď ho vaše pravidlá povoľujú.
AISeeWhy spracuje váš robots.txt podľa RFC 9309 pre každý crawler, ktorý testuje, upozorní na súbory, ktoré sú nedostupné alebo sa poskytujú ako HTML, ukáže, kde sa vaše pravidlá a váš server nezhodujú, a dá vám hotový diff so zmenou.
Opravy tohto problému
- robots.txt povoľuje GPTBot, ale server ho blokuje
- robots.txt zakazuje OAI-SearchBot
- robots.txt je stránka HTML
- V robots.txt nie je Content-Signal
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Poškodí blokovanie GPTBot alebo ClaudeBot moju viditeľnosť v odpovediach AI?
Priamo nie. Obaja dodávatelia používajú na vyhľadávanie samostatné vyhľadávacie crawlery, OAI-SearchBot a Claude-SearchBot. Blokovanie tréningového crawlera je rozhodnutie o politike.
Zastaví Google-Extended prehľady od AI?
Nie. Google uvádza, že AI funkcie vo Vyhľadávaní používajú Googlebot a bežné nastavenia Vyhľadávania ako nosnippet a noindex. Google-Extended pokrýva trénovanie Gemini a grounding v iných produktoch Google a Vyhľadávanie neovplyvňuje.
Podporujú AI crawlery Crawl-delay?
Nie je súčasťou RFC 9309. Anthropic uvádza, že Crawl-delay podporuje ako neštandardné rozšírenie; pri iných dodávateľoch si pozrite ich dokumentáciu.
Kde musí byť robots.txt umiestnený?
V koreni každého hostiteľa, napríklad https://example.com/robots.txt. Súbor v podpriečinku sa ignoruje a každá subdoména potrebuje vlastný.
Zdroje
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Prehľad crawlerov OpenAI
- Google: Bežné crawlery vrátane Google-Extended
- Apple: O crawleri Applebot
- Cloudflare: Spravovaný robots.txt a Content Signals