robots.txt pre AI crawlery: čo povoliť a čo blokovať

Publikované

Krátka odpoveď

Dajte každému AI crawleru, na ktorom vám záleží, vlastnú skupinu User-agent. Ak chcete byť citovaní, povoľte vyhľadávacie crawlery ako OAI-SearchBot, Claude-SearchBot a PerplexityBot a samostatne rozhodnite o tréningových tokenoch ako GPTBot, ClaudeBot, Google-Extended a Applebot-Extended. Pomenovaná skupina pre daný crawler nahrádza skupinu *.

robots.txt je obyčajný textový súbor, ktorý vznikol v roku 1994 a v roku 2022 sa stal formálnym štandardom RFC 9309. Väčšina dodávateľov AI uvádza, že ich crawlery sa ním riadia, a viacerí zverejňujú samostatné tokeny pre vyhľadávanie a pre trénovanie. Vďaka tomu je robots.txt najjednoduchšie miesto, kde vyjadriť politiku voči AI, pokiaľ pravidlá znamenajú to, čo si myslíte.

Na tejto stránke
  1. Aké tokeny robots.txt používajú AI crawlery?
  2. Ako vyzerá dobrý robots.txt pre AI?
  3. Ako crawlery vyberajú, ktoré pravidlá na ne platia?
  4. Aké sú najčastejšie chyby v robots.txt?
  5. Môžem vyjadriť politiku používania AI nad rámec povolenia a zákazu?
  6. Ako dlho trvajú zmeny a ako ich skontrolovať?

Aké tokeny robots.txt používajú AI crawlery?

Toto sú tokeny, ktoré dodávatelia dokumentujú. Podľa RFC 9309 sa pri porovnávaní nerozlišujú veľké a malé písmená.

Ako vyzerá dobrý robots.txt pre AI?

Tento príklad pustí AI vyhľadávanie a sťahovanie pre používateľov, odmietne hlavné tréningové tokeny a jednu súkromnú časť nechá zatvorenú pre všetkých:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Niekoľko riadkov User-agent za sebou tvorí jednu skupinu, takže pravidlá pod nimi platia pre každý z týchto crawlerov. Ak chcete, aby sa váš obsah na trénovanie používal, druhú skupinu jednoducho vynechajte. Blokovanie Google-Extended neovplyvní Vyhľadávanie Google: Google uvádza, že nemá vplyv na zaradenie do Vyhľadávania a nie je signálom poradia. Podobne Apple uvádza, že stránky, ktoré zakazujú Applebot-Extended, sa môžu naďalej zobrazovať v jeho výsledkoch vyhľadávania.

Ako crawlery vyberajú, ktoré pravidlá na ne platia?

RFC 9309 to definuje presne a detaily vysvetľujú väčšinu prekvapení:

Aké sú najčastejšie chyby v robots.txt?

Môžem vyjadriť politiku používania AI nad rámec povolenia a zákazu?

Cloudflare navrhol pre robots.txt riadok Content-Signal s tromi signálmi: search (zostavenie vyhľadávacieho indexu a zobrazovanie odkazov a krátkych úryvkov), ai-input (použitie obsahu v reálnom čase pre odpovede AI) a ai-train (trénovanie alebo dolaďovanie modelov). Spravovaný robots.txt od Cloudflare ho môže pridať za vás.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Ako všetko v robots.txt, aj toto sú preferencie, nie technické obmedzenia. Sám Cloudflare pripomína, že dodržiavanie robots.txt je dobrovoľné. Riadok je nepovinný a neuškodí, no skupiny pre jednotlivé crawlery uvedené vyššie nenahrádza.

Ako dlho trvajú zmeny a ako ich skontrolovať?

Podľa RFC 9309 by crawlery nemali používať robots.txt z cache dlhšie ako 24 hodín a OpenAI aj Perplexity uvádzajú, že prejavenie zmien môže trvať asi deň. Pamätajte tiež, že robots.txt nie je riadenie prístupu: firewall môže crawler zablokovať, aj keď ho vaše pravidlá povoľujú.

AISeeWhy spracuje váš robots.txt podľa RFC 9309 pre každý crawler, ktorý testuje, upozorní na súbory, ktoré sú nedostupné alebo sa poskytujú ako HTML, ukáže, kde sa vaše pravidlá a váš server nezhodujú, a dá vám hotový diff so zmenou.

Opravy tohto problému

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Poškodí blokovanie GPTBot alebo ClaudeBot moju viditeľnosť v odpovediach AI?

Priamo nie. Obaja dodávatelia používajú na vyhľadávanie samostatné vyhľadávacie crawlery, OAI-SearchBot a Claude-SearchBot. Blokovanie tréningového crawlera je rozhodnutie o politike.

Zastaví Google-Extended prehľady od AI?

Nie. Google uvádza, že AI funkcie vo Vyhľadávaní používajú Googlebot a bežné nastavenia Vyhľadávania ako nosnippet a noindex. Google-Extended pokrýva trénovanie Gemini a grounding v iných produktoch Google a Vyhľadávanie neovplyvňuje.

Podporujú AI crawlery Crawl-delay?

Nie je súčasťou RFC 9309. Anthropic uvádza, že Crawl-delay podporuje ako neštandardné rozšírenie; pri iných dodávateľoch si pozrite ich dokumentáciu.

Kde musí byť robots.txt umiestnený?

V koreni každého hostiteľa, napríklad https://example.com/robots.txt. Súbor v podpriečinku sa ignoruje a každá subdoména potrebuje vlastný.

Zdroje

Ďalšie články