robots.txt AI-crawlerekhez: mit engedjen, mit blokkoljon

Q: Hol kell lennie a robots.txt-nek?

Minden host gyökerében, például https://example.com/robots.txt. Az almappában lévő fájlt figyelmen kívül hagyják, és minden aldomainnek saját kell.

Megjelent 2026-11-12

Rövid válasz

Minden fontos AI-crawlernek adjon külön User-agent csoportot. Engedélyezze a keresőcrawlereket, például az OAI-SearchBot-ot, a Claude-SearchBot-ot és a PerplexityBot-ot, ha idézni szeretnék, a tanítótokenekről, például a GPTBot, ClaudeBot, Google-Extended és Applebot-Extended tokenekről pedig döntsön külön. A megnevezett csoport az adott crawlernél felváltja a * csoportot.

A robots.txt egy sima szöveges fájl, amely 1994-ig nyúlik vissza, és 2022-ben vált hivatalos szabvánnyá RFC 9309 néven. A legtöbb AI-szolgáltató szerint a crawlerei követik, és többen külön tokent adnak a keresésre és a tanításra. Ezért a robots.txt a legegyszerűbb hely az AI-irányelv rögzítésére, feltéve, hogy a szabályok azt jelentik, amit gondol.

Ezen az oldalon

Milyen robots.txt-tokeneket használnak az AI-crawlerek?
Hogyan néz ki egy jó robots.txt AI-hoz?
Hogyan választják ki a crawlerek, melyik szabályok vonatkoznak rájuk?
Melyek a leggyakoribb robots.txt-hibák?
Rögzíthetek az engedélyezésen és tiltáson túl AI-felhasználási irányelvet?
Mennyi idő alatt lépnek életbe a változások, és hogyan ellenőrzöm őket?

Milyen robots.txt-tokeneket használnak az AI-crawlerek?

Ezek a szolgáltatók által dokumentált tokenek. Az RFC 9309 szerint az illesztés nem tesz különbséget kis- és nagybetű között.

OpenAI: OAI-SearchBot (ChatGPT-keresés), GPTBot (tanítás), ChatGPT-User (felhasználó kérte látogatások; az OpenAI szerint a robots.txt nem feltétlenül vonatkozik rá).
Anthropic: Claude-SearchBot (keresés), ClaudeBot (tanítás), Claude-User (felhasználó kérte látogatások).
Perplexity: PerplexityBot (keresés), Perplexity-User (felhasználó kérte látogatások; a Perplexity szerint általában figyelmen kívül hagyja a robots.txt-et).
Google: Googlebot (Search, beleértve az AI-funkcióit is) és Google-Extended, egy saját crawler nélküli token, amely a Gemini tanításában és groundingjában való felhasználást szabályozza.
Apple: Applebot (Spotlight, Siri, Safari-keresés) és Applebot-Extended, amely nem jár be oldalakat, de szabályozza az Apple alapmodelljeinek tanítására történő felhasználást.
Meta: meta-externalagent (tanítás és termékindexelés) és meta-webindexer (Meta AI-keresés).
Common Crawl: CCBot, amely a Common Crawl ingyenes, nyilvános webes adatarchívumát építi.

Hogyan néz ki egy jó robots.txt AI-hoz?

Ez a példa beengedi az AI-keresést és a felhasználói lekéréseket, kizárja a fő tanítótokeneket, és mindenki elől zárva tart egy privát területet:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Több egymás utáni User-agent sor egy csoportot alkot, így az alattuk lévő szabályok mindegyik crawlerre érvényesek. Ha azt szeretné, hogy a tartalmát tanításra használják, egyszerűen hagyja ki a második csoportot. A Google-Extended blokkolása nem érinti a Google Keresést: a Google szerint nem befolyásolja a Keresésben való megjelenést, és nem rangsorolási jel. Hasonlóképpen az Apple szerint az Applebot-Extended-et tiltó oldalak továbbra is megjelenhetnek a keresési eredményei között.

Hogyan választják ki a crawlerek, melyik szabályok vonatkoznak rájuk?

Az RFC 9309 ezt pontosan meghatározza, és a részletek megmagyarázzák a legtöbb meglepetést:

A crawler azt a csoportot keresi, amelynek User-agent értéke illik a termék tokenjére, kis- és nagybetűt nem megkülönböztetve. Ha több csoport is illik, a szabályaik egyesülnek.
Csak ha egy csoport sem illik, követi a crawler a User-agent: * csoportot. A megnevezett csoport semmit nem örököl a *-tól.
A csoporton belül a leghosszabb illeszkedő útvonalú szabály nyer. Az Allow: /blog/ felülírja a Disallow: / szabályt a /blog/post esetén.
Ha egy Allow és egy Disallow szabály azonos hosszon illeszkedik, az Allow-t kell használni.
Az útvonalban a * bármilyen karaktert helyettesít, a $ pedig a végét rögzíti, így a Disallow: /*.pdf$ minden PDF-et lefed.

Melyek a leggyakoribb robots.txt-hibák?

Azt várni, hogy a megnevezett csoport örököl a *-tól. Az OAI-SearchBot csoportja, amelyben csak Allow: / áll, minden útvonalat megnyit, azokat is, amelyeket a * alatt letiltott.
Olyan robots.txt-cím, amely HTML-oldalt ad vissza, gyakran 200-as státusszal kiszolgált 404-es oldalt. A crawlerek nem találnak benne érvényes szabályt.
Szerverhibát adó robots.txt. Az RFC 9309 szerint a crawlernek ilyenkor úgy kell tekintenie, hogy az egész webhely tiltott. A 404 más: az azt jelenti, hogy nincsenek korlátozások.
Keresési token blokkolása, miközben a tanítást akarta blokkolni, például a PerplexityBot vagy a Claude-SearchBot tiltása a modelltanítás elkerülésére.
Támaszkodni a robots.txt-re a felhasználó kérte lekérések megállításához. Az OpenAI és a Perplexity egyaránt azt mondja, hogy a user agentjeik nem feltétlenül követik.
Az aldomainek elfelejtése. Minden hostnak saját robots.txt-je van; az Anthropic dokumentációja emlékezteti a webhelytulajdonosokat, hogy minden aldomainhez vegyenek fel szabályokat.

Rögzíthetek az engedélyezésen és tiltáson túl AI-felhasználási irányelvet?

A Cloudflare javasolt egy Content-Signal sort a robots.txt-hez három jelzéssel: search (keresési index építése, linkek és rövid kivonatok megjelenítése), ai-input (a tartalom valós idejű használata AI-válaszokhoz) és ai-train (modellek tanítása vagy finomhangolása). A Cloudflare managed robots.txt-je hozzá tudja adni Önnek.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Mint minden a robots.txt-ben, ezek is preferenciák, nem technikai kontrollok. A Cloudflare maga is megjegyzi, hogy a robots.txt betartása önkéntes. A sor opcionális és nem árt, de nem helyettesíti a fenti crawlerenkénti csoportokat.

Mennyi idő alatt lépnek életbe a változások, és hogyan ellenőrzöm őket?

Az RFC 9309 szerint a crawlerek nem használhatnak 24 óránál régebbi gyorsítótárazott robots.txt-et, és az OpenAI és a Perplexity egyaránt azt mondja, hogy a változások érvénybe lépése nagyjából egy napot vehet igénybe. Ne feledje azt sem, hogy a robots.txt nem hozzáférés-szabályozás: egy tűzfal blokkolhat olyan crawlert, amelyet a szabályai engedélyeznek.

Az AISeeWhy az RFC 9309 szerint értelmezi a robots.txt-et minden tesztelt crawlerre, jelzi az elérhetetlen vagy HTML-ként kiszolgált fájlokat, megmutatja, hol tér el a szabályai és a szerver viselkedése, és kész diffet ad a módosításhoz.

Gyakran ismételt kérdések

Árt a láthatóságomnak az AI-válaszokban a GPTBot vagy a ClaudeBot blokkolása?

Közvetlenül nem. Mindkét szolgáltató külön keresőcrawlert használ a kereséshez: az OAI-SearchBot-ot és a Claude-SearchBot-ot. A tanító crawler blokkolása irányelvi döntés.

Megállítja a Google-Extended az AI Overviews funkciót?

Nem. A Google szerint a Keresés AI-funkciói a Googlebotot és a szokásos keresési vezérlőket használják, például a nosnippet és noindex direktívákat. A Google-Extended a Gemini tanítását és groundingjét fedi le a Google egyéb termékeiben, és nem érinti a Keresést.

Támogatják az AI-crawlerek a Crawl-delay direktívát?

Nem része az RFC 9309-nek. Az Anthropic szerint nem szabványos kiterjesztésként támogatja a Crawl-delay-t; más szolgáltatóknál nézze meg a dokumentációjukat.

Hol kell lennie a robots.txt-nek?

Minden host gyökerében, például https://example.com/robots.txt. Az almappában lévő fájlt figyelmen kívül hagyják, és minden aldomainnek saját kell.