Mi a Content-Signal a robots.txt-ben, és betartja-e valaki?
A Content-Signal egy opcionális robots.txt-sor, amelyet a Cloudflare tett közzé, és amely megadja, hogyan használható fel a tartalma a lekérés után: search a keresési találatokhoz, ai-input az AI-válaszokba való betápláláshoz és ai-train a modellek tanításához, mindegyik yes vagy no értékkel, például Content-Signal: search=yes, ai-input=yes, ai-train=no. Preferenciát fejez ki, és semmit sem blokkol. 2026 novemberében az OpenAI, az Anthropic, a Google és a Perplexity egyetlen crawleroldala sem állítja, hogy olvassa, a nagy AI-cégek pedig helyette egy másik, kizárólag a tanításra vonatkozó tokent támogattak.
A robots.txt arra készült, hogy megmondja, hová mehet egy crawler, nem pedig azt, mit lehet kezdeni azzal, amit elolvas. Amikor ugyanaz a lekérés egy keresési indexet, egy élő AI-választ és egy tanítókészletet is táplálhatott, ez a hiány fontossá vált. A Cloudflare 2025. szeptember 24-én CC0-licenc alatt tette közzé a Content Signals Policyt, hogy betöltse, és akkor azt közölte, hogy ügyfelei már több mint 3,8 millió domainen bekapcsolták a felügyelt robots.txt-t, azt a funkciót, amely most hozzáadja számukra ezt a sort.
Ezen az oldalon
- Mit jelent a search, az ai-input és az ai-train?
- Hogyan írjak Content-Signal sort a robots.txt-be?
- Mit mond a sor fölötti szabályzatszöveg?
- Benne van már a Content-Signal a robots.txt-mben?
- Betartják az AI-crawlerek a Content-Signal sort?
- Felvegyem a Content-Signal sort a robots.txt-mbe?
- Hogyan ellenőrizhetem, mit mond a robots.txt az egyes crawlereknek?
Mit jelent a search, az ai-input és az ai-train?
A szabályzat három jelzést határoz meg. Az alábbi megfogalmazás a contentsignals.org oldalt és a Cloudflare által közzétett szabályzatszöveget követi:
search: keresési index építése és keresési találatok nyújtása, például hivatkozások és rövid részletek visszaadása az oldalaiból. A definíció szerint a search nem foglalja magában az AI által generált keresési összefoglalókat.ai-input: tartalom bevitele egy vagy több AI-modellbe, például retrieval augmented generation, megalapozás (grounding) vagy a tartalom más valós idejű felhasználása generatív AI-keresési válaszokhoz.ai-train: AI-modellek tanítása vagy finomhangolása.
Minden jelzés yes vagy no értéket kap. A szabályzat szerint a yes azt jelenti, hogy a tartalom az adott célra gyűjthető, a no azt, hogy nem, a kihagyott jelzés pedig az adott felhasználást sem nem engedélyezi, sem nem korlátozza. A Cloudflare alapbeállítása a search és az ai-train értékét megadja, az ai-input értékét viszont üresen hagyja, mert saját közlése szerint nem ismeri minden ügyfél preferenciáját erre a jelzésre, és nem akar találgatni.
A search és az ai-input közötti különbség az, amelyet a legtöbben nem vesznek észre. Ha azt szeretné, hogy az oldalait AI-válaszokban használják, a search=yes önmagában ezt nem mondja ki. Az ai-input=yes igen.
Hogyan írjak Content-Signal sort a robots.txt-be?
A Content-Signal egy user agent csoporton belül áll, az Allow és a Disallow mellett, vesszővel elválasztott jelzésekkel. A contentsignals.org egy olyan formát is mutat, amely útvonallal kezdődik, így a webhely egy része a többitől eltérő jelzéseket kaphat:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Az Allow és a Disallow pontosan úgy működik tovább, mint eddig, és a Content-Signal nem helyettesíti őket. Az RFC 9309 megengedi a crawlereknek, hogy a protokollhoz nem tartozó rekordokat is értelmezzenek, amíg ez nem zavarja a meghatározott szabályokat, így egy elemzőnek, amely nem ismeri ezt a sort, át kell ugrania.
Két részletet érdemes tudni. Először: a sor egy csoporthoz tartozik. Az RFC 9309 szerint az a crawler, amelynek van saját nevét viselő csoportja, teljesen figyelmen kívül hagyja a User-agent: * csoportot, és a Content Signals oldalai nem írnak le kivételt erre a sorra. Ha a Googlebot vagy az OAI-SearchBot saját csoportot kap, ismételje meg ott a Content-Signal sort, ahogy a contentsignals.org is teszi a crawlerenkénti példájában. Másodszor: a Google Search Console Syntax not understood hibát jelezhet a sorra. A Cloudflare dokumentációja ezt megemlíti, és azt írja, hogy nem tapasztalt hatást a crawlolásra vagy a SEO-ra. A Google robots.txt-dokumentációja csak a user-agent, allow, disallow és sitemap mezőket sorolja fel támogatottként.
Mit mond a sor fölötti szabályzatszöveg?
A Content Signals Policy több egyetlen sornál. A Cloudflare generátora a contentsignals.org oldalon és a felügyelt robots.txt-je is egy megjegyzésblokkot tesz a jelzések fölé. Ez azzal kezdődik, hogy a webhely elérésének feltételeként Ön vállalja a content signals betartását, majd meghatározza a három jelzést, valamint a yes, a no és a hiányzó érték eseteit.
Egy nagybetűs mondattal zárul, amely kimondja, hogy a content signals útján kifejezett korlátozások a digitális egységes piacon a szerzői jogról szóló 2019/790/EU irányelv 4. cikke szerinti kifejezett jogfenntartásnak minősülnek. A Cloudflare bejelentése hozzáteszi, hogy a jelzéseknek különböző joghatóságokban jogi súlyuk lehet.
Maga a contentsignals.org figyelmeztet, hogy a bíróságok és a szabályozók arra a következtetésre juthatnak, hogy a robots.txt-fájlok nem keletkeztetnek kikényszeríthető jogi kötelezettséget, és ügyvéddel való konzultációt javasol. A megjegyzésblokkot tekintse az álláspontja írásos kinyilvánításának, ne szerződésnek.
Benne van már a Content-Signal a robots.txt-mben?
Ha a webhelye a Cloudflare-en van, lehet, hogy igen, kétféleképpen:
- Felügyelt robots.txt. Ha a Bot Preference Sync be van kapcsolva, és legalább egy AI Crawler and Agent access szabály Block, Block on pages with ads vagy a Training esetében Disallow értékre van állítva, a Cloudflare egy felügyelt blokkot fűz a szervere által küldött robots.txt elé. Ez tartalmazza a szabályzatszöveget, a
User-Agent: *alatt aContent-signal: search=yes, ai-train=no, use=referencesort, valamintDisallow: /sort azAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotésmeta-externalagentszámára. - Egyáltalán nincs robots.txt. A Cloudflare szerint a Free csomagban lévő domainek, amelyeknek nincs saját robots.txt-jük, és nem használják a felügyelt funkciót, a Content Signals Policyt mutatják, amikor egy crawler a
/robots.txtcímet kéri le. Ez a verzió tartalmazza a definíciókat, de nem ad meg preferenciát.
A use=reference rész új. A Cloudflare a use mezőt egy általa tesztelt, opcionális negyedik mezőként írja le, három értékkel: immediate (interakció, de semmi tárolása vagy újrafelhasználása nélkül), reference (indexelés, részlet és visszalinkelés) és full (összefoglalás és reprodukálás). Nem tartozik az eredeti három jelzés közé, és az általunk ellenőrzött crawlerdokumentációk egyike sem említi.
Mivel a Cloudflare ezeket a sorokat a hálózat peremén adja hozzá, a tárolójában lévő fájl változatlannak tűnhet, miközben a crawlerek által kapott fájl más. Mielőtt saját sort adna hozzá, kérje le az élő https://yourdomain.com/robots.txt fájlt, hogy a válasz ne két különböző szabályt tartalmazzon.
A nagy webhelyek körében az elterjedtsége még alacsony. Az 1000 legnépszerűbb domainről készült 2026. novemberi felmérésünkben a robots.txt-t kiszolgáló 518 webhely közül 18 (3,5%) használta a Content-Signal sort.
Betartják az AI-crawlerek a Content-Signal sort?
Az általunk fellelhető dokumentációk szerint nem. 2026. november 17-én ellenőriztük az OpenAI, az Anthropic, a Google és a Perplexity crawleroldalait, és egyik sem említi a Content-Signal sort. Maga a Cloudflare preferenciaként írja le a jelzéseket, nem a kaparás (scraping) elleni technikai ellenintézkedésként, és azt írja, hogy egyes cégek egyszerűen figyelmen kívül hagyhatják őket.
Az AI-cégek helyette egy külön mechanizmust dokumentáltak, amely az IETF AI Preferences munkacsoportjának munkáján alapul: egy szabályzattokent, a __usage_ai-training tokent, amelyet közönséges User-Agent csoportként kell írni. Csak a tanításra vonatkozik, és az azt meghatározó Internet-Draft szerint egy User-Agent: * csoport nem számít a token használatának:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ A támogatás egyenetlen, és részben még csak ezután jön. Az Anthropic szerint 2026. október 30. óta felismer egy általános, géppel olvasható tanítási jelzést, fokozatosan vezeti be, és egy a ClaudeBot crawlert megnevező szabály elsőbbséget élvez vele szemben. A Microsoft a Binghez dokumentálja a __usage_ai-training tokent, az új preferenciái pedig 2027. február 1-jétől lépnek életbe, ahogy az oldalakat crawlolják. A Google szerint 2027-ben tervezi támogatni a közös vezérlőt, és az azon keresztüli tanítási tiltást a Google-Extended tiltásaként kezeli majd, ha ez a token nincs megnevezve. Az OpenAI ugyanazon a napon bejelentést tett közzé, hogy betartja a közös jelzést, dátum nélkül.
Az ai-train=no és a __usage_ai-training tehát hasonlót mond, de csak az utóbbinak van dokumentált támogatása az AI-cégektől. A crawlerenkénti tokenek, például a GPTBot és a ClaudeBot, maradnak azok a vezérlők, amelyeket ma minden szolgáltató alkalmaz.
Felvegyem a Content-Signal sort a robots.txt-mbe?
Vegye fel, ha azt szeretné, hogy a felhasználási szabályai egy helyen, gépek és emberek számára is olvashatóan le legyenek írva. Ráadásul egyetlen sorban minden crawlerre megadja az ai-input preferenciát, amit a szolgáltatói tokenek csak crawlerenként tudnak kifejezni. Egy sorba kerül, és az ezt nem ismerő elemzők átugorják.
Ne hagyatkozzon csak rá. Ha a tartalmát ki akarja zárni a tanításból, tiltsa a dokumentált tanítási tokeneket is, és fontolja meg a közös tanítási tokent; a tanítás tiltásáról az AI-keresésben maradva szóló útmutatónk szolgáltatónként felsorolja a tokeneket. Ami figyelmen kívül hagyja a robots.txt-t, ott csak egy tűzfalszabály kényszeríti ki a tiltást.
Végül ellenőrizze, hogy a sor összhangban van-e a fájl többi részével. Az ai-input=no egy OAI-SearchBot vagy PerplexityBot számára írt Allow csoport mellett ellentmondásos üzenet: beengedi az AI-keresőcrawlereket, közben pedig azt mondja, hogy a válaszaik nem használhatják fel, amit lekérnek.
Hogyan ellenőrizhetem, mit mond a robots.txt az egyes crawlereknek?
Az ingyenes AISeeWhy robots.txt-ellenőrző egy oldalcímet vagy egy beillesztett robots.txt-t fogad, és minden AI- és keresőcrawlerre megmutatja, hogy az oldal lekérhető-e, így meggyőződhet arról, hogy az élő fájl, a Cloudflare által elé fűzött résszel együtt, azt mondja, amit szeretett volna. Az ingyenes robots.txt-generátor a választásai alapján megírja a fájlt.
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
A cikkben szereplő crawlerek
Gyakran ismételt kérdések
Része a Content-Signal a robots.txt szabványnak?
Nem. Az RFC 9309 a User-agent, az Allow és a Disallow sort határozza meg, és megengedi a crawlereknek más rekordok értelmezését. A Content-Signal a Cloudflare CC0-licenc alatt kiadott Content Signals Policyjából származik. Ettől függetlenül az IETF AI Preferences munkacsoportja saját Content-Usage szabályt dolgoz ki a robots.txt-hez, amely még Internet-Draft, nem szabvány.
Megállítja az ai-train=no a GPTBotot vagy a ClaudeBotot?
A szolgáltatók dokumentációja szerint nem. Az OpenAI és az Anthropic a GPTBot és a ClaudeBot nevét megadó robots.txt-szabályokkal írja le a vezérlést, és egyik crawleroldal sem említi a Content-Signal sort. Ha bármelyiknél ki akar maradni a tanításból, tiltsa a tokent név szerint.
Mi a különbség a Content-Signal és a __usage_ai-training között?
A Content-Signal egy csoporton belüli sor, és a keresésre, az AI-bemenetre és a tanításra vonatkozik. A __usage_ai-training egy szabályzattoken, amelyet saját User-Agent csoportként használnak, és csak a tanításra vonatkozik. Az Anthropic, a Microsoft, a Google és az OpenAI nyilatkozatot tett közzé a közös tanítási jelzésről; egyikük sem dokumentálja a Content-Signal sort.
Miért írja ki a Google Search Console, hogy Syntax not understood?
A Google robots.txt-dokumentációja csak a user-agent, allow, disallow és sitemap mezőket támogatja, így más sorokat megjelölhet. A Cloudflare szerint ezek a jelzések nem befolyásolták sem a crawlolás sebességét, sem a SEO-t.
Mit jelent a use=reference?
Ez egy negyedik mező, amelyet a Cloudflare tesztel. A reference indexelést, részletet és visszalinkelést jelent. A Cloudflare a felügyelt robots.txt-fájlokhoz adja hozzá, és az általunk ellenőrzött crawlerdokumentációk egyike sem említi.
Források
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI-crawlerek hozzáférési jelentése, 2026-11