AISeeWhy
HU
Ingyenes próba

AI-tanítás tiltása úgy, hogy az AI-keresési válaszokban megmarad

Megjelent

Rövid válasz

A legtöbb AI-szolgáltató külön robots.txt-tokent használ a modelltanításra és a keresésre. Tiltsa a tanítási tokeneket, például a GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent és CCBot tokent, és engedélyezze a keresési és felhasználói tokeneket, például az OAI-SearchBot, Claude-SearchBot és PerplexityBot tokent. Egy Content-Signal sorral szavakban is kifejezheti ugyanezt a szándékot.

Sok webhelytulajdonos egyszerre két dolgot szeretne: nem akarja, hogy a tartalmát AI-modellek tanítására használják, de azt akarja, hogy az AI-asszisztensek megtalálják, idézzék és linkeljék az oldalait. Mivel a nagy szolgáltatók ezeket a feladatokat ma már külön crawlerekre vagy tokenekre osztják, a robots.txt mindkét döntést ki tudja fejezni. A buktató az, hogy a nevek szolgáltatónként eltérnek, néhány szolgáltató nem illik a mintába, és egyetlen téves sor az AI-válaszokból is kiveheti Önt, nem csak a tanítási adatokból.

Ezen az oldalon
  1. Mi a különbség a tanítási crawler és a keresési crawler között?
  2. Mely tokenek szabályozzák a tanítást, és melyek a keresést?
  3. Hogyan néz ki a robots.txt?
  4. Hány webhely csinálja ezt már?
  5. Mit tesz hozzá a Content-Signal?
  6. Hol nem működik tisztán a szétválasztás?
  7. Hogyan ellenőrizhetem, hogy a szétválasztás működik?

Mi a különbség a tanítási crawler és a keresési crawler között?

A tanítási crawler olyan oldalakat gyűjt, amelyeket AI-modellek építésére vagy fejlesztésére lehet használni. A tanítás önmagában nem eredményez idézetet vagy linket. A keresési crawler olyan indexet épít, amelyet az AI-asszisztens a válaszhoz szükséges források megkeresésére használ, és ezeket a forrásokat idézheti. A felhasználó által indított lekérő élőben nyit meg egy oldalt, mert valaki rákérdezett.

A szolgáltatók ezeket a szerepeket külön dokumentálják, és azt mondják, hogy a beállítások függetlenek. Az OpenAI például azt közli, hogy a crawlereinek minden robots.txt-beállítása független a többitől. Egy helyesen elvégzett tanítási opt-out tehát nem érinti a keresési láthatóságot.

Mely tokenek szabályozzák a tanítást, és melyek a keresést?

Ezek a szolgáltatók által dokumentált tokenek, csoportosítva aszerint, hogy mit szabályoznak:

Hogyan néz ki a robots.txt?

Az RFC 9309 szerint több egymás utáni User-agent sor egyetlen csoportot alkot, így a szabályok mindegyikre vonatkoznak. Ez a fájl kilép a fenti tanítási tokenekből, engedélyezi a keresési és felhasználói ügynököket, és mindenki előtt zárva tart egy privát útvonalat:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Két részlet fontos. Először: a megnevezett csoport nem örököl a * csoportból, ezért a privát útvonalakat a keresési csoportban meg kell ismételni. Másodszor: ne tegye a Googlebot-ot vagy az Applebot-ot a tanítási csoportba: ők a keresési crawlerek, és a blokkolásuk kivonja Önt a Google Keresésből és az Apple keresési funkcióiból. A változások nem azonnaliak: az OpenAI keresésnél nagyjából 24 órát, a Perplexity pedig legfeljebb 24 órát mond.

Hány webhely csinálja ezt már?

Kevesebb, mint gondolná. 2026-11-12-én elolvastuk a Tranco-lista 1000 legnépszerűbb domainjének robots.txt fájlját. A robots.txt-t kiszolgáló 518 közül 155 (29,9%) tiltja a kezdőlapot legalább egy AI-tanítási crawler számára. Csak 57 (11,0%) választja a szelektív utat: blokkolja a tanítási crawlereket, és engedélyez minden általunk tesztelt AI-keresési és felhasználói crawlert. Összesen 101 webhely (19,5%) blokkol legalább egy AI-keresési vagy felhasználói crawlert.

A crawlerenkénti számok ugyanezt a megoszlást mutatják. A GPTBot 111 webhelyen (21,4%), az OAI-SearchBot 58 webhelyen (11,2%) van blokkolva. A ClaudeBot 110 webhelyen (21,2%), a Claude-SearchBot 67 webhelyen (12,9%). A Google-Extended 94 webhelyen (18,1%), a Googlebot 14 webhelyen (2,7%). Csak 18 webhely (3,5%) használ Content-Signal sort.

A tanulmány csak a kezdőlapra vonatkozó robots.txt-szabályokat vizsgálja. Nem méri a tűzfalas blokkolásokat, és nem mutatja meg, hogy az egyes webhelyek mit szántak.

Mit tesz hozzá a Content-Signal?

A Content Signals a Cloudflare által a contentsignals.org oldalon közzétett robots.txt-kiterjesztés. A Content-Signal sor azt fejezi ki, hogyan használható a tartalom, három jelzéssel: search (keresési index építése, linkek és rövid kivonatok megjelenítése), ai-input (a tartalom valós idejű betáplálása AI-modellekbe, például generatív válaszok megalapozásához vagy lekéréséhez) és ai-train (modellek tanítása vagy finomhangolása).

Vegye figyelembe, hogy a search meghatározása kizárja az AI által generált keresési összefoglalókat. Ha meg szeretne jelenni az AI-válaszokban, állítsa be az ai-input=yes értéket is, ahogy a fenti példában. A Cloudflare felügyelt robots.txt-je alapértelmezetten a search=yes, ai-train=no értéket adja hozzá; az a jelzés, amelyet kihagy, az adott felhasználást sem nem engedélyezi, sem nem korlátozza.

Ezek kinyilvánított preferenciák. A Content Signals oldala szerint technikai szinten nem akadályozzák a crawlolást, a Cloudflare pedig megjegyzi, hogy a robots.txt betartása önkéntes. Az általunk megvizsgált OpenAI-, Anthropic-, Google- és Perplexity-crawleroldalak egyike sem mondja meg, hogy olvassák-e a Content-Signal sort, ezért a crawlerenkénti csoportok kiegészítésének tekintse, ne helyettesítésnek.

Hol nem működik tisztán a szétválasztás?

Néhány esetben óvatosság kell:

Hogyan ellenőrizhetem, hogy a szétválasztás működik?

Olvassa el a robots.txt-jét úgy, ahogy az egyes crawlerek tennék: keresse meg a csoportot, amely megnevezi őket, csak akkor essen vissza a * csoportra, ha egy sem nevezi meg, és alkalmazza a leghosszabb illeszkedő szabályt. Ezután kérjen le egy oldalt az egyes keresési crawlerek user agentjével, és győződjön meg róla, hogy 200-at kap a teljes tartalommal, nem 403-at vagy kihívásoldalt.

Az AISeeWhy mindkettőt elvégzi 14 crawlerre, tanítási, keresési és felhasználói ügynökök szerint csoportosítva, és jelzi a leggyakoribb hibát: egy keresési token, például a PerplexityBot vagy a Claude-SearchBot blokkolását, miközben a tanítást akarta blokkolni.

Gyakran ismételt kérdések

A GPTBot blokkolása eltávolít a ChatGPT válaszaiból?

Nem. Az OpenAI szerint a GPTBot a tanításhoz tartozik, és minden robots.txt-beállítás független. A ChatGPT keresése az OAI-SearchBot-ot használja; amíg ez engedélyezett, és a tűzfal sem blokkolja, az oldalai továbbra is jogosultak.

A Google-Extended blokkolása eltávolít az AI Overviews szolgáltatásból?

A Google dokumentációja szerint nem. A Google azt közli, hogy a Google-Extended nem befolyásolja a Google Keresésben való szereplést, az AI Overviews pedig a Search-indexből merít. A Google külön Search Console-vezérlőt kínál a webhely AI Overviews és AI Mode alóli kizárására.

Van egyetlen sor, amely minden AI-tanítást blokkol?

Nincs szabványos ilyen sor. A Content-Signal: ai-train=no minden crawlerre kifejezi a preferenciát, de hogy egy crawler betartja-e, az az üzemeltetőtől függ. A dokumentált mód az egyes tanítási tokenekhez tartozó megnevezett csoport.

Blokkoljam a Perplexityt az AI-tanítás megállításához?

A Perplexity szerint az ügynökeit nem használják tanítási adatok gyűjtésére. A PerplexityBot blokkolása csökkenti a láthatóságát a Perplexity keresési találataiban, anélkül hogy tanítási opt-outot jelentene.

Források

További cikkek