Látja a ChatGPT a weboldalamat? Így ellenőrizheti

Megjelent 2026-11-12

Rövid válasz

A ChatGPT csak akkor idézheti az oldalát, ha az OpenAI keresőcrawlere, az OAI-SearchBot lekérheti, és ugyanazt a HTML-t kapja, mint egy böngésző. Három dolgot ellenőrizzen: a robots.txt nem tiltja az OAI-SearchBot-ot, a tűzfal vagy a CDN nem 403-mal vagy kihívásoldallal válaszol neki, és a fő szöveg benne van a kezdeti HTML-ben.

Sok webhelytulajdonos megkérdezi a ChatGPT-t a saját termékéről, de egy versenytársat látja idézve, és elgondolkodik, egyáltalán eléri-e a ChatGPT az oldalát. A kérdésre konkrét, tesztelhető válasz adható. Az OpenAI közzéteszi a crawlerei nevét és azt, hogy melyik mit csinál, így a lánc minden szemét ellenőrizheti: a robots.txt szabályait, a szerver válaszát és a válasz tartalmát.

Ezen az oldalon

Melyik OpenAI-crawlerek számítanak a ChatGPT válaszainál?
Hogyan ellenőrzöm a robots.txt-met a ChatGPT-hez?
Blokkolhatja a ChatGPT-t a tűzfal, még ha a robots.txt engedi is?
Hogyan tesztelhetem, mit kap az OAI-SearchBot?
Mi van, ha az oldal betölt, de a ChatGPT mégsem mond semmi hasznosat?
Hogyan ellenőrzi ezt az AISeeWhy?

Melyik OpenAI-crawlerek számítanak a ChatGPT válaszainál?

Az OpenAI három ügynököt dokumentál, amelyekkel a webhelytulajdonosok jellemzően találkoznak. Más a feladatuk, és az egyik blokkolása nem blokkolja a többit. Az OpenAI szerint minden robots.txt-beállítás független a többitől.

Az OAI-SearchBot oldalakat talál meg és indexel a ChatGPT keresési funkcióihoz. Az OpenAI szerint azok a webhelyek, amelyek kizárták magukat belőle, nem jelennek meg a ChatGPT keresési válaszaiban. Ez dönti el, hogy idézhetik-e Önt.
A GPTBot olyan tartalmat gyűjt, amelyet az OpenAI alapmodelljeinek tanítására lehet használni. Ha letiltja, azt jelzi, hogy a tartalmát nem szabad tanításra használni. A keresési válaszokból ez nem távolítja el.
A ChatGPT-User akkor tölt le egy oldalt, amikor valaki ezt kéri a ChatGPT-től, például egy link beillesztésével. Az OpenAI szerint a robots.txt szabályai nem feltétlenül vonatkoznak ezekre a felhasználó által indított látogatásokra, és ezt az ügynököt nem használják annak eldöntésére, hogy egy tartalom megjelenik-e a keresésben.

Röviden: az OAI-SearchBot szabályozza az idézéseket, a GPTBot a tanítást, a ChatGPT-User pedig a felhasználó kérésére történő élő látogatásokat intézi.

Hogyan ellenőrzöm a robots.txt-met a ChatGPT-hez?

Nyissa meg a https://yourdomain.com/robots.txt címet egy böngészőben. Keressen egy csoportot, amely az OAI-SearchBot-ot nevezi meg. Ha nincs ilyen, a crawler a User-agent: * csoportot követi. Az érvényes csoportban álló Disallow: / az egész webhelyet blokkolja.

Azt is nézze meg, hogy a fájl egyáltalán válaszol-e. Az RFC 9309 szerint ha a robots.txt szerverhibát (5xx) ad, vagy nem érhető el, a crawlernek úgy kell tekintenie, hogy az egész webhely tiltott. A 404 rendben van: azt jelenti, hogy nincsenek szabályok. Gyakori hiba, hogy a robots.txt címen 200-as státuszú HTML-oldal jelenik meg, mert ilyenkor a crawlerek nem találnak benne érvényes szabályt.

Egy olyan beállítás, amely megtartja a ChatGPT-keresést, a tanítást viszont kizárja, így néz ki:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Az OpenAI szerint a keresést érintő változtatások a robots.txt frissítése után nagyjából 24 órával lépnek életbe.

Blokkolhatja a ChatGPT-t a tűzfal, még ha a robots.txt engedi is?

Igen, és ez gyakori ok. A robots.txt kérés a jól viselkedő crawlerekhez, nem hozzáférés-szabályozás. Hogy mi megy vissza valójában, azt a tűzfal, a CDN vagy a botvédelem dönti el. Ha egy AI-crawlert nemkívánatos botnak tekint, az 403-at, 429-et vagy kihívásoldalt kap, például a Cloudflare „Just a moment...” képernyőjét, miközben a böngészőben az emberek rendesen látják az oldalt.

Kívülről ez mindenki számára nyitott webhelynek látszik. A különbséget csak az a kérés mutatja meg, amely crawlerként azonosítja magát. Ilyenkor a robots.txt igent mond, a szerver nemet, és a szerver nyer.

Hogyan tesztelhetem, mit kap az OAI-SearchBot?

Küldjön két kérést ugyanarra az URL-re, az egyiket böngésző user agenttel, a másikat a crawler user agentjével, és hasonlítsa össze a státuszkódot és a méretet. Az OpenAI minden crawlerhez közzétesz egy példa user agentet; a benne lévő verziószám változhat.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Ha a böngésző 200-at és nagy törzset kap, a crawler pedig 403-at, 429-et, 503-at vagy jóval kisebb törzset, akkor a tűzfal másként kezeli a crawlert. Egy korlát van: a teszt az Ön IP-címéről érkezik, nem az OpenAI-éról. Azok a tűzfalak, amelyek a közzétett IP-tartományokkal ellenőrzik a crawlereket (az OpenAI ezeket a openai.com/searchbot.json címen sorolja fel), átengedhetik a valódi crawlert, miközben a tesztet blokkolják. A blokkolás ebben a tesztben így is megmutatja, hogyan kezeli a tűzfal a user agentet, és ezt érdemes javítani.

Mi van, ha az oldal betölt, de a ChatGPT mégsem mond semmi hasznosat?

A hozzáférés csak az első lépés. Ha a megérkező HTML üres váz, amelyet később a JavaScript tölt ki, a crawler szinte semmi szöveget nem kap. Nézze meg a nyers HTML-t curl-lel vagy a böngésző forrásmegtekintőjével: ha a fő szöveg nincs ott, a crawler valószínűleg szintén nem látja.

Ezután jönnek a tartalmi jelek: egy világos, rövid válasz az oldal elején, a keresett kérdésekhez illő címsorok, megnevezett kiadó és szerző, valamint látható dátumok. Ezek nem garantálnak idézést, de könnyebbé teszik az oldal helyes idézését.

Hogyan ellenőrzi ezt az AISeeWhy?

Az AISeeWhy lekéri az oldalát OAI-SearchBot, GPTBot, ChatGPT-User és 11 másik crawler néven egy hagyományos böngésző mellett, az RFC 9309 szabályai szerint olvassa a robots.txt-et, és megnevezi a tűzfalat, ha az blokkolással vagy kihívással válaszol. Minden találathoz jár a bemásolható javítás, az ingyenes ellenőrzés pedig megmutatja a pontszámot és az első találatot.

Gyakran ismételt kérdések

A GPTBot blokkolása eltávolítja a webhelyemet a ChatGPT-keresésből?

Nem. Az OpenAI minden crawlerbeállítást függetlennek tekint. A GPTBot a tanításhoz tartozik, az OAI-SearchBot pedig azt dönti el, hogy az oldalak megjelenhetnek-e a ChatGPT keresési válaszaiban. Az egyiket tilthatja, a másikat engedélyezheti.

Követi a ChatGPT-User a robots.txt-et?

Az OpenAI szerint mivel ezeket a látogatásokat a felhasználó indítja, a robots.txt szabályai nem feltétlenül vonatkoznak rájuk. Ha meg akarja állítani ezeket a látogatásokat, a robots.txt-szabály nem megbízható eszköz.

Mennyi idő alatt ér el egy robots.txt-változtatás a ChatGPT-hez?

Az OpenAI szerint a robots.txt frissítésétől számítva nagyjából 24 óráig tarthat, mire a rendszerei a keresés számára igazodnak.

Elég az, hogy elérhető az oldal, hogy idézzék?

Nem. A hozzáférés lehetővé teszi az idézést, de nem garantálja. Hogy mit mond az oldal és mennyire világosan, az továbbra is meghatározza, felhasználják-e egy válaszban.