Miért blokkolja hirtelen a webhelyem az AI-crawlereket?

Megjelent

Rövid válasz

Ha egy webhely blokkolni kezdi az AI-crawlereket, szinte mindig az öt hely egyikén történt változás: a ténylegesen kiszolgált robots.txt-ben, egy CDN-beállításban, például a Cloudflare AI-crawler-szabályaiban, a botvédelemben vagy egy sebességkorlátban, a tárhelyszolgáltató egy alapbeállításában, vagy egy robots.txt-ben, amely most hibával válaszol. Kérje le a mai robots.txt-t és egy oldalt minden crawler nevében, hasonlítsa össze őket egy böngészővel és a korábbi állapottal, és ebben a sorrendben ellenőrizze ezeket a rétegeket.

Senki sem dönt úgy, hogy eltűnik az AI-válaszokból. Ez egy sablonfrissítés, egy biztonsági beállítás, egy migráció vagy egy szolgáltatónál megváltozott alapbeállítás mellékhatásaként történik. A böngésző továbbra is rendesen látja a webhelyet, így a változás észrevétlen maradhat, amíg valaki meg nem kérdezi a ChatGPT-t vagy a Perplexityt a termékről, és egy versenytársat nem kap. Minden réteg hagy nyomokat, amelyeket kívülről vagy a naplóiban ellenőrizhet.

Ezen az oldalon
  1. Megváltozott a robots.txt, amelyet a crawlerek kapnak?
  2. Megváltoztatták a Cloudflare 2026-os AI-crawler-szabályai, mit enged a webhelyem?
  3. A botvédelem vagy egy sebességkorlát fogja meg a crawlereket?
  4. Megváltoztatta az alapbeállításait a tárhelyszolgáltatóm?
  5. Hibával válaszol a robots.txt?
  6. Hogyan deríthetem ki, mikor kezdődött?
  7. Hogyan vehetem észre hamarabb legközelebb?

Megváltozott a robots.txt, amelyet a crawlerek kapnak?

Kérje le a https://yourdomain.com/robots.txt fájlt, és hasonlítsa össze a tárolóban vagy a biztonsági mentésben lévő fájllal. A kiszolgált fájlt nézze, ne a lemezen lévőt, mert útközben több réteg is módosíthatja:

A Google Search Console robots.txt-jelentése a Google által az elmúlt 30 napban lekért verziókat mutatja, új bejegyzéssel minden alkalommal, amikor a fájl vagy a lekérés eredménye megváltozott. Csak azt fedi le, amit a Google látott, de ha a szervere nem változtatja a robots.txt-t user agent szerint, az AI-crawlerek ugyanazt a fájlt kapták.

Megváltoztatták a Cloudflare 2026-os AI-crawler-szabályai, mit enged a webhelyem?

A Cloudflare többször módosította az AI-crawlerekre vonatkozó vezérlőit, és egyes változások anélkül módosítják egy zóna működését, hogy bárki szerkesztené. 2025. július 1-jétől regisztrációkor megkérdezte az új domaineket, hogy engedélyezik-e az AI-crawlereket, kiinduló állapotként a blokkolással. 2026. július 1-jén az egyetlen Block AI bots kapcsolót külön Search, Agent és Training szabályokra cserélte, minden csomagban, a Free csomagot is beleértve.

A legtöbb webhelyet a vegyes célú crawlerek fogják meg. A Cloudflare dokumentációja szerint a Training műveletek azokra a crawlerekre is vonatkoznak, amelyeket keresésre és tanításra is használnak. A 2026. júliusi bejelentése szerint 2026. szeptember 15-től a többcélú crawlerek, például a Googlebot, az Applebot és a BingBot blokkolva lesznek azoknál az ügyfeleknél, akik a Training blokkolását választották, akár az új lehetőségekkel, akár a régi Block AI bots beállítással. Egy évvel ezelőtt beállított tanítási tiltás így most a keresőcrawlereket is elérheti.

Az új domainek alapbeállításait idővel többféleképpen írták le. Ugyanez a bejelentés szerint 2026. szeptember 15-től az új domaineknél a hirdetéseket megjelenítő oldalakon a Training és az Agent blokkolva lesz, míg a 2026. november 2-án frissített szabálydokumentáció szerint az új domainek mindhárom szabályt Allow értékkel kezdik. Nyissa meg a Security, majd a Settings menüt, szűrjön a Bot traffic kategóriára, és olvassa el a saját zónája AI Crawler and Agent access policies beállításait. A Cloudflare AI Crawl Controlról szóló útmutatónk minden beállítást elmagyaráz.

A botvédelem vagy egy sebességkorlát fogja meg a crawlereket?

A botvédelem minden kérést megítél, a crawlerek pedig adatközpontokból gyorsan sok oldalt kérnek le, ami épp a botok viselkedése. Egy crawler, amely múlt hónapban átjutott, kihívásoldalakat kezdhet kapni, miután az üzemeltetője megváltoztatja az IP-tartományait vagy a crawlolási sebességét, vagy miután frissítik a védelmi szabályokat. A Cloudflare Bot Fight Mode funkciója gyakori ok, és a Cloudflare szerint WAF egyéni szabályokkal vagy Page Rules beállítással nem kerülhető meg és nem hagyható ki, így egy később hozzáadott engedélyező szabály nem segít, amíg be van kapcsolva. Egy új sebességkorlát, amely a kéréshullámokra 429 kóddal válaszol, ugyanígy hat egy forgalmas crawlerre.

Teszteljen kívülről: kérjen le egy oldalt böngészőként és két AI-keresőcrawler nevében, majd kérje le a robots.txt-t crawlerként.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Ha csak a crawler kap 403, 429 vagy 503 kódot, Just a moment... című oldalt, vagy a böngészőénél sokkal kisebb választörzset, akkor a crawlert másként kezelik. A teszt az Ön IP-címéről érkezik, nem a szolgáltatóéról, így az ellenőrzött bot státuszon alapuló szabályok a valódi crawlert továbbra is másként kezelhetik. A tűzfal eseménynaplója megmutatja, melyik szabály válaszolt.

Megváltoztatta az alapbeállításait a tárhelyszolgáltatóm?

Egyes tárhelyszolgáltatók már a szerveren szűrik az AI-forgalmat, mielőtt az Ön saját szabályai lefutnának. A SiteGround például 2025 augusztusában azt írta, hogy alapértelmezés szerint blokkolja a tanítási adatok gyűjtésére szolgáló AI-crawlereket, és engedi azokat, amelyek akkor jönnek, amikor valaki egy AI-asszisztenst kérdez egy oldalról. Az ilyen szabályok nem látszanak a robots.txt-ben, és megváltozhatnak, amikor a szolgáltató frissíti a botlistáit.

Ha egyszerre több, ugyanannál a szolgáltatónál lévő webhelyen jelenik meg tiltás, vagy olyan válaszokban, amelyek soha nem érik el az alkalmazásnaplóit, kérdezze meg a szolgáltatót, milyen botszabályok vonatkoznak a fiókjára, és kivételt tehet-e azokra a crawlerekre, amelyeket meg akar tartani.

Hibával válaszol a robots.txt?

Egy hibás robots.txt többet blokkolhat bármely Disallow sornál. Az RFC 9309 szerint a 4xx válasz azt jelenti, hogy a crawler mindent lekérhet, a szerverhiba (5xx) vagy a válasz hiánya viszont azt, hogy az egész webhelyet tiltottnak kell tekintenie. A Google az ilyen hibák első 12 órájában leállítja a crawlolást, majd legfeljebb 30 napig az utolsó jó másolatát használja.

Így egy terhelési csúcs, egy /robots.txt címen kihívást mutató tűzfalszabály vagy egy azt is magában foglaló sebességkorlát egyetlen szabály módosítása nélkül kizárhatja a jól viselkedő crawlereket. A fenti teszt utolsó parancsának 200 kódot és text/plain típust kell visszaadnia. Ha ott 5xx, időtúllépés vagy kihívásoldal jelenik meg, azt kell elsőként javítani.

Hogyan deríthetem ki, mikor kezdődött?

Egy dátummal a rejtélyből egyszerű összehasonlítás lesz. A hozzáférési naplókban szűrjön az AI-crawlerek user agentjeire, és keresse meg azt a napot, amikor az állapotkódjaik 200-ról 403, 429 vagy 503 értékre váltottak, vagy amikor a robots.txt elolvasása után abbahagyták az oldalak lekérését; az AI-crawlerek szervernaplóban való ellenőrzéséről szóló útmutatónkban megtalálja a parancsokat. A CDN által blokkolt kérések soha nem érik el a forrásszervert, ezért a CDN-t is ellenőrizze. A Cloudflare-en az AI Crawl Control időben mutatja az állapotkódok eloszlását, amelyet crawler szerint szűrhet.

Ezután vesse össze a dátumot a telepítésekkel, a bővítmény- és sablonfrissítésekkel, a CDN-beállítások változásaival és a szolgáltatói bejelentésekkel. Mielőtt bármit tenne, ellenőrizze, hogy a forrás IP-címek a szolgáltatóhoz tartoznak, hogy a valódi crawlert lássa, ne egy a nevét használó csalót.

Hogyan vehetem észre hamarabb legközelebb?

Ellenőrizze a hozzáférést minden telepítés, CDN-módosítás és bővítményfrissítés után, ne csak akkor, amikor visszaesik a forgalom. Az ingyenes AISeeWhy-ellenőrzés egy valódi böngésző mellett 16 AI- és keresőcrawler nevében is lekér egy oldalt, crawlerenként alkalmazza a robots.txt-t, és felismeri a tűzfalak kihívásoldalait. Az ingyenes robots.txt-ellenőrző crawlerenként megmutatja, hogy egy oldal lekérhető-e a ma élő fájl szerint.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

Miért nem mutatja már a ChatGPT a webhelyemet?

Gyakran azért, mert az OAI-SearchBot, a ChatGPT-keresés mögötti crawler egy robots.txt-módosítás, egy CDN-szabály vagy a botvédelem miatt blokkolva lett. Az OpenAI szerint az ezt blokkoló webhelyek nem jelennek meg a ChatGPT keresési válaszaiban. Ellenőrizzen minden réteget erre a crawlerre, és a robots.txt javítása után várjon körülbelül 24 órát, mert az OpenAI szerint ennyi idő kell a rendszereinek az alkalmazkodáshoz.

Elkezdte a Cloudflare blokkolni a Googlebotot a webhelyemen?

Megtörténhet. A Cloudflare szerint 2026. szeptember 15-től azok az ügyfelek, akik a Training blokkolását választják, a többcélú crawlereket is blokkolják, például a Googlebotot, az Applebotot és a BingBotot. A dokumentációja szerint a Training Disallow lehetőség a hálózat peremén blokkolja a tanító crawlereket, de kihagyja a vegyes célúakat, ezért ellenőrizze, melyik lehetőséget használja a zónája.

Módosíthatja a robots.txt-met egy webhelyépítő vagy bővítmény?

Igen. A webhelyépítők és a SEO- vagy biztonsági bővítmények AI-crawler-szabályokat írhatnak a robots.txt-be, és némelyikük idővel bővíti a botlistáját. Minden frissítés után kérje le az élő fájlt, és olvassa el azokat a csoportokat, amelyek a fontos keresőcrawlerekre vonatkoznak.

Miért különbözik az élő robots.txt a szerveren lévő fájltól?

Valami a szervere előtt módosítja. A Cloudflare felügyelt robots.txt-je például ugyanabban a válaszban a saját szabályait és content signals sorait fűzi az Ön fájlja elé. Egy kérésre robots.txt-t generáló CMS vagy egy tárhelyszintű beállítás is lecserélheti vagy kiegészítheti.

Mennyi idő után térnek vissza az AI-crawlerek a javítás után?

Az RFC 9309 szerint a crawlerek ne használjanak 24 óránál régebbi gyorsítótárazott robots.txt-t, az OpenAI körülbelül 24 órát, a Perplexity legfeljebb 24 órát ad meg. A tűzfalmódosítások azonnal érvényesek, amint a szolgáltató élesíti őket, a crawlerek viszont a saját ütemezésük szerint térnek vissza.

Források

További cikkek