robots.txt-ellenőrző AI-crawlerekhez

Adja meg egy oldal címét: beolvassuk a webhely robots.txt fájlját, és minden AI- és keresőcrawlernél megmutatjuk, lekérheti-e az adott oldalt. Vagy illesszen be egy robots.txt-t, hogy közzététel előtt tesztelje.

A robots.txt csak kérés. Egy tűzfal vagy botvédelem attól még letilthat egy crawlert, amelyet a robots.txt enged; ezt a teljes ellenőrzés teszteli. Teljes ellenőrzés indítása →

Hogyan olvassák az AI-crawlerek a robots.txt-t

Minden crawler azt a csoportot követi, amely megnevezi a tokenjét (például GPTBot vagy PerplexityBot); csak ha egyik sem, akkor a User-agent: * csoportot. Egy csoporton belül a leghosszabb illeszkedő szabály nyer, döntetlennél az Allow. A tanító crawlerek, például a GPTBot, a ClaudeBot vagy a Google-Extended letiltása kizárja a tartalmát a modellek tanításából; a kereső- és felhasználói crawlerek, például az OAI-SearchBot, a ChatGPT-User vagy a PerplexityBot letiltása kizárja oldalait az AI-válaszokból.