robots.txt-generátor AI-crawlerekhez
Válassza ki, mely AI-crawlerek olvashatják a webhelyét, és másolja ki a generált robots.txt-t. Gyakori választás, hogy a tanítási crawlereket, például a GPTBotot és a ClaudeBotot tiltják, az AI-keresési crawlereket, például az OAI-SearchBotot és a PerplexityBotot viszont engedik, így az oldalai továbbra is megjelenhetnek és idézhetők az AI-válaszokban.
A felhasználó által kért letöltők tiltásának korlátozott a hatása: egyes gyártók szerint ezek az ügynökök nem feltétlenül követik a robots.txt-t, mert egy személy kérte az oldalt. Közzététel előtt tesztelje az eredményt a robots.txt-ellenőrzővel. robots.txt-ellenőrző AI-crawlerekhez →
Hogyan használja
Tegye a fájlt a domainje gyökerébe (https://example.com/robots.txt). Ha már vannak szabályai más crawlerekhez, tartsa meg őket, és csak az AI-csoportokat adja hozzá. A változások akkor lépnek életbe, amikor az egyes crawlerek legközelebb beolvassák a fájlt, általában egy napon belül.