Generator robots.txt dla crawlerów AI
Wybierz, które crawlery AI mogą czytać Twoją witrynę, i skopiuj wygenerowany robots.txt. Częsty wybór to zablokowanie crawlerów trenujących AI, takich jak GPTBot i ClaudeBot, przy dopuszczeniu crawlerów wyszukiwania AI, takich jak OAI-SearchBot i PerplexityBot, aby Twoje strony mogły nadal pojawiać się i być cytowane w odpowiedziach AI.
Blokowanie crawlerów pobierających na żądanie użytkownika ma ograniczony skutek: niektórzy dostawcy mówią, że te agenty mogą nie przestrzegać robots.txt, bo stronę zażądał człowiek. Przetestuj wynik testerem robots.txt, zanim go opublikujesz. Tester robots.txt dla crawlerów AI →
Jak z tego korzystać
Umieść plik w katalogu głównym domeny (https://example.com/robots.txt). Jeśli masz już reguły dla innych crawlerów, zostaw je i dodaj tylko grupy AI. Zmiany zaczynają działać przy następnym odczytaniu pliku przez każdego crawlera, zwykle w ciągu doby.