Tester robots.txt dla crawlerów AI

Wpisz adres strony: odczytamy robots.txt witryny i pokażemy dla każdego crawlera AI i wyszukiwarki, czy może pobrać tę stronę. Możesz też wkleić robots.txt, aby przetestować go przed publikacją.

robots.txt to tylko prośba. Zapora lub ochrona przed botami nadal może zablokować crawlera, na którego robots.txt pozwala; pełne sprawdzenie to testuje. Uruchom pełne sprawdzenie →

Jak crawlery AI czytają robots.txt

Każdy crawler stosuje grupę, która wymienia jego token (na przykład GPTBot lub PerplexityBot); dopiero gdy żadna tego nie robi, stosuje User-agent: *. W obrębie grupy wygrywa najdłuższa pasująca reguła, a przy remisie wygrywa Allow. Zablokowanie crawlerów treningowych, takich jak GPTBot, ClaudeBot czy Google-Extended, wyklucza Twoje treści z trenowania modeli; zablokowanie crawlerów wyszukiwania i użytkowników, takich jak OAI-SearchBot, ChatGPT-User czy PerplexityBot, wyklucza Twoje strony z odpowiedzi AI.