Verificator robots.txt pentru crawlere AI

Introdu adresa unei pagini: citim robots.txt-ul site-ului și îți arătăm, pentru fiecare crawler AI și de căutare, dacă poate descărca acea pagină. Sau lipește un robots.txt ca să-l testezi înainte de publicare.

robots.txt este doar o cerere. Un firewall sau o protecție anti-bot poate bloca totuși un crawler pe care robots.txt îl permite; verificarea completă testează acest lucru. Rulează verificarea completă →

Cum citesc crawlerele AI robots.txt

Fiecare crawler urmează grupul care îi numește tokenul (de exemplu GPTBot sau PerplexityBot); doar dacă niciun grup nu o face, urmează User-agent: *. În cadrul unui grup câștigă cea mai lungă regulă potrivită, iar la egalitate câștigă Allow. Blocarea crawlerelor de antrenare precum GPTBot, ClaudeBot sau Google-Extended îți ține conținutul în afara antrenării modelelor; blocarea crawlerelor de căutare și de utilizator precum OAI-SearchBot, ChatGPT-User sau PerplexityBot îți ține paginile în afara răspunsurilor AI.