Verifica robots.txt per i crawler AI

Inserisci l'indirizzo di una pagina: leggiamo il robots.txt del sito e mostriamo, per ogni crawler AI e di ricerca, se può scaricare quella pagina. Oppure incolla un robots.txt per testarlo prima di pubblicarlo.

robots.txt è solo una richiesta. Un firewall o una protezione anti-bot può comunque bloccare un crawler che robots.txt consente; il controllo completo lo verifica. Esegui il controllo completo →

Come i crawler AI leggono robots.txt

Ogni crawler segue il gruppo che nomina il suo token (ad esempio GPTBot o PerplexityBot); solo se nessuno lo fa, segue User-agent: *. All'interno di un gruppo vince la regola corrispondente più lunga, e in caso di parità vince Allow. Bloccare i crawler di addestramento come GPTBot, ClaudeBot o Google-Extended tiene i tuoi contenuti fuori dall'addestramento dei modelli; bloccare i crawler di ricerca e degli utenti come OAI-SearchBot, ChatGPT-User o PerplexityBot tiene le tue pagine fuori dalle risposte dell'AI.